Apache Icebergテーブルとは

Icebergはもともと、ApacheのHive Hadoopプロジェクトで直面したさまざまな課題に対処するためにNetflixが開発したオープンソースのテーブルフォーマットです。そして2018年に行われた最初の開発の後に、完全にオープンソース化されたオープンなマネージドプロジェクトとしてNetflixからApacheソフトウェア財団に寄贈されました。その後、初期バージョンの多くの欠点が改善され、すぐに非常に人気の高いオープンソースのテーブルフォーマットとなりました。

Icebergテーブルフォーマットは、データレイクアーキテクチャの強化に役立つさまざまな機能を備えています。 

• 表現力の高いSQL：Icebergは、柔軟なSQLコマンドを高度なレベルでサポートしています。そのため、既存の行の更新、新しいデータの結合、ターゲットを絞った削除などのタスクを実施できます。また、Icebergを使用してデータファイルを書き換えることで、読み取りパフォーマンスを改善できます。delete deltaによって更新頻度を高めることも可能です。
• スキーマ進化：Icebergは、スキーマ進化を高度にサポートしています。Icebergテーブルのスキーマ更新では、メタデータのみが変更されます。データファイル自体は影響を受けません。スキーマ進化の変更には、追加、ドロップ、名前変更、並べ替え、型の昇格が含まれます。
• パーティション進化：パーティショニングは、大規模なテーブル内の類似した行をグループ化して複数の小さなテーブルに分割することにより、データの一部のみにアクセスする必要があるクエリの参照と、取り込みにかかる時間を短縮します。パーティションの仕様は、古い仕様に記述されている古いデータを変更しなくても進化します。パーティションの各バージョンに関連付けられたメタデータは、個別に格納されています。
• タイムトラベルとロールバック：IcebergのTime Travel機能は、同じテーブルスナップショットの再現性のあるクエリの実行を可能にして、ユーザーが以前の変更を検証できるようにします。ユーザーがこのロールバック機能を使用してテーブルを前の状態にリセットすると、簡単にエラーのない状態に戻せます。 
• トランザクションの一貫性：データレイクやデータメッシュのアーキテクチャに保存されているデータは、組織内の複数の独立したアプリケーションで同時に利用できます。これは大きなメリットですが、特に複数のユーザーが同一データに対して同時に書き込みを行う場合などには、甚大なリスクが生じる可能性があります。しかし、IcebergではACIDトランザクションを大規模に実現できるため、ライターによる同時実行が可能です。ACIDの特性を満たしているため、リーダーはライターからの部分的な変更やコミットされていない変更の影響を受けません。ライターが変更をコミットすると、Icebergはテーブルのデータファイルとメタデータの変更不可能なバージョンを新たに作成します。
• クエリの高速化：Icebergは巨大な分析データセットでの使用を目的として設計されており、高速スキャンプランニング、不要なメタデータファイルのプルーニング、マッチデータを含んでいないデータファイルのフィルタリングなど、クエリの高速化と効率化のためのさまざまな機能を備えています。
• 活発なApache ORCユーザーと貢献者のコミュニティ：Icebergは、Apacheソフトウェア財団の主力プロジェクトの一つです。Apache Parquet、Apache Avro、Apache ORCなどのさまざまな処理エンジンやファイル形式に対応していることから、優れた商用ユーザーを幅広く引きつけており、継続的な成功のための積極的な貢献が行われています。