Observe on Apache Iceberg™がプライベートプレビューになったことをお知らせします。オブザーバビリティデータをApache Icebergテーブルとして独自のAmazon S3バケットに保存し、その上で包括的なObserveのエクスペリエンスを実行できるようになりました。これは、オブザーバビリティにおけるオープンスタンダードに対するObserve by Snowflakeの幅広い取り組みの一環です。OpenTelemetryネイティブの取り込みを使用できるだけでなく、データは、Iceberg互換の任意のエンジンが読み取れる形式で、ユーザーが所有および制御するストレージに保存されるようになります。
モダンなシステムによって生成されるログ、メトリクス、トレースの量は劇的に増加しています。現在、主要な企業は毎日大量のデータを取り込んでいます。しかし、従来、これらのデータはほぼ常にサイロ化されていました。ベンダー固有の形式でエンコードされ、そのベンダーのインターフェイスを通じてのみクエリ可能であり、組織の他の部門からはアクセスできませんでした。エンジニアリングチームがあるツールでトラブルシューティングを行う一方で、ビジネスチームやデータチームは別のツールで作業しており、テレメトリシグナルをビジネスデータと結合するには、ETL、手動でのエクスポート、またはカスタムパイプラインが必要になります。ユーザーのニーズがベンダーのプラットフォームの規模を超えた場合や、テレメトリ上でアナリティクスを実行したい場合、データの抽出は必要以上に困難になることがよくあります。
これらの問題は、従来のオブザーバビリティプラットフォームの設計に起因しています。つまり、単一のベンダーのインターフェイスを提供するために構築されており、データが他の場所に保存されることは想定されていませんでした。Apache Icebergなどのオープンテーブルフォーマットは、この状況を変革します。テレメトリがIcebergに保存されると、このデータは、ユーザーの制御下で他のデータとともに存在し、チームがすでに使用しているツールを通じてアクセスできます。これにより、データを別のシステムに抽出または複製する必要性が最小限に抑えられ、そのプロセスに関連するコストも削減されます。
オープンな形式でオブジェクトストレージにデータを保存
Observe on Icebergを使用すると、テレメトリはIcebergテーブルとして、AWSアカウント内のAmazon S3バケットに直接書き込まれます。Observeは、ユーザーが作成および制御するIAMロールを通じてそのバケットにアクセスします。そのロールを取り消すか、データレイクの構成を削除すると、Observeはアクセスできなくなります。データはオープンな形式でバケットに保持され、引き続きユーザーが所有します。複数のデータレイクを構成でき、それらにまたがるデータセットは分離された状態を保つように設計されています。
Observe on Icebergは、v3テーブル仕様を使用したSnowflakeマネージドのIcebergテーブル上に構築されています。これらのテーブルはマネージドであるため、コンパクション、ファイルサイズの調整、スナップショットとメタデータの維持はすべて自動的に行われます。その結果、ユーザー自身でテーブルを保守することなく、高性能なクエリを実行できます。また、v3仕様により、より豊富なデータ型やパフォーマンスの向上など、新しいテーブル機能も提供されます。
プライベートプレビューでは、以下のことが可能です。
個別のエクスポートやETLステップなしで、Observeパイプライン経由でIcebergにデータを取り込む：既存の取り込みセットアップは変更されません。データはObserveの取り込みパイプラインを流れ、独自のS3バケット内の標準的なIcebergテーブルに書き込まれます。
独自のオブジェクトストレージにオープンな形式でオブザーバビリティデータを保存する：データセットは、ユーザーのガバナンス、保持ポリシー、アクセス制御の下で、S3バケット内の標準的なIcebergテーブルとして書き込まれます。Observeのアクセス権を削除しても、データはユーザーの所有のままです。
Observe内でデータ上にモニター、ダッシュボード、相関関係を構築する：モニタリング、ダッシュボード、OPAL変換、AI SRE、相関関係など、包括的なObserveのエクスペリエンスは、Icebergをバックエンドとするデータセット上でもまったく同じように機能するように設計されています。日常的なObserveの使用方法は何も変わりません。
Icebergがオブザーバビリティデータに最適な形式である理由
オブザーバビリティデータは列指向ストレージに適しており、IcebergはデフォルトでデータをParquet形式で保存します。タイムスタンプ、サービス名、重大度レベル、構造化属性は、数百万のイベントにわたって繰り返されるパターンを持っており、効率的に圧縮でき、パーティションプルーニングによるスキャンも良好に機能します。
しかし、Icebergは単なるParquetではありません。Parquetは、ファイルの場所がすでにわかっている場合にはクエリが容易な列指向ファイルを提供します。Icebergはその上にテーブルレイヤーを追加し、スキーマの進化、パーティショニング、スナップショット、そして互換性のある任意のエンジンがカスタム統合なしで検出して読み取ることができるカタログを提供します。これにより、テレメトリは単に効率的な形式で保存されるだけでなく、オープンでアクセス可能なものになります。
社内テストでは、オブザーバビリティのワークフローは、Observeネイティブデータを使用した場合と同等のパフォーマンスでIcebergテーブル上でも実行できるため、オープン性とパフォーマンスのどちらかを選択する必要はありません。エンジニアリングチームは、インシデント調査、ダッシュボード、モニター、AI支援による根本原因分析に引き続きObserveを使用できる一方で、組織の他の部門は、すでに使用しているツールから同じデータに直接アクセスできます。
任意のエンジンでのクエリ実行
データがIcebergテーブルに保存されると、Observeを通じてのみ読み取り可能というわけではなくなります。Observeは、Observe API上で読み取り専用のIceberg RESTカタログを公開しているため、Iceberg互換のクエリエンジンであれば、テーブルを直接検出して読み取ることができます。この相互運用性は、Snowflake Horizonカタログによって支えられています。現在、Apache Spark™、DuckDB、Trino、PyIcebergのすべてが利用可能です。外部エンジンはS3バケットからデータファイルを直接読み取るため、データパスがObserveを経由することは一切ありません。
これにより、独自のオブザーバビリティストレージではこれまで困難であったワークフローが可能になります。お客様とのこれまでの対話から、次のようなユースケースがすでに確認されています。
テレメトリと社内ビジネスデータの結合：両者を同期するパイプラインを構築することなく、1回の分析でオブザーバビリティデータと収益、顧客、製品のデータを並行してクエリできます。
定期的なバッチデータエンジニアリングジョブの実行：データチームがすでに運用しているツールを使用して、過去のテレメトリに対する変換や集計をスケジュールできます。
コンプライアンスを目的としたオブザーバビリティデータの監査：サードパーティのシステムにルーティングすることなく、独自の認証情報を使用して、独自のストレージから直接生のテレメトリをクエリできます。
運用データを使用したMLモデルのトレーニング：エクスポート、コピー、または個別のデータ準備ステップを実行することなく、過去のテレメトリに対してSparkまたはPyIcebergジョブを直接実行できます。
テレメトリがビジネスデータと同じデータレイクに存在する場合、運用データと分析データの境界は曖昧になり始めます。インシデントと顧客への影響、収益メトリクス、または最近の展開との相関関係の分析が、シンプルなクエリで実行できるようになります。システム間でデータをコピーするパイプラインを誰も管理する必要がなくなり、エンジニアリング、データ、製品の各チームが同じ信頼できる情報源（SSOT）に基づいて作業できるようになります。
大規模なコストの削減と制御
独自のオブザーバビリティシステムに大量のテレメトリを保存することは一般的に高額であり、データ量が増加するにつれてコストは膨れ上がります。Icebergを使用すると、独自の価格設定モデルを持つベンダーマネージドシステムではなく、独自のオブジェクトストレージにデータが保存されます。
Icebergはストレージとコンピュートを分離しているため、実行したクエリに対してのみ料金が発生します。つまり、階層化やリハイドレーションを行ったり、何を保持するかについて妥協したりすることなく、従来の独自のオブザーバビリティプラットフォームのわずかなコストで、数か月分のテレメトリを保持できるということです。¹
さらに、インシデント調査を行うエンジニアリングチーム、アナリティクスを行うデータチーム、モデルトレーニングを行うMLエンジニアなど、複数のチームが同じデータを利用できるため、システム間でデータを複製または移動するコストを削減できます。データを一度保存すれば、複数のチームが同じソースから読み取ることができます。
今すぐ利用を開始
Observe on Icebergは現在プライベートプレビューとして提供されており、まもなく一般提供が開始される予定です。オブザーバビリティデータのためのオープンでポータブルなストレージをお探しの場合は、ぜひお問い合わせください。以下のリソースもご確認ください。
アクセス権を取得するためにObserveのアカウントチームに問い合わせる
Observeの詳細を見る
長期的な保持、既存のデータレイクとの相互運用性、またはテレメトリに対して独自のアナリティクスを実行する機能のいずれをお探しの場合でも、Observe on Icebergがお客様のチームでどのようにお役に立てるか、ご意見をお待ちしております。
¹実際のストレージコストの削減額は、データ量、クラウドプロバイダー、リージョン、および既存のベンダー契約によって異なる場合があります。
このページには、Snowflakeが将来提供する製品に関する記述を含め、将来の見通しに関する記述が含まれていますが、これはいかなる製品の提供も約束するものではありません。実際の結果や提供内容は異なる場合があり、既知および未知のリスクや不確実性の影響を受けます。
Apache®、Apache Iceberg、Apache Spark、および関連するマークは、米国およびその他の国におけるApache Software Foundationの登録商標または商標です。
