Data for Breakfast Tokyo | 3月17日(火)開催

データとエージェント型 AI を活用してビジネスインパクトを創出するには?

機能

Apacheのネイティブサポート Icebergテーブル

セキュリティ、スケーラビリティ、シンプルさを犠牲にすることなく、あらゆるチームのニーズに対応する高パフォーマンスで相互運用可能なパイプラインを構築できます。バッチ、ストリーミング、AIエージェントの開発、高度なアナリティクスのいずれにおいても、SnowflakeはIcebergを運用上の負担なく機能させることができます。

概要

テーブルの柔軟性を解放しパフォーマンスと信頼性を手に入れる

Data lifecycle icon

データライフサイクルの簡素化

複数のリージョンやクラウドにまたがるIcebergテーブルの接続、変換、アクティベーションが可能です。

Speed icon

価値実現までの時間を短縮

ガバナンスの確保されたプラットフォーム上で、MLワークフローのセキュアな構築、高度なアナリティクスの実行、リアルタイムアプリやダッシュボードの強化を実現できます。

securtiyy icon

マルチエンジンのセキュアなアクセスを活用

ベンダーニュートラルなカタログと、Snowflake内の包括的なセキュリティとガバナンスにより、セキュアなマルチエンジンアクセスを管理できます。

メリット

カタログ¹に関係なく 強化されたパフォーマンスとガバナンスを確保

お客様データの保護に対する高い信頼性

Icebergテーブルの把握とセキュアな環境の確保

  • Universal Search:組織内外からデータ、アプリ、モデルを発見、アクセスします。

  • ロールベースのアクセス制御、データタグ、データ品質モニタリング、データリネージにより、データ、アプリ、モデルを保護し、監査できます。

  • 継続的なリスクモニタリングと脆弱性管理でセキュアな環境を維持

Snowflake Horizon platform diagram
apache iceberg diagram

共有の一元化と合理化

ほぼどこからでもデータを一元化してアクティベート

  • すべてのIcebergテーブルをセキュアでガバナンスの確保された単一コンソールに集約し、カタログリンクデータベースを使用して、自動的に検出、リフレッシュ、読み取り、書き込みを実行できます。
  • チューニングや競合なしに、すべてのジョブで迅速かつ信頼性の高いパフォーマンスを実現します。Snowflakeの伸縮性に優れたシングルエンジンと分離されたコンピュートにより、スピードをシンプルに実現できます。

  • ガバナンスの確保されたIcebergテーブルを、複数のリージョンやクラウドにまたがるあらゆるステークホルダーと共有できます。インフラストラクチャが複雑になることはありません。

イノベーションに注力する

パイプラインの構築と自動化で幅広い効果を実現

  • Snowflakeのコネクテッドプラットフォームにより、複数のリージョンやクラウドにまたがるグローバルデータ資産を接続し、アーキテクチャの簡素化とガバナンスの統合を実現できます。

  • Snowflake Openflowを使用して、任意のソースからデータを視覚的に統合できます。また、Snowpipe、Snowpipe Streaming、COPYを使用して、バッチデータやストリーミングデータを読み込むこともできます。

  • 任意のIcebergエンジンからのクエリアクセスを維持しながら、ダイナミックIcebergテーブルを使用してデータを増分的かつ自動的に変換する宣言型パイプラインを構築します。 

Snowflake Cortex diagram

AIとデータの民主化

IcebergテーブルでAIとデータドリブンな意思決定を強化

  • Snowflakeのガバナンスが確保された統合プラットフォーム内で、AIエージェントを開発し、Icebergを含むすべてのデータにわたってMLワークフローを定義できます。

  • Icebergテーブルの構造化データ、半構造化データ、地理空間データタイプをサポートすることで、予測、異常検知、センチメント分析、時系列分析などの高度なアナリティクスを実現できます。 

  • すぐに使用できるゼロチューニングの弾力性に優れたコンピュートエンジンがリアルタイムのインサイトを提供することで、ダッシュボードやアプリのダウンタイムなしに、インサイトを民主化します。

メタデータの所有と保護

セキュアなエコシステムを確保

  • オープンソースのIcebergカタログであるApache Polarisのマネージドサービスにより、レイクハウスの真にベンダーニュートラルな基盤を確立できます。

  • 増え続けるエンジンリストにセキュアに接続し、環境間でメタデータの同期を維持して読み取りと書き込みの操作を実行できます。

  • PrivateLinkを使用して、エンタープライズIDプロバイダーを統合してシームレスな認証フロー(SSO、SAML 2.0、OAuth)を実現し、エンジン、ツール、Open Catalogの間でセキュアなプライベートネットワーク接続を確立できます。

open catalog diagram
ai data cloud diagram

レイクハウスの構築の改善

妥協のないアーキテクトを実施します。SnowflakeはIcebergをネイティブにサポートしているため、柔軟性と選択肢を確保しながらデータを統合します。AIデータクラウドを使用して、高性能のレイクハウスを構築またはセキュアにスケーリングすることによって、サイロの解決、運用オーバーヘッドの最小化、価値実現までの時間短縮が可能になります。

Apache Icebergテーブル

よくある 質問

Snowflakeが、オープンテーブルフォーマット、さまざまな管理オプション、カタログ統合、データガバナンスをサポートする仕組みをご紹介します。

Apache Icebergテーブルは、Snowflake内でネイティブに使用できるオープンソースのテーブルフォーマットです。Snowflakeがアクセスと管理を行う間、実際のデータファイルはお客様が使用する独自のクラウドストレージ(Amazon S3、Google Cloud Storage、Azure Storageなど)に保存されるため、柔軟性とオープン性が確保されます。

主な違いは、Icebergテーブルのメタデータとトランザクションがカタログによってどのように管理されているかです。

  •  SnowflakeマネージドIcebergテーブル:Snowflake Horizonカタログは、メタデータとトランザクションを管理します。Snowflakeは、圧縮やスナップショット保持などのテーブルメンテナンスも自動化します。
  • 外部マネージドIcebergテーブル:テーブルのメタデータとトランザクションは、独立した外部カタログによって管理されます。Snowflakeはこの外部カタログと統合し、これらのテーブルに対する読み取りと書き込みを行います。

通常では、外部エンジンではSnowflakeマネージドIcebergテーブルから読み取りのみが可能で、お客様が使用する既存のツールにも柔軟に対応できます。マルチエンジンの読み取りと書き込みの高度な相互運用性を最初から確保するには、Apache Polarisのようなベンダーニュートラルなカタログの使用が推奨されます。Snowflakeは、Apache Polarisのマネージドサービスを提供しています。  Snowflake Open Catalog

Snowflake Horizonカタログ:Snowflakeプラットフォーム内のすべてのデータアセット(Snowflakeで使用するあらゆるタイプのIcebergテーブルを含む)にわたって、統合されたガバナンス、セキュリティ、ディスカバリーを実現するSnowflakeの組み込みソリューションです。 

Snowflake Open Catalog:Apache Polaris™向けのSnowflakeマネージドサービスです。ベンダーニュートラルなオープンソースのIcebergカタログです。マルチエンジンの読み取りと書き込みのセキュアな相互運用性をIcebergテーブルで実現できるように特別に設計されています。また、SnowflakeマネージドテーブルをOpen Catalogに同期することで、他のエンジンによるより広範な読み取り専用アクセスも可能になります。

いいえ、IcebergテーブルがSnowflakeマネージドでなくても、プラットフォームの強みを活用できます。Snowflakeは、その強力なクエリエンジン、パフォーマンス、AI機能、セキュリティ機能を、Snowflakeマネージドまたは外部マネージドのIcebergテーブルに拡張します。

はい、SnowflakeはApache Icebergテーブルとの読み取りと書き込みの両方に対する堅牢なサポートを提供します。Snowflakeは、SnowflakeマネージドのIcebergテーブルでこれらの業務をサポートしてきましたが、近日中に外部マネージドのIcebergの書き込み機能のフルサポートが一般提供され、柔軟性が向上します。

Icebergを使用したマルチエンジンのセットアップでは、ロールベースのアクセス制御(RBAC)が最も一般的なセキュリティ機能です。IcebergテーブルのベンダーニュートラルなオープンソースカタログであるApache Polarisを使用して、セキュアなマルチエンジンアクセスを管理できます。Snowflakeは、Snowflake Open Catalogによるマネージドサービスを提供し、RBACフレームワークを通じてテーブルレベルのアクセス制御を可能にします。多くの場合、さまざまなエンジンからのセキュアなアクセスを実現するスコープ認証ベンダー機能などによってサポートされています。

もちろんです。(Snowflakeマネージドまたは外部マネージドの)IcebergテーブルをSnowflakeで使用すると、Snowflake Horizonカタログの包括的な組み込みのセキュリティとガバナンスのメリットを得られます。これにより、Snowflake内の他のデータとの一貫性を維持した、粒度の高いアクセス制御、リスクモニタリング、脆弱性管理などのエンタープライズグレードの機能でIcebergデータを保護できます。

Where Data Does More

  • 30日間の無料トライアル
  • クレジットカード不要
  • いつでもキャンセル 

#Iceberg RESTカタログが必要です。一部の機能は、SnowflakeマネージドのIcebergテーブルでのみ機能します。