動画
機能
dbt Projecton Snowflake
外部のオーケストレーションは不要です。dbtパイプラインをSnowflakeで直接実行でき、ランタイムの管理、dbt Coreとの互換性の維持に加え、組み込みのオブザーバビリティ、列レベルのリネージ、エージェント型AIワークフローとの連携が可能です。
dbtインフラストラクチャをSnowflakeにオフロード
DBTプロジェクトをアップロードするだけで利用できます。Snowflakeがコンピュートのプロビジョニング、アップグレードの管理、実行の自動処理を行います。
ネイティブのSnowflakeタスクによるdbtモデルのスケジュール実行
すでに実行しているSnowflakeタスクをそのまま活用し、dbtモデルパイプラインの構築やスケジュール実行を行えます。ツールの切り替えやcronジョブの管理は一切不要です。
列レベルのリネージを含む、すべてのデータ変換を可視化
すべてのdbtモデルとSnowflakeオブジェクト間におけるデータの移動を追跡します。列レベルのリネージにより、モデルがどの列から読み込み、どの列へ書き込んでいるかを正確に把握できます。
エージェント型オーサリング
Snowflake CoCoによる、AI-readyなdbtパイプラインの構築
自然言語から、dbtモデル、テスト、ドキュメントを作成できます。モデリングタスクを説明するだけで、Snowflake CoCoが、YAML、Jinjaマクロ、テストのスケルトンを生成します。構築初日から後続のAI活用を見据えたデータパイプラインを実現できます。
ネイティブなスケジュール実行
Snowflakeタスクによるdbtモデルのスケジュール実行
Snowflakeタスクを使用することで、スケジュールに従って、または上流のデータの到着時に、dbtモデルを実行できます。サードパーティのスケジューラーや追加のインフラストラクチャは不要です。dbt DAGは、他のSnowflakeワークロードと同じコンピュートとスケジュール管理システム上で実行されます。
列レベルのリネージ
すべてのdbtモデルの実行を列単位まで追跡
Snowflake Horizonは、モデルに障害が発生した場合やパイプラインの監査の際に、どの列がどこへ移動したかを可視化します。これにより、未加工のテーブルが各モデルを経由してデータマートやビューへと処理されていくプロセスを確認できるようになります。また、列レベルの追跡機能により、各モデルがどの列からデータを読み込み、どの列へ書き込んでいるかを明確に把握することもできます。
最新バージョン対応
そのままのdbtバージョンでスムーズに導入
dbt Coreの各バージョン間で互換性が保たれているため、ローカル環境のdbtコードを変更することなく、そのままSnowflake上で実行できます。追加のライセンスなしでdbt Fusionもサポートされています。
dbt Project on Snowflakeその仕組み
ビルドとテスト
Snowflakeワークスペースに既存のdbtプロジェクトを導入できます。また、Snowflake CoCoを使用して、新しいプロジェクトを構築することも可能です。
展開
Snowflakeが、コンピュートのプロビジョニング、ランタイム管理、バージョンアップグレードを自動で処理します。チームは運用管理をSnowflakeに任せて、モデルの記述に専念できます。
Snowflakeタスクによるスケジュール実行
Snowflakeタスクを活用することで、dbtモデルの実行を、スケジュールに従って、またはデータの到着をトリガーとして、オーケストレーションできます。
Horizonによるモニタリング
Snowflake Horizonは、列レベルのデータフローとオブザーバビリティデータを自動的にキャプチャし、すべてのパイプラインの包括的なビューを提供します。また、Snowflake CoCoを使用した、本番環境の問題調査やデバッグも可能です。
dbt Project on Snowflake
よくある質問
オープンソースのdbt Coreとの比較を含め、dbt Project on Snowflakeに関する一般的な質問への回答をご確認いただけます。
Snowflake上のdbtプロジェクトとは何ですか？dbt Coreとはどのように異なりますか？
dbt Project on Snowflakeは、Snowflake内に直接組み込まれたネイティブなdbt体験です。ユーザー自身での管理が必要なdbt Coreとは異なり、dbt Project on SnowflakeはSnowflakeのインフラストラクチャ上で動作します。Snowflakeは、ランタイムの管理、バージョン管理のサポートを提供し、データ変換を組み込みのオブザーバビリティ、リネージ、タスクスケジュールの機能に接続します。
Snowflakeでdbtプロジェクトの実行をスケジュールするにはどうすればよいですか？
dbt Projects on Snowflakeは、 Snowflakeタスクとネイティブに統合されています。標準のSnowflake Task DDLを使用することで、外部のオーケストレーターを必要とすることなく、プロジェクト全体のや特定のモデルを対象としたスケジュールを設定できます。これにより、パイプラインのスケジュール実行を、データやリネージとともにSnowflake内部で完結できるようになります。
サポートされているdbt Coreのバージョンを教えてください。
dbt Project on Snowflakeは、dbt Coreの各バージョンと同等の機能を維持しています。ローカル環境で作成したdbtコードを、変更なしでそのままSnowflake上で実行できます。
既存のdbt Coreプロジェクトをdbt Project on Snowflakeで使用できますか？
はい、使用できます。dbt Project on Snowflakeは、すでにdbt Coreやdbt Cloudを使用しているチーム向けに設計されており、既存のプロジェクトをSnowflakeへ直接アップロードできます。ほとんどのプロジェクトでは、モデル、テスト、マクロを変更する必要はありません。
dbt Project on Snowflakeのオブザーバビリティはどのように機能しますか？
Snowflake内部で実行されるすべてのdbtモデルの実行ログは、リネージデータとしてSnowflake Horizonに直接送信されます。追加設定を行うことなく、テーブルレベルと列レベルのリネージを自動的に取得できます。実行状態、処理時間、エラーなどの監視は、Snowsightから行えます。
dbt Project on Snowflakeはdbt Fusionエンジンをサポートしていますか？
はい、サポートしています。dbt Fusionエンジンは、dbt Project on Snowflakeで利用可能です。dbt Fusionは新しいコンパイルアーキテクチャを採用しており、大規模なdbtプロジェクトのビルド時間を大幅に短縮できます。
