Snowparkコンテナサービス上のSnowflake Openflowを使用して、シンプルなゼロオペレーションのデータフローを実現

世界では、今年、181ゼタバイトのデータが生成されると予測されています。これは驚くべき数字です。データの作成が簡単であることを示しています。しかし、このテクノロジーを有効活用するとなると、まったく別の話となります。

多くの企業にとって、これはデータ統合から始まります。つまり、さまざまなソースから収集した情報を、共通のフレームワークの下で共存させ、連携させることです。これは簡単そうに聞こえますが、実際にはデータ統合は非常に複雑です。多くの場合、エンジニアは複雑なパイプラインの構築とメンテナンスを必要とし、そのパイプラインは多数のプラットフォームや複数のツールにまたがって拡散しています。特に、データエンジニアリングチームはシンプルさと制御性の不可能なトレードオフに直面することがよくあります。高度に制御可能な統合パイプラインを必要とする場合、インフラストラクチャ管理の大幅な改善が必要となる複雑さに直面します。しかし、多くの場合、「簡素化」されたソリューションはブラックボックスに隠されているため、データジャーニーの追跡、品質問題の特定、データの理解が不可能になり、透明性とカスタマイズ性が犠牲になります。現在、ほとんどのお客様は、1つを他のソリューションよりも優先することでこの難問を解決しています。しかし、複雑なテクノロジースタックと潜在的なリスクの高いパイプラインによって、最終的にコスト増につながる可能性があります。 

しかし、Snowflake Openflowは、データフローをデータの近くへ持って行き、柔軟性と制御性を損なうことなくデータ移動を可能な限りシンプルにすることで、このすべてを変えるように設計されています。Openflowには、2つの強力な展開オプションがあります。1つはBring Your Own Cloud（BYOC）によるお客様ホスティング型オプション、もう1つはSnowparkコンテナサービス（SPCS）によるSnowflakeホスティング型オプションであり、高度に統合されたエクスペリエンスを提供します。Openflowは、あらゆるエンタープライズアーキテクチャのニーズに対応できます。 

どの展開が貴社に適しているかを理解するには、それぞれのメリットとユースケースを把握することが重要です。BYOCの展開については前回の記事で取り上げましたが、今回は、AWSとAzureでプレビュー中のSPCSによるSnowflakeの新しいホスト型オプションについて取り上げます。このオプションでは、Snowflake AIデータクラウドでデータフローを実行するための、ゼロオペレーションのシンプルな方法が可能になります。 

ゼロオペレーションのデータ移動：Snowflakeのホスト型オプションとしてのOpenflow Snowflake Deploymentsのご紹介

迅速なプロビジョニングから、StreamlitやSnowflake IntelligenceなどのSnowflake機能とのシームレスな相互運用性まで、Openflow Snowflake Deploymentsは、あらゆるソースからあらゆる宛先に数分でデータを接続できる、ごくシンプルなプラグアンドプレイのオプションです。経験豊富なデータエンジニアは、運用上の過剰な負担を取り除くと同時に、無限の拡張性と適応性というパワーを手に入れることができます。ビジネスアナリストやデータサイエンティストは、エンドツーエンドのデータエンジニアリングのパワーをすぐに活用できます。

このゼロオペレーションのオプションにより、Snowflakeは合理化されたセキュリティとネットワークの構成で、プロビジョニングする追加のクラウドアカウントなしにすべてのインフラストラクチャを管理します。Openflowでのランタイムのプロビジョニングは、Snowflakeウェアハウスで他のデータパイプライン機能を実行するのと同じくらいシンプルであり、データの統合と移動を簡単にします。このSaaSのようなマネージドエクスペリエンスにおいて、Snowflakeはコンテナ化されたサービスのパッチ適用、セキュリティ、スケーリングをあらゆるアカウント内でシームレスに処理し、最終的にユーザーにより迅速で直接的な価値実現の道を提供します。 

Openflow Snowflake Deploymentsのユースケース

シングルプラットフォームでエンドツーエンドのデータエンジニアリングというSnowflakeのビジョンを実現するために、Openflow Snowflake Deploymentsは、以下の5つの主要領域において重要な役割を果たします。

• ブロンズレイヤーへの非常に忠実度の高いデータの取り込み：さまざまなソースから生データをSnowflakeに直接ランディングし、Openflow Snowflake Deploymentsを使用して抽出してロードする 

• データのエンリッチメント：パイプラインを実行して、Snowflake内にすでに存在するテーブルをエンリッチする

• 取り込みからインサイト取得までを1か所で実行：データライフサイクル全体（取り込み、処理、提供）がSnowflakeエコシステム内で実行されるアプリケーションを構築する 

• AIによる生データのインサイトへの変換：非構造化データを取り込み、さらにSnowflake Intelligenceを使用して、ユーザーの他の構造化データと協調して検索や理解を進める

• リバースETLの採用：APIやメッセージングインフラストラクチャなどを通じて外部の運用システムと共有することで、インサイト生成のループを閉じる

主なメリット

SPCSのOpenflowオプションの中核となるのは、Snowflakeユーザーが必要としてきた、シンプルで優れた機能です。インフラストラクチャの管理、ネットワーキングの設定、システム間のセキュリティ境界の心配は不要です。ユーザーは、パイプラインの接続を常に確認するのではなく、データから価値を引き出すことに集中できます。 

また、Snowflakeの使い慣れた堅牢なセキュリティ機能とロールベースのアクセス制御（RBAC）モデルを活用して、Openflow Snowflake Deploymentsではユーザーがデータエコシステム全体にわたって一貫したガバナンス制御を維持できます。また、コンピュートがSnowflake内のデータと同じ場所に配置されているため、SPCSの展開によって、クラウドプロバイダーとSnowflakeの間のデータ転送レイテンシーとエグレス料金が最小化されます。すでにSnowflake内にあるデータの変換に最適なOpenflow Snowflake Deploymentsは、全体的な処理時間の短縮とリソース利用の効率化をもたらし、コスト最適化の取り組みの鍵となります。

さらに、単一の統合されたSnowflakeの請求により、複数のプラットフォームにまたがる費用の追跡という面倒なタスクがほぼ排除され、全般的に調達と財務管理が簡素化されます。企業はデータインフラストラクチャの総保有コストの最適化を目指しているため、すべてを1つの請求書に集約することで使用量と費用を把握しやすくなっています。

データを必要な場所に移動するための適切な方法

Openflow BYOCとOpenflow Snowflake Deploymentsを選択する際は、どちらが優れているかではなく、ジョブ固有のニーズやアーキテクチャに適した展開かを考慮します。 

組織の意思決定を導くために、次のシンプルなフレームワークを検討してください。なお、多くの組織は、両方のオプションをさまざまなシナリオに使用しています。

• データパイプラインは、独自のVPC環境やオンプレミス環境内のシステムと活発にやり取りしていますか？その場合は、BYOCから開始して、既存のインフラストラクチャとの緊密な統合を維持します。

  • 機密データの前処理：一部のお客様は、宛先システムに書き込む前にPIIなどの機密データを削除する必要があります。これはOpenflow BYOCで簡単に実現できます。

  • ネットワークの柔軟性：より複雑なネットワークトポロジーは、BYOCの展開に最も適しています。

• 貴社のパイプラインは、Snowflakeの主要な目的地ですか、それともソースですか。また、シンプルな運用を最も重視していますか？この場合は、Snowflake環境と完全に統合されたシームレスなゼロオペレーション体験を提供するOpenflow Snowflake Deploymentsが最適です。

  • 逆ETLシナリオ：Snowflakeからソースとしてデータを抽出し、別のターゲットに書き込むことは、SPCSの展開に最も適しています。

  • シンプルなトポロジーのためのプライベート接続：Snowflakeは、Business Criticalエディションのお客様向けにSPCSのアウトバウンドプライベート接続を提供しています。

特筆すべきは、展開とランタイムのオプションがパイプラインレベルで設定されることです。つまり、さまざまなデータソースと接続要件に対して、BYOCとOpenflowの両方のSnowflake展開オプションのメリットを得られます。Openflowはデータ統合を簡素化し、データの存在する場所でミーティングを行い、データをアクション可能なインサイトに変換するために必要なツールを提供します。

両方の展開オプションの詳細については、Snowflake Openflowのドキュメントを参照するか、営業部門にお問い合わせください。データの統合戦略を早期に変革する方法をご紹介します。