Snowflake Horizon、簡素化された内部マーケットプレイスとAIイノベーションで業界をリードするガバナンスを強化

生成AI（gen AI）と大規模言語モデル（LLM）の急速な採用により、企業はデータ、アプリ、モデルの垣根を越えてコンテンツから可能な限り多くのビジネス価値を引き出そうと躍起になっています。そのためには、より多くの従業員が関連性の高いコンテンツを即座に見つけてコラボレーションを行い、より迅速にインサイトを獲得できるようにする必要があります。同時に、組織は適切な人が適切なコンテンツにアクセスできるようにしつつ、機密情報や個人を特定できる情報（PII）を保護し、増え続ける規制要件を満たす必要があります。Snowflake Horizonは、AIデータクラウド内のデータ、アプリケーション、モデルのコンプライアンス、セキュリティ、プライバシー、相互運用性、アクセスに関する統合されたビルトイン機能により、これらの組織のガバナンスと発見をサポートし、さらにはIcebergテーブルにも拡張します。

Snowflake Horizonを使用することで、データガバナーとデータスチュワードはクロスクラウドのセキュリティリスクを迅速に発見して解決し、クラウドをまたいで普遍的にアクセス制御を実行し、機密コンテンツにすぐに使用できる実証済みのガバナンス保護を簡単に適用できます。また、データチームは、これらの統制されたデータ、アプリ、モデルをエコシステム全体で迅速に検索、発見、アクセス、共有し、プライバシー保護されたコラボレーションを強化できます。

Snowflake Horizonはイノベーションを続け、データチームが組織内で統制された方法でコラボレーションできるようになりました。また、組織がAIをより適切にガバナンスできるよう、Snowflake Horizonはモデルのセキュリティ、リネージ、シェアリング機能を強化しています。追加のビルトインUIとプライバシー強化により、機密データの理解と管理がさらに容易になります。

インターナルマーケットプレイス（プライベートプレビュー中）は、組織内で使用するために特別にキュレーションされたすべてのデータ製品の単一ディレクトリを通じて、お客様が安全なコラボレーションを促進する新しい方法です。これを可能にするのが、組織プロファイルとリストの導入です。組織プロファイルとリストは、意図しない露出を防ぐために組織内でのみ共有でき、データディクショナリ、所有権、使用例、使用分析などの豊富なメタデータを提供します。組織リストへのアクセスは、ソースアカウント内の個々のロール、アカウントセット、または組織全体にきめ細かく付与できます。データとSnowflakeネイティブアプリの共有に加えて、データチームはリストを使用して、クラウドリージョン間でAIモデル（近日中にプライベートプレビュー開始）、Icebergテーブル（一般提供）、動的テーブル（一般提供）を簡単に共有できるようになりました。

Snowflakeを利用することで、リストの管理も容易になります。API（パブリックプレビュー中）でリストを管理できるようになり、自動化や既存アプリケーションへの統合による大規模な実装や反復プロセスをサポートします。コストを削減し、コンテンツの鮮度を高めるために、オブジェクトレベルのレプリケーション（一般提供）は、リージョンやクラウドの垣根を越えて必要なオブジェクトのみの処理を最適化します。また、Snowflakeは、ULL（Uniform Listing Locators）（プライベートプレビュー中）の導入により、複数のリージョンやクラウドにまたがるリスティングコンテンツへのアクセスも容易になりました。URLが世界とインターネットをつなげる上で重要だったように、ULLはAIデータクラウド全体でデータ、アプリ、モデルによって世界とつながっています。SQLクエリ内にULLを埋め込むことで、共有データベースをマウントしたり権限を昇格したりすることなく、組織リストの共有データにアクセスできます。

発見性とキュレーションを強化するために、Snowflakeはデータチーム、データガバナー、データスチュワードのコンテンツに対する理解を深めるためのいくつかのイノベーションを発表します。オブジェクトインサイトインターフェース（プライベートプレビュー中）は、オブジェクトの人気、アクセス、品質、依存性に関する関連インサイトを提示することでより多くのコンテキストを提供します。

機密データ分類インターフェイス（近日中に一般提供開始）により、データガバナーとスチュワードはスキーマ全体またはスキーマ内のテーブルのサブセットのデータ分類ジョブを開始し、分類結果を確認して適用するタイミングを選択できます。自動タグ付けで分類を実行することもできます。これにより、信頼性の高いSnowflake分類子をオブジェクトに「自動適用」できます。機密データの自動分類（プライベートプレビュー中）により、SQLを使用して機密データの分類とタグ付けを設定可能な間隔で自動化したり、新しいテーブルを作成したりすることで、手作業とオーケストレーションを軽減することができます。自動タグ伝播（近日中にプライベートプレビュー開始）も新機能です。この機能を使用すると、データが新しいオブジェクトに流れるとき、またはビューを使用して投影されるときに、タグ（および適用されたポリシー）をプロアクティブに伝播できます。

Universal Search（一般提供）はAIを活用するため、誰もが自然言語を使用してテーブル、ビュー、データベース、スキーマ、Icebergテーブル、Snowflakeマーケットプレイスのリスト、Snowflakeドキュメント、さらにワークシート、ダッシュボード、コンテンツをから検索、発見できるようになりました。

モデルとアプリケーションのセキュリティ改善

システムやユーザー間でセキュリティやアクセス制御の一貫性が損なわれると、手間のかかる設定が必要となり、LLMのセキュリティが複雑化してリスクが高まります。Snowflake Horizonにより、知事とスチュワードは、コンプライアンスを支援し、脆弱性を露呈することなく適切なアクセスを可能にする、一元化されたデフォルトの安全な機能を手に入れることができます。AIセキュリティに関して、Snowflakeは最近、組織がAIシステムの安全性を評価するのに役立つSnowflake AIセキュリティフレームワーク  をリリースしました。さらに、Snowflake Cortex Guardはまもなく一般提供開始します。この機能は、LLMベースの入出力保護モデルであるMetaのLlama Guardを利用して、暴力やヘイト、自傷行為、犯罪行為に関連する有害なコンテンツをフィルタリングします。

Trust Center（近日中に一般提供開始）を利用することで、知事とスチュワードはクラウドにまたがるセキュリティとコンプライアンスのリスクを1つの一元化された場所で迅速に発見して解決し、セキュリティ監視コストを削減し、アカウントリスクの上昇を防ぐことができます。Snowflakeアカウントを素早くスキャンし、業界のベストプラクティスに基づいてセキュリティ違反を検出できます。Snowflakeは、Trust CenterにSnowflakeネイティブアプリのソフトウェア脆弱性スキャン機能を追加します（近日中にプライベートプレビュー開始）。

Snowflakeは、認証ポリシー、IDファーストのログインフロー、複数のIDプロバイダーを使用したフェデレーション型SAML認証のサポートなど、一般提供されている一連の認証改善により、アクセス保護をさらに強化しています。これにより、ユーザーのロックアウトが減少し、不正アクセスがさらに防止されます。ネットワーク識別子を論理ユニットにグループ化するスキーマレベルのオブジェクトであるネットワークルールなどの強化されたネットワークセキュリティ機能が一般に利用可能になったため、データガバナーとデータスチュワードは管理性、トラブルシューティング、監査性を改善できるようになりました。ネットワークルールと組み合わせることで、AWS S3エンドポイントまたはAzureプライベートエンドポイントの識別子に基づいてアクセスを制限できるようになりました。外部APIエンドポイントやファーストパーティコネクタとの安全な接続と認証のために、機密データや認証情報を保存するネイティブなSnowflakeオブジェクトであるSnowflake Secretsも一般提供されています。Snowflakeは、特に規制の厳しい業界の企業が接続要件を遵守できるよう、SnowflakeからCSPサービス（近日中にプライベートプレビュー開始）へのアウトバウンド接続をさらに拡張します。

Snowflakeは、すぐに使えるテンプレートとSnowflakeデータクリーンルームのノーコードUIにより、プライバシーを保護しながら、技術系ユーザーと非技術系ユーザーの機密データのコラボレーション方法に革命を起こしています。2023年12月、SnowflakeはデータクリーンルームテクノロジープロバイダーのSamoohaを買収することを発表しました。現在、Samoohaのサービスは統合され、Snowflakeデータクリーンルームとして提供されており、一部の地域のお客様に一般提供されています。非技術系チームは、事前に構築されたテンプレートを簡単に活用し、機械学習モデルを展開して、類似モデリング、オーディエンスの重複、ラストタッチアトリビューションなどの重要なマルチパーティコラボレーションユースケースに対応できます。開発者APIにより、クリーンルームのカスタマイズやあらゆるAIモデルの展開が可能になります。詳細はブログをご覧ください。

プライバシーポリシーファミリーに追加して、エンティティレベルの集約制約（一般提供）をサポート。これにより、お客様は集約ポリシーをトランザクションデータと一緒に直接使用できます。差分プライバシーポリシー（近日中にパブリックプレビュー開始）により、機密性の高いデータや規制対象のデータでの共有シナリオを解放し、人、組織、場所などのデータ主体を個人情報の再識別やプライバシー攻撃から保護できます。また、機密性の高いデータセットに基づいて合成データ（近日中にプライベートプレビュー開始）を生成し、元のデータの参照整合性を保持した行レベルの複製を作成して、共有したり、別のテスト環境や開発環境に移動したりできます。

Snowflake Horizonは、組み込みの系統とデータ品質モニタリングにより、組織による社内外のコンプライアンスレビューと監査の成功を支援します。データガバナーとデータスチュワードが上流と下流の関係をより適切に把握して根本原因分析を行うため、Snowflakeはリネージビジュアライゼーションインターフェースをテーブルやビュー（近日中にパブリックプレビュー開始）などのデータオブジェクトからMLアセット（プライベートプレビュー中）にまで拡張します。テーブルとビューについては、変更の影響を受けるダウンストリームオブジェクトを確認し、直感的なUIワークフローに従ってタグを伝播し、PIIでダウンストリーム列を保護できます。MLアセットの場合、データからインサイトまでの特徴量とモデルの系統をエンドツーエンドでトレースし、再現性、コンプライアンスの強化、可観測性の簡略化を実現できます。

最後に、データ品質モニタリング（近日中に一般提供開始）により、組織は、すぐに使えるシステムメトリック（ヌルカウントなど）またはカスタムデータ品質メトリックを定義して自動的に測定および監視し、データ品質の低下を効果的に監視および報告することができます。

Snowflake Horizonの強力なガバナンス機能とディスカバリー機能は、Snowflake内に保存されたデータに留まらず、オープンなPolarisカタログ（近日中にパブリックプレビュー開始）により、Iceberg REST APIをすでにサポートしているすべてのエンジンがIcebergテーブルを作成できるようになりました。これらのテーブルがSnowflakeに同期された後は、Snowflake Horizonの業界をリードするガバナンス機能とディスカバリー機能をネイティブのSnowflakeオブジェクトのように簡単に適用できます。Snowflake Horizonのガバナンス機能をSnowflakeやIceberg以外にも拡張するため、組織はSnowflake Horizonパートナーエコシステム内のエンタープライズデータカタログ、ガバナンス、セキュリティパートナーによる事前構築済みの統合を活用できます 

Snowflake Horizonは、データガバナー、スチュワード、データチームに、AIデータクラウド内のデータ、アプリ、モデルを管理、発見するための統合された方法を提供します。クラウドをまたいだ一元的な脅威モニタリングとRBAC、簡単かつきめ細かいコンテンツ保護、迅速な発見とプライバシー保護のコラボレーションにより、Snowflake Horizonは、ガバナンスの行き届いたデータ基盤を実現し、AIやアプリケーションなどをエンタープライズで製品化するための迅速かつ安全な道筋を切り開きます。
Snowflake Horizonの詳細については、Snowflake Horizon YouTubeプレイリストのデモとSnowflakeのガバナンス決定版ガイドをお読みください。