Snowflake Cortex AIによるマルチモーダルデータ分析の簡略化

Snowflake Cortex AIに、ネイティブのマルチモーダルAI機能が加わりました。これにより、データサイロが解消され、個別の高価なツールも不要になります。現在パブリックプレビュー中のCortex AI COMPLETE Multimodalをご紹介します。この大規模な機能強化により、使い慣れたSQLを使用して、画像などの非構造化データをSnowflakeのクエリエンジン内で大規模に直接分析できるようになります。構造化データと非構造化データのより効率的かつシンプルな統合が実現します。重要なこととして、この統合はSnowflakeデータ、Icebergテーブル、Amazon S3などのオブジェクトストレージにまたがってシームレスに機能します。データを移動する必要はありません。Snowflakeの組み込みのセキュリティとガバナンスを活用することで、あらゆるタイプのエンタープライズデータについてより信頼できる詳細なインサイトを生成できます。

データギャップを埋める

今日のデータドリブンな状況では、テキスト、画像、音声、動画などの非構造化ソースから得たインサイトを構造化データと容易に組み合わせることができる組織は、大きな競争優位性を得られます。Cortex AI COMPLETE Multimodalでは、このような複雑なタスクをわずか数行のSQLでシンプルに実行できるため、データ分析のコストが軽減されます。たとえば、テキストや画像を含めることで予測モデルを強化したり、医療画像と治療アウトカムを関連付けたり、製造ラインの写真から製造不良を特定したりできます。

データのある場所で処理する

断片化されたデータ環境と複雑なクラウドアーキテクチャは、効率性とイノベーションの妨げとなっています。この問題に対応するために、現在パブリックプレビュー中のCortex AI COMPLETE Multimodalは、セキュアで統合されたシングルプラットフォーム内で画像ファイルを直接処理できるソリューションを企業に提供することで、管理とスケーリングを容易にします。Cortex AIのマネージドプラットフォームは、Amazon S3バケットなどの外部クラウドオブジェクトプロバイダーやSnowflake内に保存されている非構造化データを自動でバッチ処理し、高いスループットを提供します。そのため、異なるクラウドサービス間でジョブをオーケストレーションするソリューションの構築に、多くのサイクルを投資する必要がなくなります。これにより、視覚的なデータインサイトが促進されるとともに構造化データとの統合も加速し、技術的なデータワーカーのスピードとアジリティが向上します。結果として、アーキテクチャが合理化され、複雑さが軽減され、インサイトを得るまでの時間が短縮し、総保有コストが低減します。

Fig. 1: Multimodal analysis architecture comparison

マルチモーダル分析：全容を解説

データサイエンティストは通常、構造化データに基づいて構築された予測モデルを使用します。しかし、こうしたモデルで構造化データだけに頼っていると、画像などの非構造化ソースに存在する貴重なシグナルを見落とすことになり、ユーザーエンゲージメントに影響します。データアナリストとサイエンティストは、構造化データと画像を処理する別々のシステムを維持する必要なく、使い慣れたSnowflake環境内でシンプルなSQLを使用して従来のメトリクスとビジュアルインテリジェンスの相関関係を調査できるようになります。

ここでは、アナリストがSQLを使用して、どのように広告クリエイティブのビジュアル要素を分析し、キャンペーンパフォーマンスの隠れたパターンを明らかにできるかを説明します。視覚特徴量を抽出することにより、技術チームはソーシャルメディアエンゲージメントやユーザーのコンバージョン率との関係を明らかにすることができます。

SELECT 

c.ad_id, 
c.conversion_rate,
snowflake.cortex.complete('claude-3-5-sonnet','Classify the prominent color visible in this image. Respond with the name of the color and nothing else', adimages) as prominent_color ,

snowflake.cortex.complete('claude-3-5-sonnet','Are there human faces identified in the Image? Respond only with TRUE or FALSE and nothing else', adimages) as human_face_flag

FROM campaign_table c join image_table i on c.ad_id i.ad_id

マルチモーダル分析では、従来の構造化データと豊富なビジュアルインサイトを組み合わせることで、より包括的なビジネス理解を実現し、真の可能性を抽出できるようになります。その他の例としては、商品の写真のメタデータと取引履歴を統合し、視覚が購入判断にどのように影響するかに関する深いインサイトを得ている小売企業が挙げられます。小売、製造、ヘルスケア、金融のいずれの業界においても、こうした機能を活用することにより、深いインサイトを獲得し、より有意義な顧客体験を創出して事業の成長を促進できます。

AI駆動のマルチモーダル分析で業界を変革

組織内の膨大な非構造化データアセットには、まだ活用されていないビジネス価値があります。Cortex AI関数は、構造化データ分析と非構造化データ分析を組み合わせるシンプルなSQLを通じて、この価値を解放します。

マーケティングキャンペーンの最適化：マーケティングチームは、Cortex AIを使用して、プロモーションアセットの視覚要素をコンバージョンメトリクスに直接つなげ、キャンペーンのパフォーマンスを変革できます。たとえば、Snowflakeを使用している小売企業は、何千もの広告画像を分析し、特定のカラースキームの製品画像が特定のデモグラフィックセグメントのエンゲージメントを高める傾向があることを発見できます。
手動プロセスの合理化：オンライン小売企業やフードデリバリープラットフォームは、Cortex AIを使用して料理や食料品の画像の説明を自動化して、手作業を削減しています。製造業界では、目視検査のデータを生産仕様と連動させることで、コストのかかる欠陥を防げるようになります。ヘルスケア組織は、画像のメタデータを治療プロトコルやデモグラフィックに関連付けることにより、患者アウトカムを改善できます。

カスタマーサービスの強化： カスタマーサービス部門は、Speech-to-Textモデルを使用して通話の文字起こしを行うことで、より深いインサイトを抽出できます。たとえば、Cortex機能を使用すると、顧客の詳細やエージェントとのインタラクションだけでなく、次のステップ、意図、感情の要約を抽出することも可能になり、顧客体験の全体像を把握できるようになります。

複雑なドキュメントの分析：Cortex AIは、金融企業がテキスト、テーブル、チャートの説明から構造化データを抽出して、四半期レポート、目論見書、財務諸表を分析できるようにします。たとえば、あるグローバル銀行は、セキュアで信頼できる環境内で、納税申告書、銀行取引明細書、雇用確認書から重要な情報を抽出して検証することによって、融資申請プロセスを高速化できます。

質の高い成果を実現する

ビジネス意思決定がアナリティクスに依存するようになると、最重要視されるのは品質です。Cortex AIは、さまざまなタスクに特化したモデルと専門関数により、さまざまな非構造化データ処理タスクにおいて優れた品質を提供します。

業界をリードする視覚モデル：Cortex AIは業界をリードする視覚モデルへのほぼ即時のセキュアなアクセスを提供するため、独自のビジネス要件に最適なモデルを選択することが可能になります。Cortex AI COMPLETE関数を使用することにより、AnthropicのClaude 3.5 Sonnet、Mistral AIのPixtral Large、今後リリースされるAnthropicのClaude 3.7 Sonnet、MetaのLlama 4 Scout、Open AIのGPT-4.1などのオプションから選択して、包括的な視覚分析を実行できます。

Fig. 2: Multimodal queries using SQL

Claude 3.5 Sonnetは、ドキュメント理解に優れ、DocVQAベンチマークで90.3%という驚異的な数値を記録しており、財務諸表、法律契約書、コンプライアンス文書から情報を抽出するための最適な選択肢となっています。 Pixtral Largeは、優れたチャート分析（88.1% ChartQA）と数学的推論（69.4% Mathvista）に卓越しており、財務レポートや製造仕様測定に最適です。GPT-4.1（近日公開予定）は、図表や地図からの視覚的質問応答などの多様なビジネス画像ニーズに対応し、MMMU（74.8%）などの業界をリードする画像理解ベンチマークで優れた結果を示しています。これらのモデルはすべて、Snowflake環境内で直接動作します。複雑な外部統合は不要です。

柔軟な音声文字変換：Cortex AIのネイティブなマルチモーダル機能のほかに、Snowflakeのお客様はSnowparkコンテナサービスを使用して、音声処理を含むあらゆるモダリティをSnowflakeに取り込むことができます。Snowparkコンテナサービスは、コンテナ化されたアプリケーションのためのマネージドインフラストラクチャを提供して、開発者が音声文字変換モデルを大規模に展開できるようにします。

Snowparkコンテナサービスを使用すると、独自のニーズに応じて、OpenAI Whisper、NVIDIA Canary、NVIDIA Parakeetなどのモデルを、Snowflake上で柔軟に展開、最適化できるようになります。お客様は多くの場合、ワードエラー率（WER）だけでなく、多言語サポート、コールセンターなどの過酷な環境でのパフォーマンス、リソース効率など、それぞれのモデルの機能に基づいてモデルを選定しています。Snowflakeのセキュアで効率的な環境は、柔軟性、パワー、信頼性のすべてにおいて優れているため、任意のモデルを実行できます。

最先端のエンティティセンチメント分析：Cortex AIは、音声処理のほかにも、多様なテキストソースからインサイトを引き出す高度なテキストアナリティクス機能も提供します。文字起こしされた顧客の会話、ソーシャルメディアへの投稿、製品レビュー、その他のテキストデータを分析する場合において、最先端のエンティティセンチメント分析により、表現された意見のニュアンスを含めて理解できます。

Snowflakeのアスペクトベースのセンチメント分析は、以下のベンチマークに基づいた主要な大規模言語モデルとの比較を通じて業界に新たな品質基準をもたらし、優れたセンチメント分類を提供しています。特に、Cortex AIのENTITY_SENTIMENTは、全体としてのポジティブかネガティブの分類のみに依存するのではなく、特定のエンティティに対するセンチメントを分析することで、テキストからニュアンスを含めたインサイトを抽出できるようにします。Cortex AIのENTITY_SENTIMENTは、GPT-4oのような大規模モデルでプロンプトによってセンチメント精度の大幅な改善を行う場合と比較して、最大45%もコスト効率が高くなります。ENTITY_SENTIMENTは、混合センチメントや未知のセンチメントを含む複雑なセンチメント表現を効果的に処理し、製品レビューや通話のトランスクリプトでの相対感情の分析を支援します。

Fig. 3: Comparison of model accuracy on the task of aspect-based sentiment analysis (ABSA) across a combined evaluation set. The benchmark includes datasets from SemEval-2014 Task 4 (laptops and restaurants), MAMS, SENTFIN, and FABSA. The task involves identifying sentiment polarity toward specific aspects or entities mentioned in a sentence. We compare the performance of Mistral-large, Claude 3.5 Sonnet, GPT-4, and Snowflake’s model Cortex AI Entity Sentiment.

OCRによる高度なドキュメント処理：組織は、デジタルソースからテキストを分析するだけでなく、さまざまな形式のドキュメントに閉じ込められている貴重な情報を抽出する必要もあります。Cortex AIのドキュメント処理機能は、非構造化ドキュメントを、検索と分析が可能なデータに変換します。検索システムとマルチモーダルアナリティクスの精度の基礎となるのは、信頼性の高いテキスト抽出です。これは、正確なドキュメント処理の基盤です。

Cortex AIのPARSE_DOCUMENT OCR機能は、エンタープライズ文書向けの一般的な商用ソリューションやオープンソースソリューションより優れており、しかも余計な複雑さを伴いません。お客様は、財務文書に対するLLMベースの質問応答などのOCR結果をアプリケーションに簡単に統合できます。SnowflakeのソリューションのANLSメトリクスは、競合ソリューションの0.969と比較して、0.974という大幅に優れた結果となっています。

Fig. 4: The results of our real-world documents OCR benchmark tests, which were performed on diverse public documents for different file formats (e.g., PDF, DOCX, PPTX, TIFF) with manually annotated ground truth. The tests measure how accurately an OCR system extracts text.

クラス最高レベルの機械翻訳：すべてのデジタルテキストとドキュメントから抽出したテキストについて、組織は多くの場合、多言語で情報にアクセスできるようにする必要があります。Cortex AI Translateは、14言語について一貫性のある高品質の翻訳を提供します。注釈の追加や翻訳リクエストの却下を行う可能性がある汎用LLMとは異なり、Cortex AI Translateは、厳格なデータ準備プロセスとカスタマイズされたモデルトレーニングを通じて翻訳タスクに最適化されています。業界ベンチマークでは、人気の商用システムやGPT-4oなどの最先端のLLMと同等のパフォーマンスを示しています。また同時に、Cortex AI Translateの費用対効果は、GPT-4oのような大規模モデルと比較して最大51%、一般的な商用システムと比較して最大70%優れています。さらにCortex AI Translateは、ノイズの多いテキスト、混在したコード、拡張コンテキストを、一貫性を維持しながら効果的に処理します。

Fig. 5: chrF (character-lefel-F-score) is a metric used to evaluate machine translation quality that operates at the character level rather than the word level. BLEU compares how closely machine translations match human references by counting matching word sequences.

統合されたデータアナリティクスの未来

Snowflake Cortex AIは、企業がすべてのデータから価値を抽出できるように後押しします。Cortex AIでは、Cortex AI COMPLETE Multimodalを通じて、Snowflake内のみでSQLを使用して構造化分析と非構造化分析をネイティブに統合できるようになります。これにより、複雑さが軽減され、インサイトを得るまでの時間が短縮されます。また、ネイティブAIと信頼性の高いガバナンスにより、企業はすべてのデータについてより充実した幅広い理解を得られるようになります。この統合されたアプローチにより、より迅速かつインパクトのある意思決定が実現します。SnowflakeのAIリサーチチームは、Cortex AI COMPLETE Multimodalなどのイノベーションと、業界をリードする高品質を提供するために最適化された強力なタスク特化の関数を通じて、企業ためにAI価値の創出を簡素化します。

Snowflake Cortex AI COMPLETE Multimodalについて、今すぐご確認ください。

さっそく始める：

将来の見通しに関する記述
このページには、Snowflakeが将来提供する製品に関する記述を含め、将来の見通しに関する記述が含まれていますが、これはいかなる製品の提供も約束するものではありません。実際の成果や提供物は異なる可能性があり、既知および未知のリスクおよび不確実性の影響を受けます。詳細については、最新の四半期報告書（10-Q）をご覧ください。