Gen AIとLLMをデータに導入しよう
注：本記事は(2023年6月28日)に公開された(Bring Gen AI & LLMs to Your Data)を翻訳して公開したものです。この記事の翻訳には機械翻訳を使用しています。
ジェネレーティブAIと大規模言語モデル（LLM）が企業にもたらす可能性は非常に大きい。
この機会については以前にもお話したことがあり、サミット2023では、お客様がジェネレーティブAIとLLMをお客様の専有データに直接導入できるよう支援するための多くの機能を発表しました。
Snowflakeの単一プラットフォームにより、お客様はすでにデータのサイロ化を解消し、より多くの種類の開発をデータに直接取り込むことができるようになりました。これには、Snowpark Container Servicesを使用してSnowflakeで主要なLLMを実行し、微調整する機能、ビルトインLLMでデータをより賢く処理する機能、LLMを利用したエクスペリエンスで生産性を高める機能などが含まれます。これらの発表の詳細については、続きをお読みください。
LLMを貴社のデータへ
Summitでは、Snowpark Container Services（プライベートプレビュー）を発表しました。これは、開発者がGPUなどのハードウェアオプションを設定可能なセキュアなSnowflake管理インフラストラクチャを使用して、コンテナ化されたデータアプリケーションを簡単に登録およびデプロイできるようにするものです。この追加された柔軟性により、Snowflakeデータに直接持ち込むことができるAI/MLおよびアプリのワークロードの範囲が大幅に拡大されます。
顧客が主要なLLMをさらに簡単かつ安全に利用できるように、Snowpark Container ServicesはSnowflake Native Appの一部として使用することができます。したがって、顧客はSnowflake マーケットプレイス経由で主要なLLMに直接アクセスし、Snowflakeアカウントで完全に実行できるようにインストールすることができます。初期の商用LLMには、AI21 Labs、Reka、NVIDIA（NeMoフレームワーク、NVIDIA AI Enterpriseソフトウェアプラットフォームの一部）などがある。
これらのプロバイダにとって、スノーフレークネイティブアプリのロジックは最終消費者がアクセスできないため、プロバイダのLLMウェイトまたはその他の独自IPがアプリの消費者に公開されることはありません。また、LLMは最終消費者のアカウント内部で実行されるため、LLMの微調整やその他のインタラクションに使用される管理された企業データは、プロバイダーに公開されることはない。双方にとってウィン／ウィンだ。このデモをご覧ください。
StreamlitでLLMに命を吹き込む
Streamlitは、Pythonで構築されたインタラクティブなアプリケーションとして、データやAI/MLモデルを簡単で楽しい方法で実現するというビジョンを常に持っています。LLMも同じだ。Streamlitは、LLMを搭載したアプリのUIを構築する事実上の方法として急速に普及している。実際、すでに7,000を超えるLLM搭載StreamlitアプリがCommunity Cloud上で作成されており、その数は日々増加している。GitHubには19万を超えるStreamlitのコードスニペットが存在し、そのすべてがGPT4や他のLLMのトレーニングに役立っている。つまり、アナリスト、データサイエンティスト、そして学生でさえも、素早く分析を実行し、新しいアプリのプロトタイプを作成し、自動生成されたStreamlitフラグメントを他のアプリに織り交ぜることができる。
Streamlit in Snowflakeへの統合（間もなくブリック・プレビュー）により、Snowflakeの顧客はStreamlitを使用して、LLMを利用したアプリやエクスペリエンス用の強力なUIを完全にSnowflakeで開発・展開することができます。これにより、チームは既存のSnowflakeのガバナンスを使用してアプリを簡単に共有し、 Snowflakeプラットフォームですべてが実行されるため、運用の負担なしにそれらのアプリを迅速に展開できるようになる。
ネイティブLLMでデータを賢く活用しよう
さらに、 SnowflakeはLLMをプラットフォームに直接組み込むことで、顧客の生産性を高め、データから新たな洞察を引き出すことを支援する。顧客にとって特に困難な分野のひとつは、文書などの非構造化データを理解し、そこから価値を引き出すことだ。Snowflakeは、Document AI（プライベート・プレビュー）により、顧客がドキュメントから情報を迅速かつ容易に抽出できるよう、先進的なLLMを提供する。ここでその動きを見てみよう。
Document AIは、Snowflakeプラットフォームにネイティブに統合された、専用に構築されたマルチモーダルLLMを活用します。お客様は、文書から請求金額や契約条件などのコンテンツを簡単かつ安全に抽出し、ビジュアル・インターフェースと自然言語を使用して結果を微調整することができます。すべてがSnowflakeの単一プラットフォームの一部であるため、データエンジニアや開発者は、StreamsやTasksを使用したパイプラインやアプリケーションのように、組み込みモデルや微調整されたモデルをプログラムで呼び出して推論を実行することもできます。
LLMを活用したエクスペリエンスで生産性を高める
業界全体で見られるように、LLMは、手作業によるコーディングの必要性を減らしたり、発見しやすくしたりと、ユーザーの生産性を高める強力な手段にもなる。サミットでは、Snowflakeのお客様にLLMを利用した体験を提供するために現在開発中の多くの機能拡張を紹介しました。これには、顧客がSnowflakeマーケットプレイスでビジネス上の質問に基づいてデータやアプリを発見できるようにする会話型検索エクスペリエンスや、SQLを使用しないユーザーでもSnowsightで簡単にデータを照会して新しい洞察を発見できるようにする会話型text-to-code機能が含まれます。私たちはこの分野をさらに拡大し、誰でも、たとえコードを書かない人でも、自分のデータを発見し、そこから価値を得ることがさらに簡単にできるようにしていきます。
What’s next:
ジェネレーティブAIは、ソフトウェアや企業全体に根本的な変化をもたらしているが、その旅は始まったばかりだ。Snowflakeを使用してLLMのパワーを企業にもたらす方法については、当社のDevelopersサイトにアクセスしてください。
もっと詳しく SnowflakeがどのようにジェネレーティブAIとLLMのためのデータ中心プラットフォームを構築しているかについては、こちらをご覧ください。このブログを読む
Authors
