SNOWFLAKE WORLD TOUR TOKYO(9月10日〜11日 東京開催)

セッション、続々と公開中!AIとデータの先端事例に浸れる2日間です。

基礎ガイド

AI(人工知能):完全ガイド

エンタープライズAIの本番運用が進む一方、アーキテクチャ、データ戦略、ガバナンスの整備は発展途上にあります。本ガイドでは、AIシステムの構築手法、成否を分ける要因、そして効果的な管理と運用に向けた要件を解説します。

AI(人工知能)の定義

AI(人工知能)とは、データのパターン認識や予測、テキストの理解、意思決定の支援など、人間の推論が必要なタスクを実行できるシステム全般を指します。

多くの組織は、AI活用フェーズの初期段階にいるわけではありません。すでに本番運用やパイロットプロジェクトが進む一方で、ガバナンスの議論はその導入スピードに追いついていないのが現状です。現在開発チームには、適切なAIアーキテクチャ、データ依存関係、評価戦略の選定が求められています。同時に、AIライフサイクル全体を通じて、一貫したガバナンス、セキュリティ、運用管理を適用しなければなりません。これらは通常、デプロイパイプラインや監視、モデルのバージョン管理といったMLOpsの実践によって実装されます。

これには、一般的なAI戦略以上のものが求められます。予測モデルや文書分類器、RAG、そしてエージェント型システム。これらはシステムごとに構築手法も違えば、発生するバグやトラブルの傾向も異なります。そのため、必要となるデータやインフラ、管理体制の要件もそれぞれ個別に見極める必要があります。どのAIを開発し、どれをスケールさせ、どう管理するかを決める際は、システムごとの違いを考慮する必要があります。ただし、個別にルールを作りすぎて、組織全体の管理体制がバラバラに散らばってしまわないよう、注意しなければなりません。

本ガイドは、その取り組みにおける参考資料となります。本ガイドでは、主要なAI分野の全体像をはじめ、モデルの学習・評価方法、企業における効果的な導入事例を解説します。さらに、システムを長期的に安定運用するために不可欠な、ガバナンス、セキュリティ、データ活用の重要ポイントについても網羅しています。

AI(人工知能)とは

AI(人工知能)は単一の技術ではなく、いくつもの専門分野が入れ子構造(階層構造)になって成り立っている、非常に広い研究開発領域です。例えば、機械学習(ML)はAIの一部分であり、明示的なルールに従うのではなく、データから統計的なパターンを学習するシステムを指します。そしてディープラーニングはMLの一部分であり、複雑で高次元なデータの表現を学習する、階層化されたニューラルネットワークのことです。生成AIはディープラーニングから発展した技術であり、既存のデータを分類するのではなく、新たなデータを生成する基盤モデルを指します。

各レイヤーは、その土台となる上位レイヤーのデータ品質、インフラ、および評価に関する要件をすべてそのまま継承します。生成AIの運用もベースはMLのシステムであるため、従来のMLシステム特有の課題や要件をすべて引き継ぐことになります。

また、AIの領域は、特定のタスクに特化した特化型AI(ナローAI)と、人間のようにあらゆるタスクをこなせる汎用人工知能(AGI)の2つに大きく分けられます。特化型AI(現在本番環境で稼働しているすべてのAIシステムがこれに該当します)は、特定のタスクやドメイン向けに最適化されています。AIに関するエンタープライズの意思決定には、常に特化型AIと、それに適用されるガバナンスフレームワーク、評価手法、リスクモデルが関わってきます。人間と同等、あるいはそれ以上のレベルであらゆる分野の推論、学習をこなすAGIは現在もまだ研究フェーズにあり、実用化の目処は立っていません。

Quote Icon

これまで諦めるしかなかった非構造化データから、新たな知見を導き出す。AIは今、そのブレイクスルーの扉を開こうとしています

Baris Gultekin
SnowflakeのAIプロダクト担当VP

AI(人工知能)の仕組み

ほとんどのAIシステムは、共通する基本ループに沿って動作します。それは、インプットされたデータからモデルが特徴を学習し、その学習済みモデルを用いて、新しいデータに対する予測や出力を行うというサイクルです。トレーニング、推論、ファインチューニングの3つのフェーズには、それぞれ異なるインフラストラクチャ要件とガバナンス要件があります。

トレーニングとは、モデルがパターンを認識できるよう、ラベル付き、またはラベルなしの大量のデータにモデルを適応させるプロセスのことです。ディープラーニングシステムにおいて、このプロセスには通常Transformer(トランスフォーマー)と呼ばれるアーキテクチャが用いられます。これはアテンション機構(注意メカニズム)を活用し、与えられた出力に対して入力データのどの部分が最も関連性が高いかをモデルに学習させる仕組みです。生成AIの土台である基盤モデルのトレーニングには、従来、大手の研究機関やクラウド事業者にしか扱えなかった規模の膨大な計算リソースが必要となります。

推論とは、トレーニング済みのモデルを使用する際に行われる処理のことです。ユーザーがクエリを送信すると、モデルが応答を生成し、その応答がほぼリアルタイムで返されます。AIの推論レイテンシー、コスト、そして信頼性は、サービスの規模が拡大するにつれて大きな運用課題となります。特に、一般ユーザー向けのアプリケーションでは極めて重要です。

ファインチューニングは、より小規模でターゲットを絞ったデータセットを使用して、事前学習モデルを特定のドメインやタスクに適応させます。これは、ゼロからスクラッチで学習させずに基盤モデルの恩恵を受けられる定番の手法です。しかし、ファインチューニングに使ったデータが、運用の経過とともに本番環境のインプットデータと乖離していくと、モデルドリフトを引き起こすリスクがあります。

AI展開における真のボトルネックが、モデル自体であることはほとんどありません。MIT Technology Review Insightsがデータおよびテクノロジー担当のシニアエグゼクティブ400人を対象に実施した調査では、回答者の45%が「統合の複雑さ」を、40%が「データガバナンス」を、AIイニシアチブにおける最大の課題として挙げました。AI活用の成果を左右するのは、どのAIモデルを選ぶかよりも、データの品質、ガバナンス、コンピュートインフラストラクチャにかかっています。

  • エグゼクティブの45%が、統合の複雑さをAIイニシアチブにおける最大の課題として挙げています。
  • 40%がデータガバナンスをAI活用の障壁として挙げています。
  • 現在、データエンジニアリングに費やされる時間の37%がAIプロジェクトに割かれています(2023年の19%から上昇)。
Quote Icon

AIがもたらす価値を定量的に評価することは、投資対効果の検証や、開発すべきアプリケーションの優先順位付け、さらには将来的なメリットと潜在的リスクのバランスを見極める上で極めて重要です

Jennifer Belissent
Snowflakeのプリンシパルデータストラテジスト

よくある落とし穴

データ、評価、ガバナンスといった強固な土台を築く前に、モデルの選定やファインチューニングばかりに注力してしまうと、本番環境で原因究明や修正が極めて困難なトラブルに直面しがちです。

Snowflake Cortex Agentsの使用を開始するためのビデオチュートリアルをご覧ください。

AIの種類

AIシステムは一般的に、記憶や推論のケイパビリティに基づいて以下の4つのカテゴリに分類されます。

反応型(Reactive) → 記憶限定型(Limited Memory) → 心の理論(Theory of Mind) → 自己意識型(Self-Aware)

ただし、現在実用化されているシステムは、すべて最初の2つのフェーズにとどまっています。

種別 説明
反応型 過去のやり取りを記憶せず、入力に対してのみ反応する リアルタイムの異常フラグ、スパムフィルター
記憶限定型 履歴データを使用して現在の意思決定に役立てる レコメンデーションシステム、不正検知モデル
心の理論 人間の意図や感情の状態を理解するもの 研究段階以外ではまだ存在しない
自己意識型 主観的な意識と自己理解を持つ 理論上

つまり実務における結論として、現在のAIはあらかじめ定義された特定の枠組みの中でしか動作しません。モデルが特定のタスクで高いパフォーマンスを発揮できるのは、そのタスクに特化した学習を行い、かつ本番環境を想定した類似データで事前に正しく評価されているからに他なりません。一見、汎化能力があるように見えるシステムも、その実態は非常に大規模な記憶限定型モデルか、あるいは広範な学習データをカバーした特化型システムのいずれかであり、本当の意味でのAGI(汎用人工知能)ではありません。

AIの主要分野

以下の分野は、応用AIの主要な領域を示しています。それぞれに独自の手法、ベンチマーク、障害モードがあります。AIシステムの構築や評価において、対象のアプリケーションがどの技術分野に属しているかを正しく把握することは、データ要件や評価基準、リスクを検討する上での重要なスタートラインとなります。

機械学習は、履歴データに基づいて統計モデルをトレーニングし、入力の分類、結果の予測、パターンの抽出を行います。特徴量エンジニアリング、ハイパーパラメータチューニング、アンサンブル学習といった主要な設計判断は、すべてモデルの複雑さ、解釈可能性、汎化能力の3つをどうバランスさせるかというトレードオフに帰結します。なお、エンタープライズにおける予測分析のほとんどは、機械学習(ML)で実行されています。

ディープラーニングは、多数の層を持つニューラルネットワークを使用して、画像、音声、テキスト、時系列シグナルなどの複雑なデータの表現を学習します。勾配降下法や誤差逆伝播法(バックプロパゲーション)を含むいくつかのコア技術により、これらのネットワークは明示的なエンジニアリングを必要とせず、特徴量を自動的に学習できます。ディープラーニングは、現在コンシューマー向けアプリケーションでAIとして動作しているものの大部分を支えています。 ディープラーニングの詳細はこちら >

自然言語処理(NLP)により、システムは人間の言語を解釈、分類、生成できるようになります。最新のNLPは主にTransformerベースの言語モデルを基盤として構築されており、ドキュメント分類から対話型インターフェース、コード生成に至るまでのアプリケーションの基礎となっています。自然言語処理の詳細はこちら >

コンピュータービジョンは、画像や動画などの視覚データにディープラーニングを適用し、物体の検出、画像の分類、欠陥の特定、顔認識などのタスクを実行します。製造、物流、ヘルスケア、セキュリティの分野で広く導入されています。コンピュータービジョンの詳細はこちら >

強化学習とは、エージェントが環境内で特定の行動を選択した際、得られる報酬シグナルを最大化できるように学習させる手法です。これはAlphaGoをはじめとするゲームAIの基盤技術であり、現在はロボット工学や自律型システム、さらには人間のフィードバックによる強化学習(RLHF)へと形を変え、大規模言語モデル(LLM)のトレーニングにも広く応用されています。強化学習の詳細はこちら >

生成AIは、大規模な基盤モデル(テキストに適用される場合は大規模言語モデル、LLMと呼ばれることが多い)を使用して、テキスト、コード、画像、音声、合成データなどの新しいコンテンツを生成します。主な機能には、ゼロショット学習(タスク固有のトレーニング例なしでタスクを実行すること)や、Chain-of-Thought(思考の連鎖)プロンプティング(問題を段階的に推論するようにモデルをガイドすること)などがあります。多くの組織では、AIの導入スピードに対して正しい評価が追いついていません。その結果、事前の計画段階では見落とされ、本番環境にリリースされてから初めて露呈するような、深刻なガバナンスリスクを抱えることになります。生成AIの詳細はこちら >

マルチモーダルAIは、テキスト、画像、音声、動画といった異なる種類のデータを共通の埋め込み空間へ統合して処理します。これにより、単一のモデルであっても、複数のデータタイプを横断した高度な推論が可能になります。この技術は、現在の基盤モデル開発における最前線に位置づけられており、ドキュメントや図表、さらには動画や音声などの非構造化メディアを複合的に処理するアプリケーションにおいて存在感を増しています。

AIエージェントとエージェント型システム

AIエージェントは、シンプルなチャットボットよりもはるかに高い能力を備えています。エージェントは、複数のステップにわたる計画の策定、外部ツールの使用、外部ソースからのコンテキストの取得、アクションを実行することができます。たとえば、カスタマーサポートのチャットボットは質問に答えることしかできませんが、エージェントは問い合わせを受け取り、関連するアカウント履歴を取得し、ナレッジベースを参照し、解決策を検討し、サポートチケットを発行するという一連の作業をほぼ自律的に行うことができます。

この機能こそが、エージェント型のAIシステムをエンタープライズAIスタックの中で最もリスクの高いカテゴリにしている要因でもあります。ステップが進むにつれてエラーが蓄積されるため、展開前に人間による監視を計画しておく必要があります。

さらに、AIエージェントの能力はアクセスできる情報の質に左右されます。検索の品質、コンテキスト管理、ツールの信頼性は、モデルそのものと同じくらい重要です。古く、不完全で、範囲が不適切に定義されたデータに基づいて動作するエージェントは、もっともらしいエラーを自信満々に、かつ迅速に生成してしまいます。

エージェント型AIは現在、エンタープライズAIの中で最も急速に進化している分野です。一方で、ガバナンスフレームワークの整備がそのスピードに追いついていないのが実情です。エージェント型システムを構築するチームは、展開後ではなく展開前に、スコープ、エスカレーションパス、障害モードを定義する必要があります。AIエージェントの詳細はこちら >

エンタープライズAIのユースケース

エンタープライズAIの導入は、既存のワークフローやインプットデータ、そして成否を測る評価基準があらかじめ明確に定義されている領域に集中する傾向があります。以下の例は、推測や初期段階の実験ではなく、すでに本番環境でAIが適用されていると仮定したケースです。

意思決定支援は、リスクスコアリング、与信審査、臨床意思決定支援、サプライチェーンの最適化など、モデルが生成する推奨事項によってアナリストやオペレーターの判断をサポートします。

自動化は、ドキュメント処理、Eメールの仕分け、サポートチケットのルーティング、データ入力、コードレビューなど、ルールに沿って処理できる、かつ高ボリュームの業務に対応します。エンタープライズAIの本質的な価値は、斬新さにあるのではなく、高い処理性能と、業務品質の均一化の実現にあります。

コンテンツ生成は、生成AIを使用して、下書き、要約、翻訳、製品説明、社内ドキュメントを大規模に作成します。ここでは、モデルの選択よりも品質管理と評価インフラストラクチャのほうが重要です。

パーソナライゼーションは、推奨エンジン、ダイナミックプライシング、個別化されたマーケティング、適応型の製品体験を推進します。これらは組織内で最も運用実績の長いMLシステムであるケースが多く、過去の経緯から最も多くの技術的負債を蓄積している傾向があります。

不正および異常検知では、ディープラーニングを使用して、金融不正、ネットワーク侵入、製造上の欠陥、データ品質の問題など、ベースラインから逸脱するパターンを特定します。

予測では、時系列モデルとMLを需要計画、キャパシティ管理、財務予測、リスクモデリングに適用します。

生成AIとアクセラレーテッドコンピューティングがどのようにあらゆる業界を変革しているかを理解するために、こちらのプレゼンテーションをご覧ください:

AIのガバナンス、リスク、セキュリティ

AIガバナンスは、もはや将来の導入に向けた単なる計画のステップではなく、今まさに直面している現実の運用課題です。多くの組織が今直面しているのは、すでに本番稼働してしまっているシステムのガバナンスです。その中には、社内のセキュリティ統制や責任の所在、運用監視の体制が十分に整わないまま、見切り発車で構築されたモデルやアプリケーションが数多く含まれています。

規制環境の変化により、この問題はさらに差し迫ったものとなっています。EU AI法はリスクレベルに基づき、AIに関する段階的な要件を定めており、特に採用、与信、法執行、重要インフラストラクチャで使用されるシステムには最も厳格な義務が課されます。NIST AI Risk Management Frameworkは、AIモデルのライフサイクル全体にわたってリスクを特定、評価、管理するための、任意でありながら広く採用されている枠組みを提供します。どちらもガバナンスは展開時ではなく設計時に始まると想定しています。つまり、その段階をスキップした組織は、本来最初に構築すべきであった構造を、今になって後から構築していることになります。

エンタープライズAIのリスクは、次の3つのカテゴリに分類されます。

  • データリスクには、トレーニングデータの品質、バイアス、データプロビナンス、プライバシーが含まれます。
  • モデルリスクには、正確性、キャリブレーション、ドリフト、解釈可能性が含まれます。
  • 運用リスクには、モデルの出力が意思決定、人、システムに及ぼす下流への影響が含まれます。

これらのリスクを管理するには、デプロイ前にモデルの挙動をテストし、本番環境で監視し、ビジネス上の問題になる前にドリフトを検知するための定義されたプロセス、すなわち体系的な評価が必要です。

同じパターンはエンタープライズの展開でも見られます。早期に評価に投資するチームは、本番環境に移行する前に障害モードを検知できますが、投資しないチームは、ユーザーからの苦情から問題を逆算してようやく問題を特定せざるを得なくなります。

Quote Icon

AIの活用を効果的に拡大し、そこから得られる価値を最大化するための鍵は、運用の仕組み化と組織的な定着にあります。そのためには、テクノロジーとビジネス戦略の方向性を一致させ、社内リソースを最適に配分し、さらにポリシーや業務プロセスを標準化していくことが不可欠です

Jennifer Belissent
Snowflakeのプリンシパルデータストラテジスト

AIを支えるデータ基盤

AIの品質は、データの品質によって決まります。この原則は、本ガイドで扱うすべての領域に共通します。偏ったデータで学習したディープラーニングモデルは、質の悪いデータで学習したロジスティック回帰と全く同じように破綻します。相違点があるとするならば、ディープラーニングモデルの方が構造が複雑な分、なぜ失敗したのかという解釈可能性が遥かに不透明であるという点だけです。

現代のAIにおけるデータ要件は、クリーンでラベル付けされたデータセットにとどまりません。具体的には、適切なデータのみを学習に用いるためのアクセス制御、環境間で特徴量の意味を統一するビジネス定義、モデルの挙動をインプットまで遡れるデータリネージおよびプロビナンス、そして推論時にレイテンシーやボトルネックを起こさない高性能なインフラの4つが求められます。

運用の実態として、データエンジニアリングの業務はAIへと大幅にシフトしています。MIT Technology Review Insightsの調査によると、データエンジニアは現在、業務時間の37%をAIプロジェクトに費やしており、これは2023年の19%から増加し、2年間でほぼ倍増しています。このシフトにより、データプラットフォームチームは、AI対応なデータを単に理論上アクセス可能にするだけでなく、信頼できる形で利用可能にすることを迫られています。

AIの歴史

 
  • 1950年:先駆的なコンピュータ科学者であるAlan Turingが、機械の知能の測定基準としてチューリングテストを提案
  • 1956年:Dartmouth Conferenceにおいて「AI(人工知能)」という用語が提唱される
  • 1997年:IBMのDeep Blueがチェスの世界チャンピオンであるGarry Kasparovに勝利
  • 2012年:AlexNetがImageNetコンペティションで優勝し、ディープラーニングがコンピュータビジョンにおける主要なパラダイムとなる
  • 2017年:Googleの研究者が論文「Attention Is All You Need」でTransformerアーキテクチャを発表
  • 2022年:ChatGPTがリリースされ、生成AIが企業の間で主流の話題となる
  • 2024年以降:エージェント型AIシステムが、エンタープライズ展開の次のフロンティアとして台頭

次のステップ

信頼性の高いエンタープライズAIを実現するには、モデルの周囲を固める運用の仕組みの存在が不可欠です。これには、適切な評価方法やデータアクセス制御、監視体制、責任の所在の明確化に加え、モデルドリフトや誤出力などの異常を検知した際のエスカレーションパスがあらかじめ定義されていることが含まれます。

以下に紹介する関連リソースでは、AIシステムを単発のデプロイから信頼性の高い本番サービスへと移行させるために役立つ各分野について説明します。

重要なポイント

エンタープライズAIを成功に導く鍵は、ライフサイクル全体を通じてアーキテクチャ、データ、評価、ガバナンスを緊密に連携させることにあります。個々のAIシステムによって求められる要件はそれぞれ異なりますが、それらはすべて、組織としての一貫したコントロールの下で運用されなければなりません。

よくある質問

AIに関するよくある質問に、Snowflakeのエキスパートがお答えします。

AIとは、パターンの認識や言語の理解、文章の生成など、人間の知的な推論を模倣してタスクをこなすソフトウェアシステムのことです。何でも自律的にこなす万能の頭脳というわけではなく、実務における実態としては、特定の限られたタスクに対して高度に最適化された特化型の専門ツールであると言えます。

機械学習はAIの一部です。AIとは、人間の知的な推論を代行するシステム全般を指す、非常に広い研究分野のことです。一方MLは、そのAIを実現するための具体的なアプローチを指します。あらかじめ人間が細かなルールをすべてプログラミングするのではなく、大量のデータから統計的なパターンを自ら学習させるという点が特徴です。

はい、そうです。ChatGPTは、大規模言語モデル(LLM)に基づいて構築された生成AIアプリケーションです。LLMはディープラーニングの成果であり、ディープラーニングは機械学習の一部であり、さらに機械学習はAIの一部です。定義された特定のタスクでは非常に優れた能力を発揮しますが、汎用的な推論システムではありません。

エンタープライズレベルにおけるAIの目的には、意思決定や業務のスピード、正確性、スケーラビリティの向上、手作業の削減、人間だけでは特定できないデータ内のパターンの可視化などが挙げられます。

最も多く活用されているエンタープライズユースケースは、意思決定支援、プロセスの自動化、コンテンツ生成、パーソナライゼーション、不正と異常検知、予測などです。これらに共通しているのは、従来は1つのアウトプットに膨大な人間の時間を必要としていたタスクに対して、統計的学習を適用して効率化している点です。

トレーニングとは、AIモデルが内部パラメータを調整することで、大規模なデータセットからパターンを学習するプロセスのことです。推論とは、トレーニング済みのモデルを使用して、新しいデータに対する予測を行ったり、出力を生成したりすることです。簡単に言うと、トレーニングがモデルを構築し、推論がそれを適用します。

AI関連資料を見る

AI関連トピックを見る

人工知能のあらゆる側面を深く掘り下げる