BERTとは：NLPモデルの説明

BERTのコンテキスト双方向分析機能は、AIとNLPの進化における主要なマイルストーンと考えられています。これにより、質問応答、センチメント分析、名前付きエンティティ認識（単語が個人、製品、組織、その他のエンティティを表すかどうかを自動的に分類）など、11種類のNLPタスクにわたって記録的な成果を達成しました。BERTが使用するTransformerアーキテクチャは、長いテキストにわたって単語間の関係を捕捉できるため、実質的にすべての最新のLLMの基盤となっています。

BERTのトレーニングと推論では、以下の高度なメカニズムが連携して実行されます。 

トークン化

BERTは、テキストをトークンと呼ばれる小さな断片に分割します。たとえば、「playing」という単語は「play」と「##ing」に分けられます。各トークンは数値に変換され、BERTは文頭に[CLS]、間に[SEP]などの特別なマーカーを追加します。このアプローチは、あまり使用されない単語の精度を高め、語彙のサイズを管理しやすくします。

入力埋め込み

各トークンは、トークン（単語の内容）、位置（シーケンス内の単語の出現位置）、セグメント（どの文に属するか）という3種類の埋め込み情報を付与されます。これにより、BERTはテキストの内容と構造に関する有益な情報を取得できます。 

アテンションメカニズム 

BERTはアテンションメカニズムを使用して、各単語が文内の他の単語をどれだけ考慮するかを計算します。たとえば、BERTは「銀行」という単語を処理すると、その文内の他のすべての単語にアテンションスコアを割り当てます。「river」と「water」が出現すると高得点を取得し、この場合、「bank」は川岸を指している可能性が高いと判断されます。「money」と「deposit」の点数が高ければ、BERTは「bank」は「金融機関」であると解釈します。 

Transformerエンコーダレイヤー

BERTは、複数のレイヤースタックでテキストを処理し、レイヤーごとに複数のアテンション計算を並行して実行します。各レイヤーは段階的に複雑なパターンを捕捉します。初期のレイヤーは基本的な文法を学習し、より深いレイヤーは抽象的な関係やセマンティクスを学習します。

事前トレーニングタスク 

事前トレーニングプロセスの一環として、BERTはトークンの15%をランダムにマスキングし、その内容の予測を試みます。これは、双方向の理解に役立ちます。また、一対の文を分析して、元のテキストで2番目の文が最初の文の前か後かを予測します。このテクニックは、文の間の関係を理解するのに役立ちます。

ファインチューニングと推論

事前トレーニングが完了すると、開発者はその上にタスク固有のレイヤーを追加し、BERTがセンチメント分析やスパム検知などのタスクを実行するようにトレーニングできます。推論時には、テキストがすべてのアテンションレイヤーを流れてコンテキスト理解を構築し、BERTは、こうして得られた豊かな文脈表現に基づいて予測を出力します。

2018年の発表以来、BERTはさまざまな実用的なユースケースに展開されています。以下のようなユースケースがあります。

Google検索 

BERTは、Googleの検索ランキングを強化して、複雑なクエリの背後にあるコンテキストや意図をより深く理解できるようにします。特に、語順や前置詞が重要な長文の会話検索では有効です。 

バーチャルアシスタント 

BERTは、GoogleアシスタントやAlexaなどの音声アシスタントの意図認識を改善し、ユーザーが実際に求めていることを理解できるようにします。また、会話全体にわたってコンテキストを維持することで、フォローアップ質問に対するより正確な回答が可能になります。

ヘルスケア 

BERTは、臨床メモやカルテを分析することで、関連する患者情報を抽出し、診断を特定して、潜在的な薬剤相互作用や治療計画の矛盾を示すことができます。 

法務テクノロジー 

BERTは、何千もの法的文書にわたって主要な条項、義務、リスクを特定する契約分析ツールを強化します。判例法を通じてセマンティック検索が可能になるため、弁護士は用語が異なる場合でも関連する判例を見つけやすくなります。

Eコマース 

BERTは顧客のインテントを理解することで、チャットボットがカスタマーサービスの問い合わせに正確に応答しやすくなり、製品レビューをセンチメントで分類できるようになります。

ソーシャルメディア 

BERTは、キーワードベースのアプローチよりもコンテキスト理解を改善してヘイトスピーチ、ハラスメント、誤情報を検出することで、コンテンツのモデレーションを支援します。ソーシャルメディアのレコメンデーションシステムを強化し、関連するつながり、グループ、コンテンツをユーザーに提案します。

BERTは、その設計当初の構成において、いくつかの制限事項を抱えています。主な制限は、次のとおりです。

高いコンピュートコスト

BERTは、トレーニングと推論の両方に相当な計算能力を必要とするため、特にリソースが制約されるデバイスでは、リアルタイムアプリケーションにとって高コストと遅延につながります。 

入力の長さの制限

BERTは512トークンまでのシーケンスしか処理できないため、法律契約書や研究論文などの長いドキュメント全体を理解する必要がある場合には問題となります。 

テキストを生成できない

BERTは純粋にテキストを理解するためのエンコーダとして構築されているため、一貫した応答の生成や新しいコンテンツの作成はできません。GPTモデルやそれ以降のエンコーダーとデコーダーのアーキテクチャは、理解と生成の両方に対応するように設計されており、要約や翻訳などのタスクに適しています。

ハイパーパラメータに対する感度

モデルのパフォーマンスは、学習率、バッチサイズ、BERTがトレーニングデータセットを通過するまでに要した回数などの設定によって大きく変化します。広範なファインチューニングが必要になる場合があります。

多言語パフォーマンスの課題

多言語BERTは104の言語で同時にトレーニングされるため、各言語に割り当てられる学習リソースが少なくなり、言語固有モデルと比べてパフォーマンスが低下していました。新しいモデルは、サンプリング戦略を改善してより大規模な多言語データセットでトレーニングしたり、クロスリンガル転送学習を使用して言語パフォーマンスを改善したりできます。

BERTは、他のより高度な言語モデルの開発を促しました。代表的なものとしては、以下のモデルがあります。

GPT 

GPTは単一方向（左から右）の処理を使用し、シーケンス内の次の単語を予測するようにトレーニングされているため、当然ながら会話やクリエイティブライティングのような一貫したテキストの生成に適しています。BERTとは異なり、単語を理解する際には直前のコンテキストのみを認識し、その後のコンテキストは認識しません。

RoBERTa 

堅牢に最適化されたBERT事前トレーニングアプローチ（RoBERTa）は、BERTと同じ双方向アーキテクチャを採用していますが、10倍のデータをトレーニングします。ダイナミックマスキングなどの改良された技術を使用し、同じ文でモデルをトレーニングするたびにマスキングする単語を変更します。その結果、RoBERTaはBERTの基本的なアプローチを変更することなく、大幅に優れたパフォーマンスを達成しています。

XLNet 

XLNetはBERTのような双方向理解を実現していますが、順列を組み合わせた言語モデリングを使用して、単語をマスキングするのではなくランダムな順序で予測します。多くの場合、BERTよりも正確ですが、計算が複雑でトレーニングが困難です。