{"allowedRenditionsWidth":["320","480","640","768","960","1200","1440","1920"],"templateName":"base-page-template54","cssClassNames":"page basicpage summit-page","description":"RLHF（人間のフィードバックによる強化学習）とは、LLMの出力精度と安全性を高めるアライメント技術です。報酬モデルやPPOによるパイプラインの仕組みから、高コスト等の課題と代替手法、Snowflakeにおける効果的な実装方法まで体系的に解説します。","language":"ja","title":"RLHFとは：仕組みから課題、パイプラインまで解説｜Snowflake","analyticsPageType":"homepage","analyticsCategory":"general","analyticsSubCategory":"","excludeFromAnalytics":false,"isPasswordProtected":false,"analyticsContentTags":["snowflake-site:taxonomy/content-type/fundamentals"],"analyticsEnabled":true,"coveoConfig":{"searchHub":"snowflake.com","pipeline":"snowflake.com","apiKey":"xx335921a6-2a0a-40f2-a167-e390b4766c3d","organizationId":"snowflakecomputingproduction8neljofn"},"analyticsDebugMode":false,"analyticsData":{"excludeFromAnalytics":false,"subCategory":"","pageType":"homepage","templateName":"base-page-template54","siteName":"snowflake","pageUrl":"/content/snowflake-site/global/ja/artificial-intelligence/machine-learning/reinforcement-learning/rlhf","language":"ja","category":"general","pageName":"RLHF：人間のフィードバックを活用したAIモデルの動作の形成","contentTags":["snowflake-site:taxonomy/content-type/fundamentals"]},":mappedPath":"/ja/artificial-intelligence/machine-learning/reinforcement-learning/rlhf/",":type":"snowflake-site/components/structure/page",":items":{"root":{"columnCount":12,"columnClassNames":{"markup_editor_928258845":"aem-GridColumn aem-GridColumn--default--12","experiencefragment-banner":"aem-GridColumn aem-GridColumn--default--12","experiencefragment-header":"aem-GridColumn aem-GridColumn--default--12","responsivegrid":"aem-GridColumn aem-GridColumn--default--12","markup_editor_597730182":"aem-GridColumn aem-GridColumn--default--12","experiencefragment-footer":"aem-GridColumn aem-GridColumn--default--12","experiencefragment":"aem-GridColumn aem-GridColumn--default--12","modal_container":"aem-GridColumn aem-GridColumn--default--12","markup_editor":"aem-GridColumn aem-GridColumn--default--12"},"gridClassNames":"aem-Grid aem-Grid--12 aem-Grid--default--12",":items":{"experiencefragment-banner":{"id":"experiencefragment-643b0c40b0","localizedFragmentVariationPath":"/content/experience-fragments/snowflake-site/language-masters/ja/site/pushdown-banner/master/jcr:content","configured":true,":type":"snowflake-site/components/experiencefragment","xfModelPath":"/content/experience-fragments/snowflake-site/language-masters/ja/site/pushdown-banner/master.xfmodel.json?callerPage=/content/snowflake-site/global/ja/artificial-intelligence/machine-learning/reinforcement-learning/rlhf"},"experiencefragment-header":{"id":"experiencefragment-6ba6915dbc","localizedFragmentVariationPath":"/content/experience-fragments/snowflake-site/language-masters/ja/site/mega-nav-header/master/jcr:content","configured":true,":type":"snowflake-site/components/experiencefragment","xfModelPath":"/content/experience-fragments/snowflake-site/language-masters/ja/site/mega-nav-header/master.xfmodel.json?callerPage=/content/snowflake-site/global/ja/artificial-intelligence/machine-learning/reinforcement-learning/rlhf"},"responsivegrid":{"columnCount":12,"columnClassNames":{"flexible_column_cont_939100716":"aem-GridColumn aem-GridColumn--default--12","flexible_column_cont":"aem-GridColumn aem-GridColumn--default--12","flexible_column_cont_1158003461":"aem-GridColumn aem-GridColumn--default--12","flexible_column_cont_663228916":"aem-GridColumn aem-GridColumn--default--12","flexible_column_cont_912630531":"aem-GridColumn aem-GridColumn--default--12","flexible_column_cont_1398138236":"aem-GridColumn aem-GridColumn--default--12","flexible_column_cont_topics_row2":"aem-GridColumn aem-GridColumn--default--12","flexible_column_cont_1786318617":"aem-GridColumn aem-GridColumn--default--12","flexible_column_cont_1467213961":"aem-GridColumn aem-GridColumn--default--12","flexible_column_cont_1377146023":"aem-GridColumn aem-GridColumn--default--12"},"gridClassNames":"aem-Grid aem-Grid--12 aem-Grid--default--12",":items":{"flexible_column_cont":{"id":"flexible-column-container-95a6d26126","propertiesId":"hub-hero-breadcrumbs","type":"1-column","alignColumns":"top","containerMaxWidth":"extra-large","topPadding":"small","bottomPadding":"none","spaceBetween":"small","reverseOnMobile":false,"carouselOnMobile":false,"propertiesCSSClasses":"page-section","backgroundImageOption":"none","flexible_column_content_container_1":{"layout":"SIMPLE","id":"container-9ef1d13b1c",":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container",":items":{"breadcrumb":{"id":"breadcrumb-10415e20d3","items":[{"id":"breadcrumb-10415e20d3-item-fd5a1278e0","link":{"valid":true,"url":"/ja/artificial-intelligence/machine-learning/"},"active":false,"current":false,"title":"機械学習（ML）",":type":"snowflake-site/components/structure/page","appliedCssClassNames":"summit-page"},{"id":"breadcrumb-10415e20d3-item-6d07121cb4","link":{"valid":true,"url":"/ja/artificial-intelligence/machine-learning/reinforcement-learning/"},"active":false,"current":false,"title":"強化学習",":type":"snowflake-site/components/structure/fundamentals-page","appliedCssClassNames":"summit-page"},{"id":"breadcrumb-10415e20d3-item-5e59fe2506","link":{"valid":true,"url":"/ja/artificial-intelligence/machine-learning/reinforcement-learning/rlhf/"},"active":true,"current":true,"title":"RLHF",":type":"snowflake-site/components/structure/page","appliedCssClassNames":"summit-page"}],":type":"snowflake-site/components/breadcrumb"}},":itemsOrder":["breadcrumb"]},"isBlogPage":false,"isActiveTOC":false,":type":"snowflake-site/components/flexible-column-container","appliedCssClassNames":"snowflake-flexible-column-container-gray-10-bg"},"flexible_column_cont_939100716":{"id":"flexible-column-container-6c6482c529","propertiesId":"hub-hero","type":"2-column-even","alignColumns":"center","containerMaxWidth":"extra-large","topPadding":"extra-small","bottomPadding":"extra-small","spaceBetween":"small","reverseOnMobile":false,"carouselOnMobile":false,"propertiesCSSClasses":"page-section","backgroundImageOption":"none","flexible_column_content_container_1":{"layout":"SIMPLE","id":"container-bed83b5073",":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container",":items":{"title_v2":{"id":"title-v2-7760cbe5eb","additionalClasses":"hub-hero__headline","type":"heading1","lines":["RLHF：人間のフィードバックを活用したAIモデルの動作の形成"],":type":"snowflake-site/components/title-v2","appliedCssClassNames":"left-alignment"},"text":{"id":"text-d3c54cb974","additionalClasses":"hub-hero__subheadline","text":"\u003Cp\u003ERLHFにより、モデル開発者は、単に流暢なだけでなく、有用で信頼性が高く、適切でユーザーの意図に合わせて調整された応答をLLMに生成させることができます。しかし企業にとって、この手法はガバナンス上の課題ももたらします。選好データ、報酬モデル、フィードバックループはすべて、それらが形成するモデルと同じ規律で管理する必要があります。\u003C/p\u003E","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-size-regular text-color-text-05"},"container":{"additionalClasses":"hub-hero__authors","layout":"RESPONSIVE_GRID","columnCount":12,"columnClassNames":{"content_chip_copy_1834226633":"aem-GridColumn aem-GridColumn--default--12","content_chip":"aem-GridColumn aem-GridColumn--default--12"},"gridClassNames":"aem-Grid aem-Grid--12 aem-Grid--default--12","id":"container-867c79aaf6",":type":"snowflake-site/components/container",":items":{"content_chip":{"id":"content-chip-56f82d780f","cta":{"id":"cta","showOutboundIcon":false,"linkTargetContentType":"GENERIC",":type":"snowflake-site/components/button","linkType":"SNOWFLAKE_INTERNAL","text":"略歴を読む"},"image":{"id":"image","height":"800","src":"https://www.snowflake.com/adobe/dynamicmedia/deliver/dm-aid--a7e9fdff-6f08-4edc-9cd1-e213bb234aaa/laurie-macpherson.jpg?quality=85&preferwebp=true","alt":"Laurie MacPherson","lazyEnabled":true,"width":"800",":type":"snowflake-site/components/image"},"headline":{"id":"title","type":"heading5","lines":["Laurie MacPherson","テクニカルライター、Snowflake"],":type":"snowflake-site/components/title-v2"},":type":"snowflake-site/components/content-chip"},"content_chip_copy_1834226633":{"id":"content-chip-2e1a6f2d5c","cta":{"id":"cta","showOutboundIcon":false,"buttonLink":{"valid":true,"url":"https://www.snowflake.com/en/blog/authors/fumika-kanehara/"},"linkTargetContentType":"GENERIC",":type":"snowflake-site/components/button","linkType":"SNOWFLAKE_EXTERNAL","text":"略歴を読む"},"image":{"id":"image","height":"3324","src":"https://www.snowflake.com/adobe/dynamicmedia/deliver/dm-aid--2544e8a3-66b6-4773-8462-e61b54052fc3/fumika-kanehara---compressed.jpg?quality=85&preferwebp=true","alt":"Fumika Kanehara","lazyEnabled":true,"width":"4155",":type":"snowflake-site/components/image"},"headline":{"id":"title","type":"heading5","lines":["Fumika Kanehara","ローカルエディター、Snowflake"],":type":"snowflake-site/components/title-v2"},":type":"snowflake-site/components/content-chip"}},":itemsOrder":["content_chip","content_chip_copy_1834226633"],"appliedCssClassNames":"snowflake-responsive-container-inner-padding-small"}},":itemsOrder":["title_v2","text","container"],"appliedCssClassNames":"snowflake-responsive-container-inner-padding-extra-small"},"flexible_column_content_container_2":{"additionalClasses":"hub-hero__video-column","layout":"SIMPLE","id":"container-ca1e1bdee0",":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container",":items":{"youtube":{"id":"embed-1c59c35fea","youtubeVideoId":"-HWNc-Hd90U","layout":"responsive","youtubeAspectRatio":"56.25","youtubeAutoPlay":false,"youtubeLoop":false,"youtubeMute":false,"youtubePlaysInline":false,"youtubeRel":false,"embeddableResourceType":"core/wcm/components/embed/v1/embed/embeddable/youtube","type":"EMBEDDABLE",":type":"snowflake-site/components/youtube"}},":itemsOrder":["youtube"]},"isBlogPage":false,"isActiveTOC":false,":type":"snowflake-site/components/flexible-column-container","appliedCssClassNames":"snowflake-flexible-column-container-gray-10-bg"},"flexible_column_cont_1398138236":{"id":"flexible-column-container-387f36cd7f","propertiesId":"hub-hero-related-topics","type":"1-column","alignColumns":"top","containerMaxWidth":"extra-large","topPadding":"extra-small","bottomPadding":"medium","spaceBetween":"small","reverseOnMobile":false,"carouselOnMobile":false,"propertiesCSSClasses":"page-section","backgroundImageOption":"none","flexible_column_content_container_1":{"additionalClasses":"related-topics-outer-container border-top","layout":"SIMPLE","id":"container-722c883b49",":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container",":items":{"text_894059747":{"id":"text-46baad1560","additionalClasses":"seo-hub-hero__related-topic-label","text":"\u003Cp\u003E機械学習トピック：\u003C/p\u003E\n","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-size-regular text-color-text-05"},"text":{"id":"text-89d9114568","additionalClasses":"related-topics ","text":"\u003Cul\u003E\r\n\u003Cli\u003E\u003Ca href=\"https://www.snowflake.com/en/artificial-intelligence/machine-learning/automl/\" target=\"_self\"\u003EAutoML\u003C/a\u003E\u003C/li\u003E\r\n\u003Cli\u003E\u003Ca href=\"https://www.snowflake.com/ja/artificial-intelligence/machine-learning/deep-learning/\" target=\"_self\"\u003Eディープラーニング\u003C/a\u003E\u003C/li\u003E\r\n\u003Cli\u003E\u003Ca href=\"https://www.snowflake.com/ja/artificial-intelligence/machine-learning/ensemble-learning/\" target=\"_self\"\u003Eアンサンブル学習\u003C/a\u003E\u003C/li\u003E\r\n\u003Cli\u003E\u003Ca href=\"https://www.snowflake.com/ja/artificial-intelligence/machine-learning/feature-engineering/\" target=\"_self\"\u003E特徴量エンジニアリング\u003C/a\u003E\u003C/li\u003E\r\n\u003Cli\u003E\u003Ca href=\"https://www.snowflake.com/en/artificial-intelligence/machine-learning/frameworks/\" target=\"_self\"\u003EMLフレームワーク\u003C/a\u003E\u003C/li\u003E\r\n\u003Cli\u003E\u003Ca href=\"https://www.snowflake.com/ja/artificial-intelligence/machine-learning/inference/\" target=\"_self\"\u003EML推論\u003C/a\u003E\u003C/li\u003E\r\n\u003Cli\u003E\u003Ca href=\"https://www.snowflake.com/en/artificial-intelligence/machine-learning/models/\" target=\"_self\"\u003EMLモデル\u003C/a\u003E\u003C/li\u003E\r\n\u003Cli\u003E\u003Ca href=\"https://www.snowflake.com/ja/artificial-intelligence/machine-learning/mlops/\" target=\"_self\"\u003EMLOps\u003C/a\u003E\u003C/li\u003E\r\n\u003Cli\u003E\u003Ca href=\"https://www.snowflake.com/ja/artificial-intelligence/machine-learning/reinforcement-learning/\" target=\"_self\"\u003E強化学習\u003C/a\u003E\u003C/li\u003E\r\n\u003C/ul\u003E\r\n","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-size-small"}},":itemsOrder":["text_894059747","text"]},"isBlogPage":false,"isActiveTOC":false,":type":"snowflake-site/components/flexible-column-container","appliedCssClassNames":"snowflake-flexible-column-container-gray-10-bg"},"flexible_column_cont_663228916":{"id":"flexible-column-container-45a6dbe1c5","propertiesId":"hub-body","type":"2-column-60-40","alignColumns":"top","containerMaxWidth":"extra-large","topPadding":"medium","bottomPadding":"medium","spaceBetween":"small","reverseOnMobile":false,"carouselOnMobile":false,"propertiesCSSClasses":"page-section","backgroundImageOption":"none","flexible_column_content_container_1":{"additionalClasses":"longform-content","layout":"SIMPLE","id":"hub-body-content",":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container",":items":{"callout__0":{"id":"text-dafacdcb86","additionalClasses":"callout callout--general","text":"\u003Cp\u003E\u003Cb\u003ERLHF 定義\u003C/b\u003E\u003C/p\u003E\r\n\u003Cp\u003ERLHFとは、AIシステムが人間からのフィードバックに基づいて動作を改善する方法を学習する、\u003Ca rel=\"noopener noreferrer\" target=\"_self\" href=\"https://www.snowflake.com/ja/artificial-intelligence/machine-learning/\"\u003E機械学習\u003C/a\u003Eのトレーニング手法です。人間がモデルの出力を比較または評価し、そのフィードバックを使用して報酬モデルをトレーニングします。その後、AIはその報酬モデルに従ってより高いスコアを獲得する応答を生成するように最適化されます。\u003C/p\u003E\r\n","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-size-regular text-color-text-05"},"text__0":{"id":"text-35676088f0","text":"\u003Cp\u003E言語モデルは、カスタマーサポートの返信、企業ポリシーの要約、SQLクエリの説明など、特定の種類の回答が通常どのように構造化されているかを把握していても、出力を有用なものにするために必要な判断力を欠いている場合があります。この判断の欠如は、ビジネスに深刻な結果をもたらします。マーケティングコピーの作成、契約書の要約、アナリストの支援、従業員の質問への回答を行うモデルは、トーン、正確性、安全性、ポリシーの境界が出力の信頼性に影響する状況で運用されています。\u003C/p\u003E\n\u003Cp\u003E人間のフィードバックによる強化学習（RLHF）は、この判断力の欠如に対処するための最も重要な手法の一つとなっています。RLHFは、次のトークンの予測や教師ありの例のみに依存するのではなく、選好シグナルを導入します。具体的には、人間がモデルの出力を比較し、その比較によって報酬モデルをトレーニングし、人間の選好を学習したそのモデルに従ってより高いスコアを獲得する応答を生成するように言語モデルを最適化します。\u003C/p\u003E\n\u003Cp\u003ERLHFは、ガバナンス、評価、監視の代わりにはなりませんが、無害性、関連性、意図に従う能力など、静的なルールセットとして表現することが困難な品質についてトレーニングする方法をモデル開発者に提供します。\u003C/p\u003E","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-color-text-05"},"title_what-is-rlhf":{"id":"title-v2-54d0447183","additionalClasses":"anchor-title anchor-title--what-is-rlhf","type":"heading2","lines":["RLHFとは"],":type":"snowflake-site/components/title-v2"},"text_what-is-rlhf_0":{"id":"text-f6b4fa262c","text":"\u003Cp\u003ERLHFは、言語モデルを人間の選好に合わせて調整するための手法です。一般的なワークフローでは、チームは事前学習済みのベースモデルから開始し、望ましい動作の例を使用してファインチューニングを行い、人間の比較データで報酬モデルをトレーニングしてから、報酬モデルのスコアを最大化する出力を生成するように言語モデルを最適化します。\u003C/p\u003E\r\n\u003Cp\u003ERLHFは、望ましい動作の例をモデルに示す教師ありファインチューニングを拡張したものです。RLHFは選好シグナルを追加することで、技術的に複数の出力が可能である場合に、人間がどの応答をより優れていると見なすかをモデルが学習できるように支援します。たとえば、2つの回答がどちらも福利厚生規程に関する質問に対応しているとします。一方の回答は、適切な規程の適用範囲を提示し、法的な誇大表現を避け、従業員に対象資格の確認先を案内できているのに対し、もう一方の回答ではそのような対応がなされていない場合があります。こうした選好は、単なる事実情報の内容ではなく、有用な回答とはどうあるべきかについての判断を反映しています。\u003C/p\u003E\r\n\u003Cp\u003EOpenAIによる2022年のInstructGPTの研究は、現代の言語モデルにおけるRLHFの標準的な基準点となっています。研究者たちは、人間のフィードバックを使用したファインチューニングにより、不正確、有害、または役に立たない出力を減らすなど、モデルをユーザーの意図に合わせて調整できることを示しました。\u003C/p\u003E\r\n\u003Cp\u003E言語モデルにおけるRLHFは、標準的な\u003Ca rel=\"noopener noreferrer\" target=\"_self\" href=\"https://www.snowflake.com/ja/artificial-intelligence/machine-learning/reinforcement-learning/\"\u003E強化学習\u003C/a\u003Eとは重要な点で異なります。ゲームやシミュレーションでは、多くの場合、環境から直接的な報酬が与えられます。たとえば、エージェントが勝つ、負ける、目標に到達する、ポイントを獲得するといったことです。一方、言語モデルにおけるRLHFでは、環境は人間の判断です。報酬は根拠に基づくスコアではなく、比較データからトレーニングされた人間の選好を学習した近似値となります。\u003C/p\u003E\r\n\u003Cp\u003ERLHFは強力ですが、不完全でもあります。報酬モデルは、人間が何を求めているかを絶対的な意味で理解しているわけではありません。報酬モデルは受け取った選好データからパターンを学習することしかできないため、そのデータの品質、多様性、一貫性が、最終的なモデルが学習する動作を決定づけます。\u003C/p\u003E\r\n","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-color-text-05"},"title_how-the-rlhf-pipeline-works":{"id":"title-v2-44d4df3e0b","additionalClasses":"anchor-title anchor-title--how-the-rlhf-pipeline-works","type":"heading2","lines":["RLHFパイプラインの仕組み"],":type":"snowflake-site/components/title-v2"},"text_how-the-rlhf-pipeline-works_0":{"id":"text-73c2416bf8","text":"\u003Cp\u003ERLHFパイプラインは通常、教師ありファインチューニング、報酬モデルトレーニング、強化学習ポリシー最適化という、3つのステージで構成されます。各ステージで異なる種類のシグナルが追加されることで、モデルは一般的な言語能力を持つ状態から、人間の意図をより適切に反映した動作を実現するように進化します。\u003C/p\u003E\r\n\u003Ch3\u003Eステージ 1：教師ありファインチューニング\u003C/h3\u003E\r\n\u003Cp\u003Eパイプラインは通常、事前学習済みのベースモデルから始まります。このベースモデルは、大規模なトレーニングコーパスから幅広い言語パターンを学習していますが、特定のコンテキストで指示に従うアシスタントとしてどのように振る舞うべきかを学習しているとは限りません。\u003C/p\u003E\r\n\u003Cp\u003E教師ありファインチューニング（SFT）では、モデルにデモデータを提供します。これはプロンプトと、人間が記述した高品質な応答のペアです。これらの例を通じて、モデルは望ましい動作の基本形を学習します。このステージでは初期の指示追従モデルが作成されますが、選好の問題はまだ解決されていません。デモは優れた出力がどのようなものかを示しますが、複数の許容可能な回答がある場合に、どれがより役立つか、より安全か、ユーザーの意図により適合しているかを選択する方法をモデルに直接教えるわけではありません。\u003C/p\u003E\r\n\u003Ch3\u003Eステージ 2：報酬モデルトレーニング\u003C/h3\u003E\r\n\u003Cp\u003E第2のステージでは、比較データを導入します。人間のアノテーターが同じプロンプトに対する複数のモデル出力を確認し、最良から最悪までランク付けするか、ペアの中から好ましい回答を選択します。これらのランキングは報酬モデルのトレーニングデータとなり、報酬モデルは人間がどの出力を好むかを予測することを学習します。\u003C/p\u003E\r\n\u003Cp\u003Eこれは、RLHFにおける極めて重要なステップです。このパイプラインでは、人間に対してあらゆる理想的な回答の作成を求めるのではなく、候補となる回答の中から選好を提示してもらいます。これにより、より直接的な回答、不確実性をうまく処理する回答、回避しすぎる回答、裏付けのない主張を含む回答、期待されるトーンにマッチする回答など、ニュアンスに富んだ判断に基づいてモデルをトレーニングすることが可能になります。\u003C/p\u003E\r\n\u003Cp\u003E報酬モデルとは通常、プロンプトと応答を入力として受け取り、スコアを返すように変更された言語モデルを指します。このスコアは、次のトレーニングステージで人間の選好を表す代用として機能します。\u003C/p\u003E\r\n","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-color-text-05"},"callout_how-the-rlhf-pipeline-works_0":{"id":"text-12391392eb","additionalClasses":"callout callout--warning","text":"\u003Cp\u003E\u003Cstrong\u003Eよくある落とし穴\u003C/strong\u003E\u003C/p\u003E\n\u003Cp\u003E報酬モデルを品質の客観的な指標として扱わないように注意してください。報酬モデルは人間の選好データからパターンを学習するだけであるため、フィードバックに偏りがある、一貫性がない、品質の問題がある場合は、言語モデルが誤った動作に最適化される可能性があります。\u003C/p\u003E","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-size-regular text-color-text-05"},"text_how-the-rlhf-pipeline-works_1":{"id":"text-e09785e9c3","text":"\u003Ch3\u003Eステージ 3：RLポリシー最適化\u003C/h3\u003E\n\u003Cp\u003E第3のステージでは、SFTモデルが最適化対象のポリシーとなります。このモデルが応答を生成した後、報酬モデルがその応答をスコアリングします。そして、近位ポリシー最適化（PPO）などのRLアルゴリズムが、より高い報酬スコアを受け取る出力を生成するように言語モデルを更新します。\u003C/p\u003E\n\u003Cp\u003Eこのステージでは、慎重に制約を設けないと、システムが不安定になる可能性があります。モデルが報酬モデルに対して過度に積極的な最適化を行うと、実際には有用性が向上していないにもかかわらず、高スコアを獲得できる出力を発見してしまう可能性があります。これが報酬ハッキングです。モデルは根本的な動作を改善する代わりに、報酬モデルの弱点を悪用します。\u003C/p\u003E\n\u003Cp\u003Eこのリスクを軽減するために、RLHFパイプラインには多くの場合、Kullback-Leibler（KL）発散ペナルティが含まれています。これは、最適化されたモデルが教師ありファインチューニングされたモデルから逸脱するのを防ぎます。現実的には、KLペナルティは報酬を求めてモデルを変更しすぎないようにすることで、SFTで学習した言語品質と指示に従う動作を維持します。\u003C/p\u003E\n\u003Cp\u003Eまた、多くのRLHFシステムは反復的に実行されます。新しいモデル出力が新たな失敗パターンを明らかにすると、人間のレビュー担当者によって追加の選好データが生成され、報酬モデルが更新され、ポリシーが再び最適化されます。このパイプラインは、1回限りのトレーニングレシピというより、動作を形成するためのフィードバックループに近いものです。\u003C/p\u003E","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-color-text-05"},"title_challenges-and-alternatives-to-rlhf":{"id":"title-v2-ea793882d3","additionalClasses":"anchor-title anchor-title--challenges-and-alternatives-to-rlhf","type":"heading2","lines":["RLHFの課題と代替案"],":type":"snowflake-site/components/title-v2"},"text_challenges-and-alternatives-to-rlhf_0":{"id":"text-82863c057f","text":"\u003Cp\u003ERLHFは、人間の選好に沿ってモデルを学習させる実用的な手法を開発者に提供したことで、大きな影響力を持つようになりました。しかし、この手法は運用面やガバナンス面で独自の課題をもたらします。シグナルの品質は比較データの品質に依存し、報酬モデルは人々が実際に望む動作から逸脱する可能性があり、強化学習（RL）最適化を確実に実行するのは困難な場合があります。\u003C/p\u003E\r\n\u003Ch3\u003E選好データの品質\u003C/h3\u003E\r\n\u003Cp\u003E選好データは一見シンプルにみえますが、チームが誰の選好を採用し、どのような基準を適用するかを定義しようとすると難解になります。ある回答がより有用か、より慎重か、あるいは特定のコンテキストにおいてより適切かについては、アノテーター間で評価が分かれることがあります。文化的な前提条件も、ラベルに影響を与える可能性があります。これは特に、プロンプトにトーン、安全性、医療的助言、財務上の意思決定、その他の重要なトピックが含まれる場合に顕著です。\u003C/p\u003E\r\n\u003Cp\u003EエンタープライズAIシステムでは、さらに別の考慮事項が生じます。社内の人事サポート、規制対象業界のワークフロー、顧客向けサービスに使用されるモデルでは、一般的なアノテーターだけでなく、そのドメインを理解している人々からの選好データが必要になる場合があります。各分野の専門家は、広範なラベリングを行う従業員と比較して規模を広げることが困難であるため、コストと調整の要件が厳しくなります。\u003C/p\u003E\r\n","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-color-text-05"},"callout_challenges-and-alternatives-to-rlhf_0":{"id":"text-5b5f27e1eb","additionalClasses":"callout callout--tip","text":"\u003Cp\u003E\u003Cstrong\u003Eクイックヒント\u003C/strong\u003E\u003C/p\u003E\n\u003Cp\u003ERLHFの最良の結果は、ドメイン固有のフィードバックから得られます。多くの場合、分野の専門家から得られる選好データは、一般的な人間の評価を大量に集めるよりも価値があります。\u003C/p\u003E","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-size-regular text-color-text-05"},"text_challenges-and-alternatives-to-rlhf_1":{"id":"text-f66047ef16","text":"\u003Ch3\u003E報酬モデルの限界\u003C/h3\u003E\r\n\u003Cp\u003E報酬モデルは学習済みの近似であり、絶対的な基準ではありません。最適化されたポリシーが、トレーニング中に報酬モデルが参照した例とは異なる出力を生成するようになると、その信頼性は低下する可能性があります。この分布のシフトは、報酬モデルが自身のトレーニングシグナルが弱い領域で応答をスコアリングするよう求められる可能性があることを意味します。\u003C/p\u003E\r\n\u003Cp\u003E報酬ハッキングもまた、もう一つの限界です。報酬モデルが過大評価するパターンをモデルが学習した場合、スコア上は好ましく見えても、実際にはユーザーにとってより良いとは言えない応答を生成する可能性があります。たとえば、自信ありげに聞こえる説明を追加したり、過度に曖昧な表現を使ったり、以前アノテーターが報酬を与えた表面的なパターンに従ったりすることを学習する場合があります。\u003C/p\u003E\r\n\u003Ch3\u003Eトレーニングの不安定さ\u003C/h3\u003E\r\n\u003Cp\u003ERLのステップも、チューニングが難しくなる場合があります。\u003Ca rel=\"noopener noreferrer\" target=\"_blank\" href=\"https://huggingface.co/blog/NormalUhr/rlhf-pipeline\"\u003EPPOベースのRLHFパイプライン\u003C/a\u003Eには、ポリシーモデル、報酬モデル、リファレンスモデル、KL制約、サンプリング戦略、学習率、バッチサイズ、その他のハイパーパラメータなど、多様な変動要素が含まれます。従来のRLHFパイプラインは、複数の言語モデルのトレーニング、トレーニング中のポリシーからのサンプリング、多大な計算コストの発生を伴う可能性があるため、教師あり学習よりも複雑です。\u003C/p\u003E\r\n\u003Cp\u003Eエンタープライズチームは、より広範なモデルライフサイクルに調整作業を組み込まなければならないため、この複雑さはチームにとって大きな課題となります。選好データにはガバナンスが、トレーニングジョブには再現性が、モデルのバージョンにはリネージが必要です。評価では、調整されたモデルがワークロードにとって重要な動作について実際に改善したかどうかを示す必要があります。\u003C/p\u003E\r\n\u003Ch3\u003E直接選好最適化\u003C/h3\u003E\r\n\u003Cp\u003E\u003Ca rel=\"noopener noreferrer\" target=\"_blank\" href=\"https://arxiv.org/abs/2305.18290\"\u003EDirect preference optimization\u003C/a\u003E（DPO：直接選好最適化）は、RLHFに代わる最も有用な選択肢の一つです。DPOは、個別の報酬モデルをトレーニングしてから強化学習を実行するのではなく、選好ペアを使用して言語モデルを直接最適化します。DPOは、明示的な報酬モデリングやRLを行わずに、よりシンプルな分類スタイルのトレーニングプロセスを通じて、同じ制約付き報酬目標を最適化する方法を提供します。\u003C/p\u003E\r\n\u003Cp\u003EDPOの魅力は、そのシンプルさにあります。DPOは、独立した報酬モデルとPPOトレーニングループを排除することでRLHFの運用上の複雑さを軽減し、選好チューニングをより安定的かつ簡単に実装できるようにします。強力な選好データが必要であることに変わりはありませんが、そのデータの使用方法が変わります。\u003C/p\u003E\r\n\u003Ch3\u003EConstitutional AIとRLAIF\u003C/h3\u003E\r\n\u003Cp\u003EConstitutional AI（CAI）とAIフィードバックからの強化学習（RLAIF）は、別のスケーリングの問題に対処します。これは特に、有害なプロンプトや曖昧なプロンプト、エッジケースのプロンプトにわたってモデルを評価する必要がある場合、人間のフィードバックにはコストがかかるという問題です。\u003Ca rel=\"noopener noreferrer\" target=\"_blank\" href=\"https://constitutional.ai/\"\u003EConstitutional AI\u003C/a\u003EはAnthropicによって開発されました。一連の文書化された原則を使用してAIの自己批判と改訂をガイドし、有害な出力に対する人間のラベルへの依存を軽減します。\u003C/p\u003E\r\n\u003Cp\u003ERLAIFは、人間のアノテーターの代わりに、あるいは人間のアノテーターと並行して、LLMの審査員を使用してフィードバックを提供することで、同じアイデアを拡張しています。これにより、ラベル付けのコストが低減し、スケーリングも可能になりますが、中核的な整合の問題も生じます。AIが生成したフィードバックが人間による選好データに取って代わる場合、誰の価値観、ポリシー、不具合モードが強化されているのかをチームが把握している必要があります。\u003C/p\u003E\r\n","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-color-text-05"},"title_rlhf-and-dpo-on-snowflake":{"id":"title-v2-5fee66190b","additionalClasses":"anchor-title anchor-title--rlhf-and-dpo-on-snowflake","type":"heading2","lines":["SnowflakeにおけるRLHFとDPO"],":type":"snowflake-site/components/title-v2"},"text_rlhf-and-dpo-on-snowflake_0":{"id":"text-4b21c9a828","text":"\u003Cp\u003Eエンタープライズチームにとって、RLHFとDPOは単なるモデルトレーニングの手法ではありません。データ管理の懸念を生み出すものです。選好ペア、アノテーターの決定、プロンプトのバージョン、報酬モデルの出力、トレーニングの実行、調整されたモデルのバージョンはすべて、ガバナンス、追跡、レビューが必要なアーティファクトになります。\u003C/p\u003E\r\n\u003Cp\u003E\u003Ca rel=\"noopener noreferrer\" target=\"_self\" href=\"https://www.snowflake.com/ja/product/features/end-to-end-ml-workflows/\"\u003ESnowflake ML\u003C/a\u003Eは、データ準備、モデルトレーニング、実験、パイプライン、展開、監視など、ガバナンスの効いたデータ上でエンドツーエンドのMLワークフローをサポートする機能を提供します。これは、RLHFとDPOにとって非常に価値があるものです。なぜなら、選好データ自体が機密情報や規制対象情報である可能性があるからです。注釈者のランク付けには、プロンプト、生成された応答、レビュー担当者のメモ、ポリシー決定、望ましくないモデル動作の例などが含まれます。こうしたデータをSnowflakeで管理することで、アクセス制御、監査可能性、リネージなど、他のエンタープライズデータアセットに適用しているものと同じガバナンスパターンを適用できるようになります。\u003C/p\u003E\r\n\u003Cp\u003E\u003Ca rel=\"noopener noreferrer\" target=\"_blank\" href=\"https://docs.snowflake.com/ja/developer-guide/snowflake-ml/container-runtime-ml\"\u003ESnowflakeのML用コンテナランタイム\u003C/a\u003Eは、CPUまたはGPUのコンピュートプールを使用して、モデルトレーニング、ハイパーパラメータチューニング、バッチ推論、ファインチューニングなどのカスタムMLワークロードをサポートできます。RLHFやDPOのワークフローにおいて、この環境はトレーニングプロセスをガバナンスの効いたデータの近くに維持しながら、カスタムのトレーニングコードやオープンソースのMLフレームワークをサポートできます。\u003C/p\u003E\r\n\u003Cp\u003Eさらにその後、\u003Ca rel=\"noopener noreferrer\" target=\"_blank\" href=\"https://docs.snowflake.com/ja/developer-guide/snowflake-ml/model-registry/overview\"\u003ESnowflakeモデルレジストリ\u003C/a\u003Eを使用することで、チームはRLHFやDPOが生成したモデルアーティファクトを管理できるようになります。調整ワークフローには、オリジナルのベースモデル、教師ありファインチューニングモデル、1つ以上の報酬モデル、DPOでチューニングされたバリアント、展開用に選択された最終的なポリシーモデルが含まれます。Snowflakeモデルレジストリは、モデルとメタデータをセキュアに管理できるように設計されています。\u003C/p\u003E\r\n\u003Cp\u003Eこのコンテキストにおいて、リネージは特に重要です。Snowflake MLリネージは、ソーステーブル、特徴量ビュー、データセット、登録済みモデル、展開されたモデルサービス間の関係をトレースし、チームに対してトレーニングデータの出所やモデルを使用しているサービスといった疑問への回答を提供できます。このような可視性は、調整されたモデルをその動作を形成した選好データ、報酬モデル、トレーニング実行へと遡って結びつける際に役立ちます。\u003C/p\u003E\r\n","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-color-text-05"},"title_enterprise-model-training-depends-on-governed-feedback-loops":{"id":"title-v2-70fcfa0df1","additionalClasses":"anchor-title anchor-title--enterprise-model-training-depends-on-governed-feedback-loops","type":"heading2","lines":["エンタープライズのモデルトレーニングにおける、ガバナンスの効いたフィードバックループの重要性"],":type":"snowflake-site/components/title-v2"},"text_enterprise-model-training-depends-on-governed-feedback-loops_0":{"id":"text-e0ea50adeb","text":"\u003Cp\u003ERLHFは、ルールとしてエンコードすることが難しい選好についてもトレーニングできる手段をモデル開発者に提供したことで、\u003Ca href=\"https://www.snowflake.com/ja/fundamentals/generative-ai-architecture-models-applications/\" target=\"_self\"\u003E生成AI\u003C/a\u003Eの方向性を変えました。RLHFにより、言語モデルは単に流暢なテキストを生成するシステムから、指示に従い、より役立つ応答を提供し、対話における人間の期待をより適切に反映するシステムへと進化しました。\u003C/p\u003E\r\n\u003Cp\u003Eしかし、RLHFは、調整が単一のトレーニングステップではない理由も示しています。選好ラベルは判断を反映し、報酬モデルはその判断を近似します。ポリシー最適化を実行することで、モデルはその近似へと近づけられます。各レイヤーはモデルを改善できますが、同時に\u003Ca href=\"https://www.snowflake.com/ja/artificial-intelligence/ai-governance/model-governance/\" target=\"_self\"\u003Eガバナンス\u003C/a\u003Eの対象となる証拠も生成します。具体的には、誰がデータをラベル付けしたか、どのような基準を使用したか、どのモデルバージョンがトレーニングされたか、報酬モデルがどのように動作したか、最終的なポリシーが評価において実際に改善されたかなどです。\u003C/p\u003E\r\n\u003Cp\u003E企業において、調整されたモデルはRLHFパイプラインの出力のひとつに過ぎません。もう一つの出力として、人間の選好がどのようにしてモデルの動作へと変化したのか、そしてモデルが本番環境に移行する際に組織がその経路の検証、再現、ガバナンスが可能かどうかを示す記録が存在します。\u003C/p\u003E\r\n","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-color-text-05"},"callout_enterprise-model-training-depends-on-governed-feedback-loops_0":{"id":"text-4324573cd8","additionalClasses":"callout callout--general","text":"\u003Cp\u003E\u003Cstrong\u003E重要なポイント\u003C/strong\u003E\u003C/p\u003E\n\u003Cp\u003ERLHFは、人間の選好からの学習を通じて、言語モデルがより有用で信頼性が高く、指示に従う応答を生成できるように支援します。企業にとっての成功は、高品質なフィードバックの収集だけでなく、その選好を本番AIの動作へと変換するデータ、モデル、トレーニングプロセスのガバナンスによっても左右されます。\u003C/p\u003E","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-size-regular text-color-text-05"}},":itemsOrder":["callout__0","text__0","title_what-is-rlhf","text_what-is-rlhf_0","title_how-the-rlhf-pipeline-works","text_how-the-rlhf-pipeline-works_0","callout_how-the-rlhf-pipeline-works_0","text_how-the-rlhf-pipeline-works_1","title_challenges-and-alternatives-to-rlhf","text_challenges-and-alternatives-to-rlhf_0","callout_challenges-and-alternatives-to-rlhf_0","text_challenges-and-alternatives-to-rlhf_1","title_rlhf-and-dpo-on-snowflake","text_rlhf-and-dpo-on-snowflake_0","title_enterprise-model-training-depends-on-governed-feedback-loops","text_enterprise-model-training-depends-on-governed-feedback-loops_0","callout_enterprise-model-training-depends-on-governed-feedback-loops_0"],"appliedCssClassNames":"snowflake-responsive-container-inner-padding-medium"},"flexible_column_content_container_2":{"additionalClasses":"hub-sidebar","layout":"SIMPLE","id":"hub-body-aside",":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container",":items":{"container":{"additionalClasses":"sticky-sidebar","layout":"RESPONSIVE_GRID","columnCount":12,"columnClassNames":{"text_943981956_copy_":"aem-GridColumn aem-GridColumn--default--12","text_copy":"aem-GridColumn aem-GridColumn--default--12"},"gridClassNames":"aem-Grid aem-Grid--12 aem-Grid--default--12","id":"container-ef7778df33",":type":"snowflake-site/components/container",":items":{"text_943981956_copy_":{"id":"text-6f69cbec11","additionalClasses":"eyebrow-text","text":"\u003Cp\u003E本ガイドの内容\u003C/p\u003E\n","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-size-regular"},"text_copy":{"id":"text-f66f3a8a10","additionalClasses":"page-toc","text":"\u003Cul\u003E\u003Cli data-anchor=\"what-is-rlhf\"\u003ERLHFとは\u003C/li\u003E\u003Cli data-anchor=\"how-the-rlhf-pipeline-works\"\u003ERLHFパイプラインの仕組み\u003C/li\u003E\u003Cli data-anchor=\"challenges-and-alternatives-to-rlhf\"\u003ERLHFの課題と代替案\u003C/li\u003E\u003Cli data-anchor=\"rlhf-and-dpo-on-snowflake\"\u003ESnowflakeにおけるRLHFとDPO\u003C/li\u003E\u003Cli data-anchor=\"enterprise-model-training-depends-on-governed-feedback-loops\"\u003Eエンタープライズのモデルトレーニングにおける、ガバナンスの効いたフィードバックループの重要性\u003C/li\u003E\u003C/ul\u003E","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-size-small text-color-text-05"}},":itemsOrder":["text_943981956_copy_","text_copy"],"appliedCssClassNames":"snowflake-responsive-container-inner-padding-medium"}},":itemsOrder":["container"],"appliedCssClassNames":"snowflake-responsive-container-inner-padding-small"},"isBlogPage":false,"isActiveTOC":false,":type":"snowflake-site/components/flexible-column-container"},"flexible_column_cont_1786318617":{"id":"flexible-column-container-44bcf73eb2","propertiesId":"hub-faq","type":"2-column-40-60","alignColumns":"top","containerMaxWidth":"extra-large","topPadding":"large","bottomPadding":"large","spaceBetween":"small","reverseOnMobile":false,"carouselOnMobile":false,"backgroundImageOption":"none","flexible_column_content_container_1":{"layout":"SIMPLE","id":"hub-faq-intro",":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container",":items":{"title_v2_copy":{"id":"title-v2-99e395df19","additionalClasses":"hub-faq__headline","type":"heading2","lines":["よくある質問"],":type":"snowflake-site/components/title-v2","appliedCssClassNames":"left-alignment"},"text_copy":{"id":"text-15d8758b08","additionalClasses":"hub-faq__subheadline","text":"\u003Cp\u003ERLHFに関するよくある質問に、Snowflakeのエキスパートが回答します。\u003C/p\u003E\n","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-color-text-05"}},":itemsOrder":["title_v2_copy","text_copy"],"appliedCssClassNames":"snowflake-responsive-container-inner-padding-extra-small"},"flexible_column_content_container_2":{"layout":"SIMPLE","id":"hub-faq-accordions",":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container",":items":{"simple_snowflake_acc":{"id":"simple-snowflake-accordion-25a420598d","additionalClasses":"seo-hub__faqs","showDivider":false,"accordionItemsList":[{"title":"言語モデルにとってRLHFが重要なのはなぜですか？","richText":"\u003Cp\u003ERLHFは、言語モデルが流暢なテキスト生成にとどまらない能力を発揮できるよう支援します。これにより、開発者は、有用性、トーン、関連性、無害性、ユーザーの意図に従う能力など、固定されたルールで定義することが難しい品質についてモデルをトレーニングできるようになります。\u003C/p\u003E\r\n"},{"title":"RLHFは教師ありファインチューニングと同じですか？","richText":"\u003Cp\u003E教師ありファインチューニングは、優れた応答の例を示すことでモデルを学習させます。RLHFは、複数の回答が可能な場合に人間がどの応答を好むかをモデルに学習させることで、別のレイヤーを追加します。これにより、モデルは例だけでは得られない、ニュアンスに富んだ動作を学習できます。\u003C/p\u003E\r\n"},{"title":"RLHFにおける報酬モデルとは何ですか？","richText":"\u003Cp\u003E報酬モデルは、人間が好むアウトプットを予測するようにトレーニングされたモデルです。プロンプトと応答を入力として受け取り、スコアを返します。RLHFの過程において、言語モデルは報酬モデルからより高いスコアを得られる応答を生成するように最適化されます。\u003C/p\u003E\r\n"},{"title":"RLHFの主な課題は何ですか？","richText":"\u003Cp\u003E最大の課題としては、高品質な選好データの収集、フィードバックの一貫性の維持、人間による評価のバイアスの回避、報酬ハッキングの防止、強化学習の最適化における複雑さの管理などが挙げられます。エンタープライズ環境では、選好データ、モデルバージョン、トレーニングの実行、評価結果のガバナンスも必要になります。\u003C/p\u003E\r\n"},{"title":"報酬ハッキングとは何ですか？","richText":"\u003Cp\u003E報酬ハッキングとは、モデルが真に改善するのではなく、報酬モデルの弱点を悪用することを学習してしまう現象です。たとえば、報酬スコア上は良好に見えていても、実際にはユーザーにとって有用性、正確性、適切性の欠けた応答が生成されることがあります。\u003C/p\u003E\r\n"}],":type":"snowflake-site/components/simple-snowflake-accordion"}},":itemsOrder":["simple_snowflake_acc"]},"isBlogPage":false,"isActiveTOC":false,":type":"snowflake-site/components/flexible-column-container","appliedCssClassNames":"snowflake-flexible-column-container-gray-10-bg"},"flexible_column_cont_1467213961":{"id":"flexible-column-container-621fee442e","propertiesId":"hub-explore-resources-header","type":"1-column","alignColumns":"top","containerMaxWidth":"extra-large","topPadding":"large","bottomPadding":"none","spaceBetween":"small","reverseOnMobile":false,"carouselOnMobile":false,"backgroundImageOption":"none","flexible_column_content_container_1":{"layout":"SIMPLE","id":"container-2002014d18",":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container",":items":{"title_v2":{"id":"title-v2-1a9e86751e","additionalClasses":"hub-explore-resources-header__headline","type":"heading2","lines":["AIの関連リソースを見る"],":type":"snowflake-site/components/title-v2","appliedCssClassNames":"left-alignment"}},":itemsOrder":["title_v2"]},"isBlogPage":false,"isActiveTOC":false,":type":"snowflake-site/components/flexible-column-container","appliedCssClassNames":"snowflake-flexible-column-container-gray-10-bg"},"flexible_column_cont_912630531":{"id":"flexible-column-container-2a969badce","propertiesId":"hub-explore-resources-grid","type":"1-column","alignColumns":"top","containerMaxWidth":"extra-large","topPadding":"small","bottomPadding":"large","spaceBetween":"small","reverseOnMobile":false,"carouselOnMobile":false,"backgroundImageOption":"none","flexible_column_content_container_1":{"layout":"SIMPLE","id":"hub-explore-resources-grid-inner",":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container",":items":{"resource_chip_0":{"id":"content-chip-b397b6c5de","tagText":"eBook","tagColor":"#71D3DC","cta":{"id":"cta","showOutboundIcon":false,"buttonLink":{"valid":true,"url":"https://www.snowflake.com/ja/lp/snowflake-ai-data-predictions/"},"linkTargetContentType":"GENERIC",":type":"snowflake-site/components/button","linkType":"SNOWFLAKE_EXTERNAL","text":"全文を読む"},"headline":{"id":"title","type":"heading5","lines":["Snowflake AI + Data Predictions 2026年の展望"],":type":"snowflake-site/components/title-v2"},":type":"snowflake-site/components/content-chip","appliedCssClassNames":"snowflake-content-chip-white-bg"},"resource_chip_1":{"id":"content-chip-0b6512ed2d","tagText":"レポート","tagColor":"#C6EDF1","cta":{"id":"cta","showOutboundIcon":false,"buttonLink":{"valid":true,"url":"https://www.snowflake.com/resource/a-practical-guide-to-ai-agents/?lang=ja"},"linkTargetContentType":"GENERIC",":type":"snowflake-site/components/button","linkType":"SNOWFLAKE_EXTERNAL","text":"全文を読む"},"headline":{"id":"title","type":"heading5","lines":["AIエージェント 実践ガイド"],":type":"snowflake-site/components/title-v2"},":type":"snowflake-site/components/content-chip","appliedCssClassNames":"snowflake-content-chip-white-bg"},"resource_chip_2":{"id":"content-chip-63457b2487","tagText":"ブログ","tagColor":"#29B5E8","cta":{"id":"cta","showOutboundIcon":false,"buttonLink":{"valid":true,"url":"https://www.snowflake.com/ja/blog/ai-governance-marketing-context-layer/"},"linkTargetContentType":"GENERIC",":type":"snowflake-site/components/button","linkType":"SNOWFLAKE_EXTERNAL","text":"全文を読む"},"headline":{"id":"title","type":"heading5","lines":["マーケターがAIコンテキストレイヤーを所有すべき理由"],":type":"snowflake-site/components/title-v2"},":type":"snowflake-site/components/content-chip","appliedCssClassNames":"snowflake-content-chip-white-bg"},"resource_chip_3":{"id":"content-chip-5355a25b35","tagText":"ブログ","tagColor":"#29B5E8","cta":{"id":"cta","showOutboundIcon":false,"buttonLink":{"valid":true,"url":"https://www.snowflake.com/ja/blog/agentic-ml-snowflake-predictive-insights/"},"linkTargetContentType":"GENERIC",":type":"snowflake-site/components/button","linkType":"SNOWFLAKE_EXTERNAL","text":"全文を読む"},"headline":{"id":"title","type":"heading5","lines":["Snowflakeのエージェント型MLでデータから予測的インサイトへのパスを自動化"],":type":"snowflake-site/components/title-v2"},":type":"snowflake-site/components/content-chip","appliedCssClassNames":"snowflake-content-chip-white-bg"}},":itemsOrder":["resource_chip_0","resource_chip_1","resource_chip_2","resource_chip_3"]},"isBlogPage":false,"isActiveTOC":false,":type":"snowflake-site/components/flexible-column-container","appliedCssClassNames":"snowflake-flexible-column-container-gray-10-bg"},"flexible_column_cont_1158003461":{"id":"flexible-column-container-82afd4af08","propertiesId":"hub-explore-topics-header","type":"1-column","alignColumns":"top","containerMaxWidth":"extra-large","topPadding":"large","bottomPadding":"none","spaceBetween":"small","reverseOnMobile":false,"carouselOnMobile":false,"backgroundImageOption":"none","flexible_column_content_container_1":{"layout":"SIMPLE","id":"container-6c7044b904",":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container",":items":{"title_v2_copy_copy":{"id":"title-v2-a07baba46e","additionalClasses":"hub-explore-topics-header__headline","type":"heading2","lines":["AIの関連トピックを見る"],":type":"snowflake-site/components/title-v2","appliedCssClassNames":"left-alignment"},"text_copy_copy":{"id":"text-5234d34533","additionalClasses":"hub-explore-topics-header__subheadline","text":"\u003Cp\u003EAIのさまざまな側面を深く掘り下げます。\u003C/p\u003E\r\n","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-color-text-05"}},":itemsOrder":["title_v2_copy_copy","text_copy_copy"],"appliedCssClassNames":"snowflake-responsive-container-inner-padding-extra-small"},"isBlogPage":false,"isActiveTOC":false,":type":"snowflake-site/components/flexible-column-container","appliedCssClassNames":"snowflake-flexible-column-container-white-bg"},"flexible_column_cont_1377146023":{"id":"flexible-column-container-1142d9cba5","propertiesId":"hub-explore-topics-grid","type":"3-column-even","alignColumns":"top","containerMaxWidth":"extra-large","topPadding":"small","bottomPadding":"large","spaceBetween":"small","reverseOnMobile":false,"carouselOnMobile":false,"backgroundImageOption":"none","flexible_column_content_container_1":{"layout":"SIMPLE","id":"container-695cfa380a",":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container",":items":{"topic_card_0":{"id":"card-v2-dc1c3f54b9","configurationStatus":{"configured":true,"message":""},"text":{"id":"text","text":"\u003Cp\u003E機械学習ライフサイクルを大規模に運用化し、管理します。\u003C/p\u003E","richText":true,":type":"snowflake-site/components/text"},"title":{"id":"title","type":"heading4","lines":["MLOps"],":type":"snowflake-site/components/title-v2"},"button":{"id":"button","showOutboundIcon":false,"buttonLink":{"valid":true,"url":"/ja/artificial-intelligence/machine-learning/mlops/"},"linkTargetContentType":"GENERIC",":type":"snowflake-site/components/button","linkType":"SNOWFLAKE_INTERNAL","text":"さらに詳しく"},"type":"content-card",":type":"snowflake-site/components/card-v2","layoutStyle":"vertical"}},":itemsOrder":["topic_card_0"]},"flexible_column_content_container_2":{"layout":"SIMPLE","id":"container-e95232023b",":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container",":items":{"topic_card_1":{"id":"card-v2-f8fce638e0","configurationStatus":{"configured":true,"message":""},"text":{"id":"text","text":"\u003Cp\u003ELLMの仕組みと、エンタープライズAIのユースケースにおける適用方法について解説します。\u003C/p\u003E","richText":true,":type":"snowflake-site/components/text"},"title":{"id":"title","type":"heading4","lines":["大規模言語モデル"],":type":"snowflake-site/components/title-v2"},"button":{"id":"button","showOutboundIcon":false,"buttonLink":{"valid":true,"url":"/ja/fundamentals/large-language-model/"},"linkTargetContentType":"GENERIC",":type":"snowflake-site/components/button","linkType":"SNOWFLAKE_INTERNAL","text":"さらに詳しく"},"type":"content-card",":type":"snowflake-site/components/card-v2","layoutStyle":"vertical"}},":itemsOrder":["topic_card_1"]},"flexible_column_content_container_3":{"layout":"SIMPLE","id":"container-70ba88a141",":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container",":items":{"topic_card_2":{"id":"card-v2-2dcb3bb604","configurationStatus":{"configured":true,"message":""},"text":{"id":"text","text":"\u003Cp\u003E生成AIの基礎と、ビジネスに与える影響について説明します。\u003C/p\u003E\r\n","richText":true,":type":"snowflake-site/components/text"},"title":{"id":"title","type":"heading4","lines":["生成AI"],":type":"snowflake-site/components/title-v2"},"button":{"id":"button","showOutboundIcon":false,"buttonLink":{"valid":true,"url":"/ja/fundamentals/generative-ai-architecture-models-applications/"},"linkTargetContentType":"GENERIC",":type":"snowflake-site/components/button","linkType":"SNOWFLAKE_INTERNAL","text":"さらに詳しく"},"type":"content-card",":type":"snowflake-site/components/card-v2","layoutStyle":"vertical"}},":itemsOrder":["topic_card_2"]},"isBlogPage":false,"isActiveTOC":false,":type":"snowflake-site/components/flexible-column-container","appliedCssClassNames":"snowflake-flexible-column-container-white-bg"},"flexible_column_cont_topics_row2":{"id":"flexible-column-container-ff65f6fdc4","propertiesId":"hub-explore-topics-grid-row2","type":"3-column-even","alignColumns":"top","containerMaxWidth":"extra-large","topPadding":"none","bottomPadding":"large","spaceBetween":"small","reverseOnMobile":false,"carouselOnMobile":false,"backgroundImageOption":"none","isBlogPage":false,"isActiveTOC":false,":type":"snowflake-site/components/flexible-column-container","appliedCssClassNames":"snowflake-flexible-column-container-white-bg"}},":itemsOrder":["flexible_column_cont","flexible_column_cont_939100716","flexible_column_cont_1398138236","flexible_column_cont_663228916","flexible_column_cont_1786318617","flexible_column_cont_1467213961","flexible_column_cont_912630531","flexible_column_cont_1158003461","flexible_column_cont_1377146023","flexible_column_cont_topics_row2"],":type":"wcm/foundation/components/responsivegrid"},"modal_container":{"layout":"SIMPLE","id":"container-b4a4b9d624",":type":"snowflake-site/components/modal/modal-container",":items":{},":itemsOrder":[]},"markup_editor_928258845":{"id":"markup-editor-5ffd71fa25","title":" ","cssContent":".snowflake-flexible-column-container-gray-10-bg\u003E.snowflake-flexible-column-container{background-color:var(--ui-background-05) !important}.text-size-regular:has(.seo-hub-hero__related-topic-label){display:flex;align-items:center}.hub-hero__headline span{text-transform:none !important}.hub-hero__subheadline p{max-width:70ch;margin-top:8px}.hub-hero__authors \u003E .container \u003E .cmp-container \u003E .aem-container{display:flex;flex-direction:row}.hub-hero__authors \u003E .container \u003E .cmp-container \u003E .aem-container \u003E div{width:auto !important;margin:24px 48px 0 0 !important}.hub-hero__authors .heading-5-v2{gap:var(--spacing-00)}.hub-hero__authors .snowflake-content-chip-button{display:none !important}.hub-hero__authors .snowflake-person-chip-content .body-2,.hub-hero__authors .snowflake-content-chip-content .snowflake-title-v2-line{font-size:16px !important;line-height:20px !important;font-family:\"Lato\",sans-serif !important;color:#000 !important;font-weight:600 !important}.hub-hero__authors .snowflake-person-chip-content .body-3,.hub-hero__authors .snowflake-content-chip-content .snowflake-title-v2-line:not(:first-child){font-weight:400 !important;color:var(--text-05) !important;font-size:16px !important}.hub-hero__authors .snowflake-image-container img{aspect-ratio:1 !important;border-radius:100%;overflow:hidden}.hub-hero__authors .snowflake-person-chip-avatar{width:56px;height:56px}.hub-hero__authors .snowflake-content-chip{align-items:center;display:inline-flex}.hub-hero__authors .snowflake-content-chip-image{max-width:56px;line-height:0;margin-right:var(--spacing-03)}.hub-hero__authors .snowflake-person-chip-inner-horizontal{gap:var(--spacing-03)}@media screen and (min-width:1367px){.hub-hero__headline .heading-1-v2{font-size:48px;line-height:44px}}#hub-explore-resources-grid-inner\u003E.container\u003E.cmp-container\u003E.aem-container{display:flex;flex-direction:row;flex-wrap:wrap;gap:24px}#hub-explore-resources-grid-inner\u003E.container\u003E.cmp-container\u003E.aem-container::before,#hub-explore-resources-grid-inner\u003E.container\u003E.cmp-container\u003E.aem-container::after{display:none}#hub-explore-resources-grid-inner\u003E.container\u003E.cmp-container\u003E.aem-container\u003Ediv{width:calc(25% - 18px)}.text-color-text-05 .snowflake-text h2,.text-color-text-05.cq-Editable-dom h2,.text-color-text-05 .snowflake-text h3,.text-color-text-05.cq-Editable-dom h3,.text-color-text-05 .snowflake-text h4,.text-color-text-05.cq-Editable-dom h4,.text-color-text-05 .snowflake-text h5,.text-color-text-05.cq-Editable-dom h5,.text-color-text-05 .snowflake-text h6,.text-color-text-05.cq-Editable-dom h6{color:#000 !important}","isGSAPEnabled":false,":type":"snowflake-site/components/markup-editor"},"markup_editor_597730182":{"id":"markup-editor-d2d132b17a","title":" ","cssContent":".sf-copy-markdown [data-copy-md]{display:inline-flex;align-items:center;gap:6px;padding:8px 16px;font-family:'Texta',sans-serif;text-transform:uppercase;font-weight:800 !important;font-size:14px;font-weight:500;color:#11567f;background:#f0faff;border:1px solid #b8e6f9;border-radius:24px;cursor:pointer;transition:background .2s ease,border-color .2s ease,color .2s ease}.sf-copy-markdown [data-copy-md]:hover{background:#ddf3fc;border-color:#29b5e8}.sf-copy-markdown [data-copy-md][data-copied=\"1\"]{color:#0f7b3e;background:#ecfdf5;border-color:#6ee7a0;pointer-events:none}.sf-copy-markdown [data-copy-md] svg{flex-shrink:0}.longform-conten .snowflake-content-chip-white-bg .snowflake-content-chip{box-shadow:0 0 24px 4px rgba(0,0,0,.02),0 4px 8px 0 rgba(0,0,0,.04);flex-direction:row-reverse;align-items:center}.longform-conten .snowflake-content-chip-button{display:none}.longform-conten .snowflake-content-chip-image__inner{aspect-ratio:5 / 3;display:flex;justify-content:center;align-items:center;background-color:var(--ui-01);border-radius:4px}.longform-conten .snowflake-content-chip-image{margin-right:0;margin-left:48px}.longform-conten .snowflake-content-chip-image img{width:50%;border-radius:0 !important;object-fit:contain}.longform-content .black-blue-text-color .snowflake-title-v2-line:not(:first-child){font-size:14px !important;font-weight:400 !important;color:rgba(0,0,0,.6) !important;margin-top:8px !important}.page-toc ul li:first-child{padding-top:0 !important}.page-toc ul li:last-child{padding-bottom:0 !important}.seo-hub__top-bar \u003E .container \u003E .cmp-container \u003E .aem-container \u003E div:first-child{flex-grow:1}.sf-copy-markdown{margin-top:40px !important}.page-toc ul{margin-top:16px !important}.seo-hub__top-bar \u003E .container \u003E .cmp-container \u003E .aem-container{display:flex;justify-content:space-between}.sf-copy-markdown{}.callout.snowflake-text p:not(:first-child){margin-top:var(--spacing-01)}.callout \u003E span \u003E p:first-child \u003E strong,.callout \u003E span \u003E p:first-child \u003E b{text-transform:uppercase;font-family:'Texta',sans-serif;font-size:16px !important;color:var(--ui-01) !important}.seo-hub-hero__subheadline p{max-width:50ch}.tag-group ul{list-style-type:none;padding:0;margin:0;display:flex;flex-direction:row;row-gap:12px;column-gap:8px;align-items:center;flex-wrap:wrap}.tag-group ul li:first-child{flex-shrink:0}.tag-group ul li a{display:inline-block;padding:2px 12px;border-radius:48px;background-color:#ededed;color:#666;font-size:14px !important}@media screen and (min-width:1367px){.seo-hub-hero__headline span.snowflake-title-v2-line{font-size:56px !important}}.callout.snowflake-text p:not(:first-child){margin-top:var(--spacing-01)}.callout \u003E span \u003E p:first-child \u003E b{text-transform:uppercase;font-family:'Texta',sans-serif;font-size:16px !important;color:var(--ui-01) !important}.seo-hub-hero__subheadline p{max-width:80ch}#hero:has(.snowflake-youtube-lite) .seo-hub-hero__subheadline p{max-width:50ch}.tag-group ul{list-style-type:none;padding:0;margin:0;display:flex;flex-direction:row;row-gap:12px;column-gap:8px;align-items:center;flex-wrap:wrap}.tag-group ul li:first-child{width:100%;flex-shrink:0}.tag-group ul li a{display:inline-block;padding:2px 12px;border-radius:48px;background-color:#ededed;color:#666;font-size:14px !important}@media screen and (min-width:1367px){.seo-hub-hero__headline span.snowflake-title-v2-line{font-size:56px !important}}","isGSAPEnabled":false,":type":"snowflake-site/components/markup-editor"},"markup_editor":{"id":"markup-editor-7cf92507d4","title":" ","cssContent":"div.snowflake-breadcrumb a.snowflake-breadcrumb-item,.snowflake-breadcrumb div.snowflake-breadcrumb-item{text-transform:none;font-weight:500}.snowflake-breadcrumb svg{display:none !important}.snowflake-breadcrumb a:has(svg)::after{content:'/';margin:0 12px;color:#666}.hub-sidebar{padding:0 40px}.sticky-sidebar{max-width:340px;margin-left:auto}.page-toc ul{list-style-type:none;padding:0}.page-toc li{padding:8px 16px;border-left:4px solid var(--ui-01);cursor:pointer;transition:300ms ease all}.page-toc li:hover{color:var(--ui-01);border-color:#7fd3f1;transition:300ms ease all}.callout,.customer-card{background-color:#eef9fd;border-left:4px solid var(--ui-01);padding:24px 24px 24px 32px;border-radius:4px}.logo-container{max-width:180px}.longform-content li{margin-top:1rem !important}div.longform-content p{max-width:80ch}.bolder .snowflake-title-v2-line{font-weight:900 !important}.border-top\u003Ediv{border-top:1px solid #ccc;padding-top:48px}.related-topics ul{list-style-type:none;padding:0;margin:0;display:flex;gap:8px;flex-wrap:wrap}.related-topics li{display:inline-block;border:1px solid #ccc;padding:4px 12px;border-radius:24px}div.longform-content .snowflake-text h2,div.longform-content .snowflake-text .heading-2-v2,div.longform-content .snowflake-text h3,div.longform-content .snowflake-text .heading-3-v2,div.longform-content .snowflake-title-v2 .heading-3-v2,div.longform-content .snowflake-text h4,div.longform-content .snowflake-text .heading-4-v2,div.longform-content .snowflake-title-v2 .heading-4-v2,div.longform-content .snowflake-text h5,div.longform-content .snowflake-text .heading-5-v2,div.longform-content .snowflake-title-v2 .heading-5-v2,div.longform-content .snowflake-text h6,div.longform-content .snowflake-title-v2 .heading-6-v2,div.longform-content .snowflake-text .heading-6-v2{text-transform:none !important}div.longform-content .snowflake-text h2,div.longform-content .snowflake-text .heading-2-v2,div.longform-content .snowflake-text h3,div.longform-content .snowflake-text .heading-3-v2,div.longform-content .snowflake-text h4,div.longform-content .snowflake-text .heading-4-v2,div.longform-content .snowflake-text h5,div.longform-content .snowflake-text .heading-5-v2,div.longform-content .snowflake-text h6,div.longform-content .snowflake-text .heading-6-v2{margin-top:1.5rem !important;line-height:1.1 !important}div.longform-content .snowflake-text h3,div.longform-content .snowflake-text .heading-3-v2,div.longform-content .snowflake-title-v2 .heading-3-v2,div.longform-content .snowflake-text h4,div.longform-content .snowflake-text .heading-4-v2,div.longform-content .snowflake-title-v2 .heading-4-v2,div.longform-content .snowflake-text h5,div.longform-content .snowflake-text .heading-5-v2,div.longform-content .snowflake-title-v2 .heading-5-v2,div.longform-content .snowflake-text h6,div.longform-content .snowflake-text .heading-6-v2,div.longform-content .snowflake-title-v2 .heading-6-v2{font-family:Lato,sans-serif !important;font-weight:800 !important}div.longform-content .snowflake-text h2,div.longform-content .snowflake-text .heading-2-v2,div.longform-content .snowflake-title-v2 .heading-2-v2{text-transform:none !important;font-size:28px !important}div.longform-content .snowflake-text h3,div.longform-content .snowflake-text .heading-3-v2,div.longform-content .snowflake-title-v2 .heading-3-v2{font-size:22px !important}div.longform-content .snowflake-text h4,div.longform-content .snowflake-text .heading-4-v2,div.longform-content .snowflake-title-v2 .heading-4-v2{font-size:18px !important}div.longform-content .snowflake-text h5,div.longform-content .snowflake-text .heading-5-v2,div.longform-content .snowflake-title-v2 .heading-5-v2{font-size:16px !important}div.longform-content .snowflake-text h6,div.longform-content .snowflake-text .heading-6-v2,div.longform-content .snowflake-title-v2 .heading-6-v2{font-size:14px !important}@media screen and (min-width:992px){div.longform-content .snowflake-text h2,div.longform-content .snowflake-text .heading-2-v2,div.longform-content .snowflake-title-v2 .heading-2-v2{font-size:38px !important}div.longform-content .snowflake-text h3,div.longform-content .snowflake-text .heading-3-v2,div.longform-content .snowflake-title-v2 .heading-3-v2{font-size:26px !important}div.longform-content .snowflake-text h4,div.longform-content .snowflake-text .heading-4-v2,div.longform-content .snowflake-title-v2 .heading-4-v2{font-size:22px !important}div.longform-content .snowflake-text h5,div.longform-content .snowflake-text .heading-5-v2,div.longform-content .snowflake-title-v2 .heading-5-v2{font-size:18px !important}div.longform-content .snowflake-text h6,div.longform-content .snowflake-text .heading-6-v2,div.longform-content .snowflake-title-v2 .heading-6-v2{font-size:16px !important}}.sticky-sidebar .page-toc li.is-active{font-weight:600;color:var(--snow-blue,#29b5e8)}.sticky-sidebar .page-toc li[data-anchor]{cursor:pointer}.longform-content table{margin-top:24px;margin-bottom:24px;width:100%;background-color:var(--ui-background-01);border-collapse:collapse;border:2px solid var(--ui-background-09);font-family:'Lato',sans-serif;color:var(--ui-background-09)}.longform-content table thead{background-color:var(--ui-01)}.longform-content th,.longform-content td{min-width:120px;border:2px solid var(--ui-background-09);padding:var(--spacing-01)}.longform-content ol{margin-top:0 !important}.longform-content ol li{margin-bottom:1rem !important}.longform-content ul li{margin:0;padding:0 0 0 32px;position:relative}.longform-content ul{list-style-type:none}.longform-content ul li::before{content:\"\";display:block;border-radius:100%;background:#29b5e8;width:18px;height:18px;position:absolute;top:4px;left:0;border:5px solid #e5f2f7;box-sizing:border-box}.seo-customer.snowflake-card-v2-advanced-horizontal .snowflake-card-v2-advanced-image-container{max-width:200px}.seo-customer.snowflake-card-v2-advanced-horizontal .snowflake-card-v2-advanced-image-container img{object-fit:contain}.related-topics-outer-container \u003E .container \u003E .cmp-container \u003E .aem-container{display:flex;flex-direction:row}.related-topics-outer-container \u003E .container \u003E .cmp-container \u003E .aem-container \u003E div{width:auto !important;margin:0 !important}.related-topics-outer-container \u003E .container \u003E .cmp-container \u003E .aem-container \u003E div:first-child{margin-right:16px !important;flex-shrink:0}","jsContent":"(function(){var OFFSET=100;if(window.gsap&&window.ScrollTrigger){gsap.registerPlugin(ScrollTrigger);var sidebar=document.querySelector('.sticky-sidebar');var body=document.querySelector('.longform-content');if(sidebar&&body){ScrollTrigger.create({trigger:sidebar,start:'top 100px',endTrigger:body,end:'bottom bottom',pin:sidebar,pinSpacing:false});}}document.addEventListener('click',function(e){var li=e.target.closest('li[data-anchor]');if(!li)return;var slug=li.getAttribute('data-anchor');var heading=document.querySelector('.anchor-title--'+CSS.escape(slug));if(!heading)return;e.preventDefault();var top=heading.getBoundingClientRect().top+window.pageYOffset-OFFSET;window.scrollTo({top:top,behavior:'smooth'});history.replaceState(null,'','#'+slug);},false);var headings=document.querySelectorAll('[class*=\"anchor-title--\"]');if(headings.length&&'IntersectionObserver'in window){var io=new IntersectionObserver(function(entries){entries.forEach(function(entry){if(!entry.isIntersecting)return;var cls=Array.from(entry.target.classList).find(function(c){return c.indexOf('anchor-title--')===0;});if(!cls)return;var slug=cls.replace('anchor-title--','');document.querySelectorAll('li[data-anchor]').forEach(function(li){li.classList.toggle('is-active',li.getAttribute('data-anchor')===slug);});});},{rootMargin:'-20% 0px -70% 0px',threshold:0});headings.forEach(function(h){io.observe(h);});}})();","isGSAPEnabled":true,":type":"snowflake-site/components/markup-editor"},"experiencefragment-footer":{"id":"experiencefragment-ad98794f95","localizedFragmentVariationPath":"/content/experience-fragments/snowflake-site/language-masters/ja/site/footer/master/jcr:content","configured":true,":type":"snowflake-site/components/experiencefragment","xfModelPath":"/content/experience-fragments/snowflake-site/language-masters/ja/site/footer/master.xfmodel.json?callerPage=/content/snowflake-site/global/ja/artificial-intelligence/machine-learning/reinforcement-learning/rlhf"},"experiencefragment":{"id":"experiencefragment-185038f949","localizedFragmentVariationPath":"/content/experience-fragments/snowflake-site/language-masters/ja/site/footer-legal-disclaimers/master/jcr:content","configured":true,":type":"snowflake-site/components/experiencefragment","xfModelPath":"/content/experience-fragments/snowflake-site/language-masters/ja/site/footer-legal-disclaimers/master.xfmodel.json?callerPage=/content/snowflake-site/global/ja/artificial-intelligence/machine-learning/reinforcement-learning/rlhf"}},":itemsOrder":["experiencefragment-banner","experiencefragment-header","responsivegrid","modal_container","markup_editor_928258845","markup_editor_597730182","markup_editor","experiencefragment-footer","experiencefragment"],":type":"wcm/foundation/components/responsivegrid"}},":itemsOrder":["root"],":hierarchyType":"page",":path":"/content/snowflake-site/global/ja/artificial-intelligence/machine-learning/reinforcement-learning/rlhf","locale":"ja"}