{"cssClassNames":"page basicpage summit-page","templateName":"base-page-template54","allowedRenditionsWidth":["320","480","640","768","960","1200","1440","1920"],"description":"RLHF(인간 피드백 기반 강화학습)가 보상 모델링과 정책 최적화를 통해 AI 모델을 인간의 선호에 맞게 정렬하는 방법을 알아보세요.","language":"ko","title":"RLHF: 인간 피드백 기반 강화학습 | Snowflake","analyticsPageType":"homepage","analyticsCategory":"general","analyticsSubCategory":"","excludeFromAnalytics":false,":items":{"root":{"columnCount":12,"gridClassNames":"aem-Grid aem-Grid--12 aem-Grid--default--12","columnClassNames":{"markup_editor_928258845":"aem-GridColumn aem-GridColumn--default--12","experiencefragment-banner":"aem-GridColumn aem-GridColumn--default--12","experiencefragment-header":"aem-GridColumn aem-GridColumn--default--12","responsivegrid":"aem-GridColumn aem-GridColumn--default--12","markup_editor_597730182":"aem-GridColumn aem-GridColumn--default--12","experiencefragment-footer":"aem-GridColumn aem-GridColumn--default--12","experiencefragment":"aem-GridColumn aem-GridColumn--default--12","modal_container":"aem-GridColumn aem-GridColumn--default--12","markup_editor":"aem-GridColumn aem-GridColumn--default--12"},":items":{"experiencefragment-banner":{"id":"experiencefragment-bc35e02196","localizedFragmentVariationPath":"/content/experience-fragments/snowflake-site/language-masters/ko/site/pushdown-banner/master/jcr:content","configured":true,":type":"snowflake-site/components/experiencefragment","xfModelPath":"/content/experience-fragments/snowflake-site/language-masters/ko/site/pushdown-banner/master.xfmodel.json?callerPage=/content/snowflake-site/global/ko/artificial-intelligence/machine-learning/reinforcement-learning/rlhf"},"experiencefragment-header":{"id":"experiencefragment-dcc81b25af","localizedFragmentVariationPath":"/content/experience-fragments/snowflake-site/language-masters/ko/site/mega-nav-header/master/jcr:content","configured":true,":type":"snowflake-site/components/experiencefragment","xfModelPath":"/content/experience-fragments/snowflake-site/language-masters/ko/site/mega-nav-header/master.xfmodel.json?callerPage=/content/snowflake-site/global/ko/artificial-intelligence/machine-learning/reinforcement-learning/rlhf"},"responsivegrid":{"columnCount":12,"gridClassNames":"aem-Grid aem-Grid--12 aem-Grid--default--12","columnClassNames":{"flexible_column_cont_939100716":"aem-GridColumn aem-GridColumn--default--12","flexible_column_cont":"aem-GridColumn aem-GridColumn--default--12","flexible_column_cont_1158003461":"aem-GridColumn aem-GridColumn--default--12","flexible_column_cont_663228916":"aem-GridColumn aem-GridColumn--default--12","flexible_column_cont_912630531":"aem-GridColumn aem-GridColumn--default--12","flexible_column_cont_1398138236":"aem-GridColumn aem-GridColumn--default--12","flexible_column_cont_topics_row2":"aem-GridColumn aem-GridColumn--default--12","flexible_column_cont_1786318617":"aem-GridColumn aem-GridColumn--default--12","flexible_column_cont_1467213961":"aem-GridColumn aem-GridColumn--default--12","flexible_column_cont_1377146023":"aem-GridColumn aem-GridColumn--default--12"},":items":{"flexible_column_cont":{"id":"flexible-column-container-597ca63960","propertiesId":"hub-hero-breadcrumbs","type":"1-column","alignColumns":"top","containerMaxWidth":"extra-large","topPadding":"small","bottomPadding":"none","spaceBetween":"small","reverseOnMobile":false,"carouselOnMobile":false,"propertiesCSSClasses":"page-section","backgroundImageOption":"none","flexible_column_content_container_1":{"layout":"SIMPLE","id":"container-95d3c6bcf8",":items":{"breadcrumb":{"id":"breadcrumb-7597ffaa6e","items":[{"id":"breadcrumb-7597ffaa6e-item-76d1d830ff","link":{"valid":true,"url":"/ko/artificial-intelligence/machine-learning/"},"active":false,"current":false,"title":"머신러닝","appliedCssClassNames":"summit-page",":type":"snowflake-site/components/structure/page"},{"id":"breadcrumb-7597ffaa6e-item-239a5671e4","link":{"valid":true,"url":"/ko/artificial-intelligence/machine-learning/reinforcement-learning/"},"active":false,"current":false,"title":"강화학습","appliedCssClassNames":"summit-page",":type":"snowflake-site/components/structure/fundamentals-page"},{"id":"breadcrumb-7597ffaa6e-item-55b7d79b63","link":{"valid":true,"url":"/ko/artificial-intelligence/machine-learning/reinforcement-learning/rlhf/"},"active":true,"current":true,"title":"RLHF","appliedCssClassNames":"summit-page",":type":"snowflake-site/components/structure/page"}],":type":"snowflake-site/components/breadcrumb"}},":itemsOrder":["breadcrumb"],":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container"},":type":"snowflake-site/components/flexible-column-container","isBlogPage":false,"isActiveTOC":false,"appliedCssClassNames":"snowflake-flexible-column-container-gray-10-bg"},"flexible_column_cont_939100716":{"id":"flexible-column-container-9983058ac1","propertiesId":"hub-hero","type":"2-column-even","alignColumns":"center","containerMaxWidth":"extra-large","topPadding":"extra-small","bottomPadding":"extra-small","spaceBetween":"small","reverseOnMobile":false,"carouselOnMobile":false,"propertiesCSSClasses":"page-section","backgroundImageOption":"none","flexible_column_content_container_1":{"layout":"SIMPLE","id":"container-71641b3641",":items":{"title_v2":{"id":"title-v2-7034b939b2","additionalClasses":"hub-hero__headline","type":"heading1","lines":["RLHF: 인간 피드백을 활용한 AI 모델 행동 조정"],":type":"snowflake-site/components/title-v2","appliedCssClassNames":"left-alignment"},"text":{"id":"text-ccaa62489f","additionalClasses":"hub-hero__subheadline","text":"\u003Cp\u003ERLHF를 활용하면 모델 개발자는 LLM이 유창함을 넘어 유용하고 신뢰할 수 있으며 상황에 적절하고 사용자 의도에 부합하는 응답을 생성하도록 할 수 있습니다. 그러나 엔터프라이즈 환경에서는 이 기법이 새로운 거버넌스 과제도 수반합니다. 선호도 데이터, 보상 모델, 피드백 루프도 이들이 행동을 형성하는 모델 자체와 동일한 수준으로 엄격하게 관리해야 합니다.\u003C/p\u003E\r\n","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-size-regular text-color-text-05"},"container":{"additionalClasses":"hub-hero__authors","layout":"RESPONSIVE_GRID","columnCount":12,"gridClassNames":"aem-Grid aem-Grid--12 aem-Grid--default--12","columnClassNames":{"content_chip_copy":"aem-GridColumn aem-GridColumn--default--12","content_chip":"aem-GridColumn aem-GridColumn--default--12"},"id":"container-da36a22d6d",":items":{"content_chip":{"id":"content-chip-916993199d","cta":{"id":"cta","showOutboundIcon":false,"linkTargetContentType":"GENERIC","linkType":"SNOWFLAKE_INTERNAL",":type":"snowflake-site/components/button","text":"약력 보기"},"image":{"id":"image","height":"800","alt":"Laurie MacPherson","lazyEnabled":true,"src":"https://www.snowflake.com/adobe/dynamicmedia/deliver/dm-aid--a7e9fdff-6f08-4edc-9cd1-e213bb234aaa/laurie-macpherson.jpg?preferwebp=true&quality=85","width":"800",":type":"snowflake-site/components/image"},"headline":{"id":"title","type":"heading5","lines":["Laurie MacPherson","테크니컬 라이터, Snowflake"],":type":"snowflake-site/components/title-v2"},":type":"snowflake-site/components/content-chip"},"content_chip_copy":{"id":"content-chip-e5a7c0c5fa","cta":{"id":"cta","showOutboundIcon":false,"buttonLink":{"valid":true,"url":"https://www.snowflake.com/en/blog/authors/jiyun-kim/"},"linkTargetContentType":"GENERIC","linkType":"SNOWFLAKE_EXTERNAL",":type":"snowflake-site/components/button","text":"약력 보기"},"image":{"id":"image","height":"567","alt":"David Gaule","lazyEnabled":true,"src":"https://www.snowflake.com/adobe/dynamicmedia/deliver/dm-aid--a7298322-b642-462f-a1ea-e4319d26238d/jiyun-kim-photo.jpg?preferwebp=true&quality=85","width":"425",":type":"snowflake-site/components/image"},"headline":{"id":"title","type":"heading5","lines":["Jiyun Kim","SEO Specialist, Snowflake"],":type":"snowflake-site/components/title-v2"},":type":"snowflake-site/components/content-chip"}},":itemsOrder":["content_chip","content_chip_copy"],"appliedCssClassNames":"snowflake-responsive-container-inner-padding-small",":type":"snowflake-site/components/container"}},":itemsOrder":["title_v2","text","container"],"appliedCssClassNames":"snowflake-responsive-container-inner-padding-extra-small",":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container"},"flexible_column_content_container_2":{"additionalClasses":"hub-hero__video-column","layout":"SIMPLE","id":"container-aee17267a9",":items":{"youtube":{"id":"embed-85e70d8b6a","youtubeVideoId":"-HWNc-Hd90U","layout":"responsive","youtubeAspectRatio":"56.25","youtubeAutoPlay":false,"youtubeLoop":false,"youtubeMute":false,"youtubePlaysInline":false,"youtubeRel":false,"embeddableResourceType":"core/wcm/components/embed/v1/embed/embeddable/youtube","type":"EMBEDDABLE",":type":"snowflake-site/components/youtube"}},":itemsOrder":["youtube"],":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container"},":type":"snowflake-site/components/flexible-column-container","isBlogPage":false,"isActiveTOC":false,"appliedCssClassNames":"snowflake-flexible-column-container-gray-10-bg"},"flexible_column_cont_1398138236":{"id":"flexible-column-container-5317f6a8e3","propertiesId":"hub-hero-related-topics","type":"1-column","alignColumns":"top","containerMaxWidth":"extra-large","topPadding":"extra-small","bottomPadding":"medium","spaceBetween":"small","reverseOnMobile":false,"carouselOnMobile":false,"propertiesCSSClasses":"page-section","backgroundImageOption":"none","flexible_column_content_container_1":{"additionalClasses":"related-topics-outer-container border-top","layout":"SIMPLE","id":"container-bd95e8332a",":items":{"text_894059747":{"id":"text-139585a38b","additionalClasses":"seo-hub-hero__related-topic-label","text":"\u003Cp\u003E머신러닝 주제:\u003C/p\u003E\n","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-size-regular text-color-text-05"},"text":{"id":"text-8f8ea53739","additionalClasses":"related-topics ","text":"\u003Cul\u003E\r\n\u003Cli\u003E\u003Ca href=\"https://www.snowflake.com/en/artificial-intelligence/machine-learning/automl/\"\u003EAutoML\u003C/a\u003E\u003C/li\u003E\r\n\u003Cli\u003E\u003Ca href=\"https://www.snowflake.com/ko/artificial-intelligence/machine-learning/deep-learning/\"\u003E딥러닝\u003C/a\u003E\u003C/li\u003E\r\n\u003Cli\u003E\u003Ca href=\"https://www.snowflake.com/ko/artificial-intelligence/machine-learning/ensemble-learning/\"\u003E앙상블 학습\u003C/a\u003E\u003C/li\u003E\r\n\u003Cli\u003E\u003Ca href=\"https://www.snowflake.com/ko/artificial-intelligence/machine-learning/feature-engineering/\"\u003E피처 엔지니어링\u003C/a\u003E\u003C/li\u003E\r\n\u003Cli\u003E\u003Ca href=\"https://www.snowflake.com/en/artificial-intelligence/machine-learning/frameworks/\"\u003EML 프레임워크\u003C/a\u003E\u003C/li\u003E\r\n\u003Cli\u003E\u003Ca href=\"https://www.snowflake.com/ko/artificial-intelligence/machine-learning/inference/\"\u003EML 추론\u003C/a\u003E\u003C/li\u003E\r\n\u003Cli\u003E\u003Ca href=\"https://www.snowflake.com/en/artificial-intelligence/machine-learning/models/\"\u003EML 모델\u003C/a\u003E\u003C/li\u003E\r\n\u003Cli\u003E\u003Ca href=\"https://www.snowflake.com/ko/artificial-intelligence/machine-learning/mlops/\"\u003EMLOps\u003C/a\u003E\u003C/li\u003E\r\n\u003Cli\u003E\u003Ca href=\"https://www.snowflake.com/ko/artificial-intelligence/machine-learning/reinforcement-learning/\"\u003E강화학습\u003C/a\u003E\u003C/li\u003E\r\n\u003C/ul\u003E\r\n","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-size-small"}},":itemsOrder":["text_894059747","text"],":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container"},":type":"snowflake-site/components/flexible-column-container","isBlogPage":false,"isActiveTOC":false,"appliedCssClassNames":"snowflake-flexible-column-container-gray-10-bg"},"flexible_column_cont_663228916":{"id":"flexible-column-container-0a0eea21d7","propertiesId":"hub-body","type":"2-column-60-40","alignColumns":"top","containerMaxWidth":"extra-large","topPadding":"medium","bottomPadding":"medium","spaceBetween":"small","reverseOnMobile":false,"carouselOnMobile":false,"propertiesCSSClasses":"page-section","backgroundImageOption":"none","flexible_column_content_container_1":{"additionalClasses":"longform-content","layout":"SIMPLE","id":"hub-body-content",":items":{"callout__0":{"id":"text-93f99dd1af","additionalClasses":"callout callout--general","text":"\u003Cp\u003E\u003Cb\u003ERLHF의 정의\u003C/b\u003E\u003C/p\u003E\r\n\u003Cp\u003ERLHF는 AI 시스템이 사람의 피드백을 바탕으로 자신의 행동을 개선하도록 학습하는 \u003Ca href=\"https://www.snowflake.com/ko/artificial-intelligence/machine-learning/\"\u003E머신러닝\u003C/a\u003E 훈련 방법입니다. 사람은 모델 출력을 비교하거나 평가하며 이 피드백은 보상 모델을 훈련하는 데 사용됩니다. 이후 AI는 해당 보상 모델에서 더 높은 점수를 받는 응답을 생성하도록 최적화됩니다.\u003C/p\u003E\r\n","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-size-regular text-color-text-05"},"text__0":{"id":"text-abdb77fa0c","text":"\u003Cp\u003E언어 모델은 고객 지원 답변, 기업 정책 요약, SQL 쿼리 설명 등 특정 유형의 답변이 일반적으로 어떤 구조를 갖는지는 알고 있을 수 있지만 결과물을 실제로 활용할 수 있게 만드는 데 필요한 판단력은 부족할 수 있습니다. 이러한 판단력 부족은 비즈니스에 심각한 결과를 초래할 수 있습니다. 마케팅 문구를 작성하거나 계약서를 요약하고 분석가를 지원하거나 직원의 질문에 답하는 모델은 어조, 정확성, 안전성, 정책상 허용 범위에 따라 출력의 신뢰성에 영향을 미치는 환경에서 작동합니다.\u003C/p\u003E\r\n\u003Cp\u003E인간 피드백 기반 강화학습(RLHF)은 이러한 판단력 부족을 해결하는 가장 중요한 기법 중 하나로 자리 잡았습니다. RLHF는 다음 토큰 예측이나 지도학습 예시에만 의존하는 대신 선호 신호를 도입합니다. 즉, 사람이 모델 출력을 비교하면 해당 비교 데이터를 사용해 보상 모델을 훈련하고 언어 모델은 학습된 인간 선호 모델에서 더 높은 점수를 받는 응답을 생성하도록 최적화됩니다.\u003C/p\u003E\r\n\u003Cp\u003ERLHF는 거버넌스, 평가, 모니터링을 대체할 수는 없지만 모델 개발자가 정적인 규칙 집합으로 표현하기 어려운 특성을 학습시킬 수 있도록 합니다. 여기에는 무해성, 관련성, 사용자 의도를 따르는 능력이 포함됩니다.\u003C/p\u003E\r\n","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-color-text-05"},"title_what-is-rlhf":{"id":"title-v2-8fe82ef0b7","additionalClasses":"anchor-title anchor-title--what-is-rlhf","type":"heading2","lines":["RLHF란?"],":type":"snowflake-site/components/title-v2"},"text_what-is-rlhf_0":{"id":"text-1b321becea","text":"\u003Cp\u003ERLHF는 언어 모델을 인간의 선호에 맞게 정렬하는 기법입니다. 일반적인 워크플로우에서 팀은 사전 학습된 베이스 모델로 시작해 원하는 행동의 예시를 기반으로 모델을 미세 조정합니다. 그런 다음 인간의 비교 데이터를 사용해 보상 모델을 훈련하고 보상 모델의 점수를 최대화하는 출력을 생성하도록 언어 모델을 최적화합니다.\u003C/p\u003E\r\n\u003Cp\u003ERLHF는 원하는 행동의 예시를 모델에 제시하는 지도 미세 조정을 확장한 방식입니다. RLHF는 선호 신호를 추가하여 기술적으로 여러 출력이 가능할 때 사람이 어떤 응답을 더 낫다고 판단하는지 모델이 학습하도록 합니다. 예를 들어 두 출력 모두 복리후생 정책에 관한 질문에 답할 수 있지만 한 응답은 정확한 정책 적용 범위를 안내하고 법적 내용을 과장하지 않으며 직원이 자격 요건을 어디에서 확인해야 하는지 알려주는 반면 다른 응답은 그렇지 않을 수 있습니다. 이러한 선호는 단순히 사실적 내용에 관한 것이 아니라 유용한 답변이 어떤 역할을 해야 하는지에 대한 판단을 반영합니다.\u003C/p\u003E\r\n\u003Cp\u003EOpenAI가 2022년에 발표한 InstructGPT 연구는 현대 언어 모델에서 RLHF를 설명할 때 가장 널리 인용되는 기준점입니다. 연구진은 인간 피드백을 활용한 미세 조정을 통해 모델을 사용자 의도에 더욱 부합하게 만들고 사실과 다르거나 유해하거나 유용하지 않은 출력을 줄일 수 있음을 보여주었습니다.\u003C/p\u003E\r\n\u003Cp\u003E언어 모델을 위한 RLHF는 표준 \u003Ca href=\"https://www.snowflake.com/ko/artificial-intelligence/machine-learning/reinforcement-learning/\"\u003E강화학습\u003C/a\u003E과 중요한 차이가 있습니다. 게임이나 시뮬레이션에서는 환경이 직접적인 보상을 제공하는 경우가 많습니다. 즉, 에이전트가 승리하거나 패배하고 목표에 도달하거나 점수를 획득하는 방식입니다. 언어 모델을 위한 RLHF에서는 인간의 판단이 환경의 역할을 하며 보상은 정답 기준 점수가 아니라 비교 데이터로 학습한 인간 선호의 근사치입니다.\u003C/p\u003E\r\n\u003Cp\u003ERLHF는 강력하지만 완벽하지는 않습니다. 보상 모델은 인간이 원하는 바를 절대적인 기준으로 이해하지 못합니다. 보상 모델은 주어진 선호도 데이터에서 패턴을 학습할 수 있을 뿐이며 해당 데이터의 품질, 다양성, 일관성이 최종 모델이 학습하는 행동을 결정합니다.\u003C/p\u003E\r\n","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-color-text-05"},"title_how-the-rlhf-pipeline-works":{"id":"title-v2-f429554cdc","additionalClasses":"anchor-title anchor-title--how-the-rlhf-pipeline-works","type":"heading2","lines":["RLHF 파이프라인의 작동 방식"],":type":"snowflake-site/components/title-v2"},"text_how-the-rlhf-pipeline-works_0":{"id":"text-6066d0a917","text":"\u003Cp\u003ERLHF 파이프라인은 일반적으로 지도 미세 조정, 보상 모델 훈련, 강화학습 정책 최적화의 세 단계로 구성됩니다. 각 단계에서는 서로 다른 유형의 신호를 추가하여 모델이 일반적인 언어 능력에서 인간의 의도를 더 잘 반영하는 행동으로 발전하도록 합니다.\u003C/p\u003E\n\u003Ch3\u003E1단계: 지도 미세 조정\u003C/h3\u003E\n\u003Cp\u003E파이프라인은 일반적으로 사전 학습된 베이스 모델에서 시작합니다. 이 베이스 모델은 대규모 훈련 코퍼스에서 폭넓은 언어 패턴을 학습했지만 특정 맥락에서 지시를 따르는 어시스턴트로 행동하는 방법까지 반드시 학습한 것은 아닙니다.\u003C/p\u003E\n\u003Cp\u003E지도 미세 조정(SFT)은 프롬프트와 사람이 작성한 고품질 응답으로 구성된 시연 데이터를 모델에 제공합니다. 이러한 예시는 모델이 바람직한 행동의 형태를 학습하도록 합니다. 이 단계에서는 초기 지시 수행 모델을 만들지만 선호도 문제까지 해결하지는 못합니다. 시연 데이터는 좋은 출력이 어떤 모습인지 보여주지만 여러 응답이 모두 허용되는 상황에서 어떤 답변이 더 유용하고 안전하며 사용자 의도에 더 부합하는지 직접 선택하는 방법은 가르치지 않기 때문입니다.\u003C/p\u003E\n\u003Ch3\u003E2단계: 보상 모델 학습\u003C/h3\u003E\n\u003Cp\u003E두 번째 단계에서는 비교 데이터를 도입합니다. 인간 평가자는 동일한 프롬프트에 대한 여러 모델 출력을 검토한 뒤 가장 좋은 답변부터 가장 좋지 않은 답변까지 순위를 매기거나 두 응답 중 선호하는 답변을 선택합니다. 이러한 순위 데이터는 사람이 어떤 출력을 선호할지 예측하는 보상 모델의 훈련 데이터가 됩니다.\u003C/p\u003E\n\u003Cp\u003E이 과정은 RLHF의 핵심입니다. 모든 이상적인 응답을 사람에게 직접 작성하도록 하는 대신 파이프라인은 후보 응답 중 어떤 답변을 더 선호하는지 판단하도록 합니다. 이를 통해 어떤 답변이 더 직접적인지, 불확실성을 더 잘 다루는지, 지나치게 회피적인지, 근거 없는 주장을 포함하는지, 기대하는 어조에 더 잘 부합하는지와 같은 미묘한 판단을 모델이 학습할 수 있습니다.\u003C/p\u003E\n\u003Cp\u003E보상 모델은 일반적으로 프롬프트와 응답을 입력으로 받아 점수를 반환하도록 수정된 언어 모델입니다. 이 점수는 다음 훈련 단계에서 인간 선호를 대신하는 지표로 사용됩니다.\u003C/p\u003E","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-color-text-05"},"callout_how-the-rlhf-pipeline-works_0":{"id":"text-06c61ec79f","additionalClasses":"callout callout--warning","text":"\u003Cp\u003E\u003Cstrong\u003E자주 하는 실수\u003C/strong\u003E\u003C/p\u003E\n\u003Cp\u003E보상 모델을 객관적인 품질 척도로 간주해서는 안 됩니다. 보상 모델은 인간 선호도 데이터에서 패턴을 학습할 뿐이므로 편향되거나 일관성이 없거나 품질이 낮은 피드백은 언어 모델이 잘못된 행동을 최적화하도록 만들 수 있습니다.\u003C/p\u003E","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-size-regular text-color-text-05"},"text_how-the-rlhf-pipeline-works_1":{"id":"text-2ece535e38","text":"\u003Ch3\u003E3단계: RL 정책 최적화\u003C/h3\u003E\n\u003Cp\u003E세 번째 단계에서는 SFT 모델이 최적화 대상 정책이 됩니다. 모델이 응답을 생성하면 보상 모델이 점수를 매기고 근위 정책 최적화(PPO)와 같은 RL 알고리즘이 언어 모델을 업데이트하여 더 높은 보상 점수를 받는 출력을 생성하도록 합니다.\u003C/p\u003E\n\u003Cp\u003E이 단계에서는 시스템을 신중하게 제약하지 않으면 불안정해질 수 있습니다. 모델이 보상 모델의 점수를 지나치게 공격적으로 최적화하면 실제로 더 유용해지지 않고도 높은 점수를 받는 출력을 찾아낼 수 있습니다. 이를 보상 해킹이라고 합니다. 모델이 근본적인 행동을 개선하는 대신 보상 모델의 약점을 악용하는 현상입니다.\u003C/p\u003E\n\u003Cp\u003E이러한 위험을 줄이기 위해 RLHF 파이프라인에는 쿨백-라이블러(KL) 발산 페널티가 포함되는 경우가 많습니다. 이 페널티는 최적화된 모델이 지도 미세 조정 모델에서 지나치게 벗어나지 않도록 억제합니다. 실질적으로 KL 페널티는 모델이 보상을 추구하는 과정에서 과도하게 변하지 않도록 하여 SFT 단계에서 학습한 언어 품질과 지시 수행 행동을 유지하는 데 도움을 줍니다.\u003C/p\u003E\n\u003Cp\u003E많은 RLHF 시스템은 반복적으로 실행됩니다. 새로운 모델 출력에서 새로운 실패 유형이 드러나면 인간 평가자가 추가 선호도 데이터를 생성하고 보상 모델을 업데이트한 뒤 정책을 다시 최적화합니다. 따라서 이 파이프라인은 일회성 훈련 절차라기보다 모델 행동을 형성하는 피드백 루프에 가깝습니다.\u003C/p\u003E","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-color-text-05"},"title_challenges-and-alternatives-to-rlhf":{"id":"title-v2-92740d4d21","additionalClasses":"anchor-title anchor-title--challenges-and-alternatives-to-rlhf","type":"heading2","lines":["RLHF의 과제와 대안"],":type":"snowflake-site/components/title-v2"},"text_challenges-and-alternatives-to-rlhf_0":{"id":"text-0fabbacf01","text":"\u003Cp\u003ERLHF는 모델 개발자가 인간의 선호를 학습시킬 수 있는 실용적인 방법을 제공하면서 영향력 있는 기법으로 자리 잡았습니다. 그러나 이 방식에는 고유한 운영 및 거버넌스 문제가 따릅니다. 선호 신호의 품질은 비교 데이터의 품질에 좌우되고 보상 모델은 사람들이 실제로 원하는 행동에서 벗어날 수 있으며 RL 최적화를 안정적으로 실행하기도 어렵습니다.\u003C/p\u003E\n\u003Ch3\u003E선호 데이터 품질\u003C/h3\u003E\n\u003Cp\u003E선호도 데이터는 단순해 보이지만 어떤 사람이 선호를 제공하고 어떤 기준을 적용할지 정의해야 하는 단계부터 복잡해집니다. 평가자들은 특정 답변이 더 유용한지, 더 신중한지 또는 특정 맥락에 더 적절한지를 두고 서로 다른 판단을 내릴 수 있습니다. 특히 프롬프트에 어조, 안전성, 의료 조언, 재무 의사결정 또는 기타 고위험 주제가 포함된 경우 문화적 전제도 레이블에 영향을 미칠 수 있습니다.\u003C/p\u003E\n\u003Cp\u003E엔터프라이즈 AI 시스템에서는 고려해야 할 요소가 하나 더 늘어납니다. 사내 HR 지원, 규제 산업 워크플로우 또는 고객 대상 서비스에 사용되는 모델에는 일반 평가자뿐 아니라 해당 분야를 이해하는 사람이 제공한 선호도 데이터가 필요할 수 있습니다. 실무 전문가는 대규모 일반 레이블링 인력처럼 쉽게 확장하기 어렵기 때문에 비용과 조정 부담도 커집니다.\u003C/p\u003E","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-color-text-05"},"callout_challenges-and-alternatives-to-rlhf_0":{"id":"text-f9b57ba88d","additionalClasses":"callout callout--tip","text":"\u003Cp\u003E\u003Cstrong\u003E빠른 팁\u003C/strong\u003E\u003C/p\u003E\n\u003Cp\u003ERLHF의 성능을 높이려면 도메인에 특화된 피드백이 중요합니다. 실무 전문가가 제공하는 선호도 데이터는 대량의 일반적인 인간 평가보다 더 가치 있는 경우가 많습니다.\u003C/p\u003E","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-size-regular text-color-text-05"},"text_challenges-and-alternatives-to-rlhf_1":{"id":"text-8d6040401c","text":"\u003Ch3\u003E보상 모델의 한계\u003C/h3\u003E\r\n\u003Cp\u003E보상 모델은 학습된 근사치일 뿐 권위 있는 판단 기준은 아닙니다. 최적화된 정책이 보상 모델이 훈련 중에 접한 예시와 다른 출력을 생성할수록 보상 모델의 신뢰도는 낮아질 수 있습니다. 이러한 분포 변화로 인해 보상 모델은 자체 학습 신호가 충분하지 않은 영역의 응답까지 평가해야 할 수 있습니다.\u003C/p\u003E\r\n\u003Cp\u003E보상 해킹도 또 다른 한계입니다. 모델이 보상 모델이 지나치게 높게 평가하는 패턴을 학습하면 점수상으로는 더 선호되는 것처럼 보이지만 실제로는 사용자에게 더 나은 응답이 아닌 결과를 생성할 수 있습니다. 예를 들어 자신감 있어 보이는 설명을 추가하거나 지나치게 유보적인 표현을 사용하거나 평가자가 이전에 높은 점수를 준 피상적인 패턴을 따르도록 학습할 수 있습니다.\u003C/p\u003E\r\n\u003Ch3\u003E훈련 불안정성\u003C/h3\u003E\r\n\u003Cp\u003ERL 단계는 조정하기도 어려울 수 있습니다. \u003Ca rel=\"noopener noreferrer\" target=\"_blank\" href=\"https://huggingface.co/blog/NormalUhr/rlhf-pipeline\"\u003EPPO 기반 RLHF 파이프라인\u003C/a\u003E에는 정책 모델, 보상 모델, 참조 모델, KL 제약 조건, 샘플링 전략, 학습률, 배치 크기와 기타 하이퍼파라미터 등 여러 구성요소가 포함됩니다. 기존 RLHF 파이프라인은 여러 언어 모델을 훈련하고 훈련 중 정책에서 샘플링하며 상당한 컴퓨팅 비용을 발생시킬 수 있기 때문에 지도 학습보다 복잡합니다.\u003C/p\u003E\r\n\u003Cp\u003E엔터프라이즈 팀에서는 정렬 작업을 더 광범위한 모델 수명 주기에 통합해야 하므로 이러한 복잡성이 큰 부담이 될 수 있습니다. 선호도 데이터에는 거버넌스가 필요합니다. 훈련 작업은 재현할 수 있어야 합니다. 모델 버전에는 계보가 필요합니다. 평가를 통해 정렬된 모델이 해당 워크로드에 중요한 행동을 실제로 개선했는지 확인해야 합니다.\u003C/p\u003E\r\n\u003Ch3\u003E직접 선호 최적화\u003C/h3\u003E\r\n\u003Cp\u003E\u003Ca rel=\"noopener noreferrer\" target=\"_blank\" href=\"https://arxiv.org/abs/2305.18290\"\u003E직접 선호 최적화\u003C/a\u003E(DPO)는 RLHF의 가장 유용한 대안 중 하나입니다. 별도의 보상 모델을 훈련한 뒤 강화학습을 실행하는 대신 DPO는 선호 응답 쌍을 사용해 언어 모델을 직접 최적화합니다. DPO를 사용하면 명시적인 보상 모델링이나 RL 없이 더 단순한 분류 방식의 훈련 프로세스를 통해 동일한 제약 조건이 적용된 보상 목적함수를 최적화할 수 있습니다.\u003C/p\u003E\r\n\u003Cp\u003E이 단순성이 바로 DPO의 장점입니다. DPO는 별도의 보상 모델과 PPO 훈련 루프를 제거하여 RLHF의 운영 복잡성을 줄일 수 있으며 선호도 조정을 더 안정적이고 쉽게 구현할 수 있도록 합니다. 고품질 선호도 데이터의 필요성을 없애는 것은 아니지만 해당 데이터를 사용하는 방식은 달라집니다.\u003C/p\u003E\r\n\u003Ch3\u003EConstitutional AI와 RLAIF\u003C/h3\u003E\r\n\u003Cp\u003EConstitutional AI(CAI)와 AI 피드백 기반 강화학습(RLAIF)은 또 다른 확장성 문제를 해결합니다. 인간 피드백에는 많은 비용이 들며 특히 유해하거나 모호하거나 예외적인 프롬프트를 광범위하게 평가해야 할 때 부담이 커집니다. \u003Ca rel=\"noopener noreferrer\" target=\"_blank\" href=\"https://constitutional.ai/\"\u003EConstitutional AI\u003C/a\u003E는 Anthropic이 개발했으며 문서화된 일련의 원칙을 사용해 AI의 자기 비판과 수정을 유도함으로써 유해한 출력에 대한 인간 레이블 의존도를 줄입니다.\u003C/p\u003E\r\n\u003Cp\u003ERLAIF는 인간 평가자를 대신하거나 인간 평가자와 함께 LLM 평가자를 사용해 피드백을 제공하는 방식으로 이 개념을 확장합니다. 이를 통해 레이블링 비용을 낮추고 규모를 확대할 수 있지만 핵심적인 정렬 문제도 발생합니다. AI가 생성한 피드백이 인간 선호도 데이터를 대체한다면 어떤 주체의 가치관, 정책, 실패 모드가 강화되는지 팀이 파악해야 합니다.\u003C/p\u003E\r\n","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-color-text-05"},"title_rlhf-and-dpo-on-snowflake":{"id":"title-v2-e0c7f311f4","additionalClasses":"anchor-title anchor-title--rlhf-and-dpo-on-snowflake","type":"heading2","lines":["Snowflake에서의 RLHF와 DPO"],":type":"snowflake-site/components/title-v2"},"text_rlhf-and-dpo-on-snowflake_0":{"id":"text-06074fd98f","text":"\u003Cp\u003E엔터프라이즈 팀에서 RLHF와 DPO는 단순한 모델 학습 방법이 아닙니다. 데이터 관리 과제도 발생시킵니다. 선호 응답 쌍, 평가자의 결정, 프롬프트 버전, 보상 모델 출력, 훈련 실행, 정렬된 모델 버전은 모두 거버넌스와 추적, 검토가 필요한 아티팩트가 됩니다.\u003C/p\u003E\r\n\u003Cp\u003E\u003Ca href=\"https://www.snowflake.com/ko/product/features/end-to-end-ml-workflows/\"\u003ESnowflake ML\u003C/a\u003E은 거버넌스가 적용된 데이터를 기반으로 데이터 준비, 모델 훈련, 실험, 파이프라인, 배포, 모니터링을 포함한 엔드투엔드 ML 워크플로우를 지원하는 기능을 제공합니다. 선호도 데이터 자체가 민감하거나 규제 대상일 수 있으므로 이는 RLHF와 DPO에 유용합니다. 평가자의 순위 데이터에는 프롬프트, 생성된 응답, 검토자 메모, 정책 결정, 바람직하지 않은 모델 행동의 예시가 포함될 수 있습니다. 이러한 데이터를 Snowflake에서 관리하면 액세스 제어, 감사 가능성, 계보 등 다른 엔터프라이즈 데이터 자산에 사용하는 것과 동일한 거버넌스 방식을 적용할 수 있습니다.\u003C/p\u003E\r\n\u003Cp\u003E\u003Ca href=\"https://docs.snowflake.com/ko/developer-guide/snowflake-ml/container-runtime-ml\"\u003ESnowflake의 Container Runtime for ML\u003C/a\u003E은 CPU 또는 GPU 컴퓨팅 풀을 사용해 모델 훈련, 하이퍼파라미터 튜닝, 배치 추론, 파인튜닝을 비롯한 사용자 지정 ML 워크로드를 지원할 수 있습니다. RLHF 또는 DPO 워크플로우에서는 거버넌스가 적용된 데이터와 훈련 프로세스를 긴밀하게 연결한 상태로 사용자 지정 훈련 코드와 오픈 소스 ML 프레임워크를 실행할 수 있습니다.\u003C/p\u003E\r\n\u003Cp\u003E\u003Ca href=\"https://docs.snowflake.com/en/developer-guide/snowflake-ml/model-registry/overview\"\u003ESnowflake Model Registry\u003C/a\u003E를 사용하면 RLHF와 DPO에서 생성되는 모델 아티팩트를 관리할 수 있습니다. 완전한 정렬 워크플로우에는 원본 베이스 모델, 지도 미세 조정 모델, 하나 이상의 보상 모델, DPO로 튜닝한 변형 모델, 배포 대상으로 선택한 최종 정책 모델이 포함될 수 있습니다. Snowflake Model Registry는 모델과 메타데이터를 안전하게 관리하도록 설계되었습니다.\u003C/p\u003E\r\n\u003Cp\u003E이러한 맥락에서는 계보가 특히 중요합니다. Snowflake ML Lineage는 소스 테이블, 피처 뷰, 데이터 세트, 등록된 모델, 배포된 모델 서비스 간의 관계를 추적합니다. 이를 통해 훈련 데이터의 출처와 특정 모델을 사용하는 서비스 등을 파악할 수 있습니다. 이러한 가시성을 확보하면 정렬된 모델의 행동을 형성한 선호도 데이터, 보상 모델, 훈련 실행까지 역추적할 수 있습니다.\u003C/p\u003E\r\n","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-color-text-05"},"title_enterprise-model-training-depends-on-governed-feedback-loops":{"id":"title-v2-e2cfde28ee","additionalClasses":"anchor-title anchor-title--enterprise-model-training-depends-on-governed-feedback-loops","type":"heading2","lines":["엔터프라이즈 모델 훈련을 좌우하는 거버넌스 기반 피드백 루프"],":type":"snowflake-site/components/title-v2"},"text_enterprise-model-training-depends-on-governed-feedback-loops_0":{"id":"text-184d02cf6b","text":"\u003Cp\u003ERLHF는 규칙으로 표현하기 어려운 선호를 모델 개발자가 학습시킬 수 있는 방법을 제공함으로써 \u003Ca href=\"https://www.snowflake.com/en/fundamentals/generative-ai/\"\u003E생성형 AI\u003C/a\u003E의 발전 방향을 바꾸었습니다. 언어 모델이 유창한 텍스트를 생성하는 시스템에서 나아가 지시를 따르고 더 유용하게 응답하며 대화형 행동에 대한 인간의 기대를 더 잘 반영하는 시스템으로 발전하는 데 기여했습니다.\u003C/p\u003E\r\n\u003Cp\u003E그러나 RLHF는 정렬이 단일 훈련 단계로 끝나지 않는 이유도 보여줍니다. 선호도 레이블에는 사람의 판단이 반영되고 보상 모델은 그 판단을 근사합니다. 정책 최적화는 모델이 해당 근사치에 가까워지도록 합니다. 각 계층은 모델을 개선할 수 있지만 동시에 \u003Ca href=\"https://www.snowflake.com/en/artificial-intelligence/ai-governance/model-governance/\"\u003E거버넌스\u003C/a\u003E가 필요한 근거 자료도 생성합니다. 누가 데이터에 레이블을 지정했는지, 어떤 기준을 적용했는지, 어떤 모델 버전을 훈련했는지, 보상 모델이 어떻게 작동했는지, 최종 정책이 평가에서 실제로 개선되었는지를 관리해야 합니다.\u003C/p\u003E\r\n\u003Cp\u003E엔터프라이즈 환경에서 정렬된 모델은 RLHF 파이프라인의 결과물 중 하나일 뿐입니다. 또 다른 결과물은 인간의 선호가 모델 행동으로 전환된 과정을 보여주는 기록입니다. 모델이 프로덕션으로 전환될 때 조직이 해당 과정을 검사하고 재현하며 관리할 수 있는지도 중요합니다.\u003C/p\u003E\r\n","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-color-text-05"},"callout_enterprise-model-training-depends-on-governed-feedback-loops_0":{"id":"text-08435a5b3d","additionalClasses":"callout callout--general","text":"\u003Cp\u003E\u003Cstrong\u003E핵심 요약\u003C/strong\u003E\u003C/p\u003E\n\u003Cp\u003ERLHF는 인간의 선호를 학습하여 언어 모델이 더 유용하고 신뢰할 수 있으며 지시를 잘 따르는 응답을 생성하도록 지원합니다. 엔터프라이즈 환경에서 성공하려면 고품질 피드백을 수집하는 데 그치지 않고 이러한 선호를 프로덕션 AI 행동으로 전환하는 데이터, 모델, 훈련 프로세스도 체계적으로 관리해야 합니다.\u003C/p\u003E","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-size-regular text-color-text-05"}},":itemsOrder":["callout__0","text__0","title_what-is-rlhf","text_what-is-rlhf_0","title_how-the-rlhf-pipeline-works","text_how-the-rlhf-pipeline-works_0","callout_how-the-rlhf-pipeline-works_0","text_how-the-rlhf-pipeline-works_1","title_challenges-and-alternatives-to-rlhf","text_challenges-and-alternatives-to-rlhf_0","callout_challenges-and-alternatives-to-rlhf_0","text_challenges-and-alternatives-to-rlhf_1","title_rlhf-and-dpo-on-snowflake","text_rlhf-and-dpo-on-snowflake_0","title_enterprise-model-training-depends-on-governed-feedback-loops","text_enterprise-model-training-depends-on-governed-feedback-loops_0","callout_enterprise-model-training-depends-on-governed-feedback-loops_0"],"appliedCssClassNames":"snowflake-responsive-container-inner-padding-medium",":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container"},"flexible_column_content_container_2":{"additionalClasses":"hub-sidebar","layout":"SIMPLE","id":"hub-body-aside",":items":{"container":{"additionalClasses":"sticky-sidebar","layout":"RESPONSIVE_GRID","columnCount":12,"gridClassNames":"aem-Grid aem-Grid--12 aem-Grid--default--12","columnClassNames":{"text_943981956_copy_":"aem-GridColumn aem-GridColumn--default--12","text_copy":"aem-GridColumn aem-GridColumn--default--12"},"id":"container-779371ee93",":items":{"text_943981956_copy_":{"id":"text-386828f4ad","additionalClasses":"eyebrow-text","text":"\u003Cp\u003E이 가이드의 주요 내용\u003C/p\u003E\n","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-size-regular"},"text_copy":{"id":"text-0389cf1bf0","additionalClasses":"page-toc","text":"\u003Cul\u003E\u003Cli data-anchor=\"what-is-rlhf\"\u003ERLHF란?\u003C/li\u003E\u003Cli data-anchor=\"how-the-rlhf-pipeline-works\"\u003ERLHF 파이프라인의 작동 방식\u003C/li\u003E\u003Cli data-anchor=\"challenges-and-alternatives-to-rlhf\"\u003ERLHF의 과제와 대안\u003C/li\u003E\u003Cli data-anchor=\"rlhf-and-dpo-on-snowflake\"\u003ESnowflake에서의 RLHF와 DPO\u003C/li\u003E\u003Cli data-anchor=\"enterprise-model-training-depends-on-governed-feedback-loops\"\u003E엔터프라이즈 모델 훈련을 좌우하는 거버넌스 기반 피드백 루프\u003C/li\u003E\u003C/ul\u003E","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-size-small text-color-text-05"}},":itemsOrder":["text_943981956_copy_","text_copy"],"appliedCssClassNames":"snowflake-responsive-container-inner-padding-medium",":type":"snowflake-site/components/container"}},":itemsOrder":["container"],"appliedCssClassNames":"snowflake-responsive-container-inner-padding-small",":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container"},":type":"snowflake-site/components/flexible-column-container","isBlogPage":false,"isActiveTOC":false},"flexible_column_cont_1786318617":{"id":"flexible-column-container-0117324ced","propertiesId":"hub-faq","type":"2-column-40-60","alignColumns":"top","containerMaxWidth":"extra-large","topPadding":"large","bottomPadding":"large","spaceBetween":"small","reverseOnMobile":false,"carouselOnMobile":false,"backgroundImageOption":"none","flexible_column_content_container_1":{"layout":"SIMPLE","id":"hub-faq-intro",":items":{"title_v2_copy":{"id":"title-v2-a697dc3ef2","additionalClasses":"hub-faq__headline","type":"heading2","lines":["자주 묻는 질문"],":type":"snowflake-site/components/title-v2","appliedCssClassNames":"left-alignment"},"text_copy":{"id":"text-cb673ced47","additionalClasses":"hub-faq__subheadline","text":"\u003Cp\u003ERLHF 관련 자주 묻는 질문에 Snowflake 전문가가 답변합니다.\u003C/p\u003E\n","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-color-text-05"}},":itemsOrder":["title_v2_copy","text_copy"],"appliedCssClassNames":"snowflake-responsive-container-inner-padding-extra-small",":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container"},"flexible_column_content_container_2":{"layout":"SIMPLE","id":"hub-faq-accordions",":items":{"simple_snowflake_acc":{"id":"simple-snowflake-accordion-1c7f903c5e","additionalClasses":"seo-hub__faqs","showDivider":false,"accordionItemsList":[{"title":"언어 모델에서 RLHF가 중요한 이유는 무엇인가요?","richText":"\u003Cp\u003ERLHF는 언어 모델이 유창한 텍스트를 생성하는 수준을 넘어설 수 있도록 지원합니다. 개발자는 RLHF를 통해 유용성, 어조, 관련성, 무해성, 사용자 의도를 따르는 능력처럼 고정된 규칙으로 정의하기 어려운 특성을 모델이 학습하도록 할 수 있습니다.\u003C/p\u003E"},{"title":"RLHF와 지도 미세 조정은 같은 방식인가요?","richText":"\u003Cp\u003E지도 미세 조정은 좋은 응답의 예시를 보여주는 방식으로 모델을 학습시킵니다. RLHF는 여기에 여러 답변이 가능할 때 인간이 어떤 응답을 더 선호하는지를 학습하는 단계를 추가합니다. 이를 통해 모델은 예시만으로는 전달하기 어려운 더욱 미묘한 행동을 학습할 수 있습니다.\u003C/p\u003E"},{"title":"RLHF에서 보상 모델이란 무엇인가요?","richText":"\u003Cp\u003E보상 모델은 인간이 어떤 출력을 선호할 가능성이 높은지 예측하도록 훈련된 모델입니다. 프롬프트와 응답을 입력으로 받아 점수를 반환합니다. RLHF 과정에서 언어 모델은 보상 모델로부터 더 높은 점수를 받는 응답을 생성하도록 최적화됩니다.\u003C/p\u003E"},{"title":"RLHF의 주요 과제는 무엇인가요?","richText":"\u003Cp\u003E주요 과제로는 고품질 선호도 데이터 수집, 피드백의 일관성 유지, 인간 평가의 편향 방지, 보상 해킹 방지, 강화학습 최적화의 복잡성 관리가 있습니다. 엔터프라이즈 환경에서는 선호도 데이터, 모델 버전, 훈련 실행, 평가 결과에도 거버넌스를 적용해야 합니다.\u003C/p\u003E"},{"title":"보상 해킹이란 무엇인가요?","richText":"\u003Cp\u003E보상 해킹은 모델이 실제로 행동을 개선하는 대신 보상 모델의 약점을 이용하는 방법을 학습할 때 발생합니다. 예를 들어 보상 점수상으로는 우수해 보이지만 실제로는 사용자에게 더 유용하거나 정확하거나 적절하지 않은 응답을 생성할 수 있습니다.\u003C/p\u003E"}],":type":"snowflake-site/components/simple-snowflake-accordion"}},":itemsOrder":["simple_snowflake_acc"],":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container"},":type":"snowflake-site/components/flexible-column-container","isBlogPage":false,"isActiveTOC":false,"appliedCssClassNames":"snowflake-flexible-column-container-gray-10-bg"},"flexible_column_cont_1467213961":{"id":"flexible-column-container-0746a7ef58","propertiesId":"hub-explore-resources-header","type":"1-column","alignColumns":"top","containerMaxWidth":"extra-large","topPadding":"large","bottomPadding":"none","spaceBetween":"small","reverseOnMobile":false,"carouselOnMobile":false,"backgroundImageOption":"none","flexible_column_content_container_1":{"layout":"SIMPLE","id":"container-74c88f23f2",":items":{"title_v2":{"id":"title-v2-e6a7827226","additionalClasses":"hub-explore-resources-header__headline","type":"heading2","lines":["AI 리소스 살펴보기"],":type":"snowflake-site/components/title-v2","appliedCssClassNames":"left-alignment"}},":itemsOrder":["title_v2"],":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container"},":type":"snowflake-site/components/flexible-column-container","isBlogPage":false,"isActiveTOC":false,"appliedCssClassNames":"snowflake-flexible-column-container-gray-10-bg"},"flexible_column_cont_912630531":{"id":"flexible-column-container-6b47b23853","propertiesId":"hub-explore-resources-grid","type":"1-column","alignColumns":"top","containerMaxWidth":"extra-large","topPadding":"small","bottomPadding":"large","spaceBetween":"small","reverseOnMobile":false,"carouselOnMobile":false,"backgroundImageOption":"none","flexible_column_content_container_1":{"layout":"SIMPLE","id":"hub-explore-resources-grid-inner",":items":{"resource_chip_0":{"id":"content-chip-c8934cd4a0","tagText":"가이드","tagColor":"#AAE5EA","cta":{"id":"cta","showOutboundIcon":false,"buttonLink":{"valid":true,"url":"https://www.snowflake.com/en/developers/guides/intro-to-machine-learning-with-snowpark-ml-for-python/"},"linkTargetContentType":"GENERIC","linkType":"SNOWFLAKE_EXTERNAL",":type":"snowflake-site/components/button","text":"더 보기"},"headline":{"id":"title","type":"heading5","lines":["Snowflake에서 ML 개발 시작하기"],":type":"snowflake-site/components/title-v2"},"appliedCssClassNames":"snowflake-content-chip-white-bg",":type":"snowflake-site/components/content-chip"},"resource_chip_1":{"id":"content-chip-1a78167415","tagText":"가이드","tagColor":"#AAE5EA","cta":{"id":"cta","showOutboundIcon":false,"buttonLink":{"valid":true,"url":"https://www.snowflake.com/en/developers/guides/snowpark-container-services-model-serving-guide/"},"linkTargetContentType":"GENERIC","linkType":"SNOWFLAKE_EXTERNAL",":type":"snowflake-site/components/button","text":"더 보기"},"headline":{"id":"title","type":"heading5","lines":["Snowpark Container Services의 모델 서빙"],":type":"snowflake-site/components/title-v2"},"appliedCssClassNames":"snowflake-content-chip-white-bg",":type":"snowflake-site/components/content-chip"},"resource_chip_2":{"id":"content-chip-c6805a22f2","tagText":"블로그","tagColor":"#29B5E8","cta":{"id":"cta","showOutboundIcon":false,"buttonLink":{"valid":true,"url":"https://www.snowflake.com/en/blog/engineering/scalable-model-serving-architecture/"},"linkTargetContentType":"GENERIC","linkType":"SNOWFLAKE_EXTERNAL",":type":"snowflake-site/components/button","text":"더 보기"},"headline":{"id":"title","type":"heading5","lines":["확장 가능한 모델 서빙: 아키텍처 개요"],":type":"snowflake-site/components/title-v2"},"appliedCssClassNames":"snowflake-content-chip-white-bg",":type":"snowflake-site/components/content-chip"},"resource_chip_3":{"id":"content-chip-864671a005","tagText":"블로그","tagColor":"#29B5E8","cta":{"id":"cta","showOutboundIcon":false,"buttonLink":{"valid":true,"url":"https://www.snowflake.com/en/blog/engineering/snowflake-ml-runtime-vs-databricks-tpcx-ai/"},"linkTargetContentType":"GENERIC","linkType":"SNOWFLAKE_EXTERNAL",":type":"snowflake-site/components/button","text":"더 보기"},"headline":{"id":"title","type":"heading5","lines":["Snowflake ML로 분산 훈련 가속화"],":type":"snowflake-site/components/title-v2"},"appliedCssClassNames":"snowflake-content-chip-white-bg",":type":"snowflake-site/components/content-chip"}},":itemsOrder":["resource_chip_0","resource_chip_1","resource_chip_2","resource_chip_3"],":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container"},":type":"snowflake-site/components/flexible-column-container","isBlogPage":false,"isActiveTOC":false,"appliedCssClassNames":"snowflake-flexible-column-container-gray-10-bg"},"flexible_column_cont_1158003461":{"id":"flexible-column-container-08207f32f5","propertiesId":"hub-explore-topics-header","type":"1-column","alignColumns":"top","containerMaxWidth":"extra-large","topPadding":"large","bottomPadding":"none","spaceBetween":"small","reverseOnMobile":false,"carouselOnMobile":false,"backgroundImageOption":"none","flexible_column_content_container_1":{"layout":"SIMPLE","id":"container-b4d6e59b90",":items":{"title_v2_copy_copy":{"id":"title-v2-c7d860a356","additionalClasses":"hub-explore-topics-header__headline","type":"heading2","lines":["AI 주제 살펴보기"],":type":"snowflake-site/components/title-v2","appliedCssClassNames":"left-alignment"},"text_copy_copy":{"id":"text-38947a1310","additionalClasses":"hub-explore-topics-header__subheadline","text":"\u003Cp\u003E인공지능의 모든 영역을 깊이 있게 살펴보세요\u003C/p\u003E\n","richText":true,":type":"snowflake-site/components/text","appliedCssClassNames":"text-color-text-05"}},":itemsOrder":["title_v2_copy_copy","text_copy_copy"],"appliedCssClassNames":"snowflake-responsive-container-inner-padding-extra-small",":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container"},":type":"snowflake-site/components/flexible-column-container","isBlogPage":false,"isActiveTOC":false,"appliedCssClassNames":"snowflake-flexible-column-container-white-bg"},"flexible_column_cont_1377146023":{"id":"flexible-column-container-1939da83e8","propertiesId":"hub-explore-topics-grid","type":"3-column-even","alignColumns":"top","containerMaxWidth":"extra-large","topPadding":"small","bottomPadding":"large","spaceBetween":"small","reverseOnMobile":false,"carouselOnMobile":false,"backgroundImageOption":"none","flexible_column_content_container_1":{"layout":"SIMPLE","id":"container-1783b641a5",":items":{"topic_card_0":{"id":"card-v2-d85ec8d39f","configurationStatus":{"configured":true,"message":""},":type":"snowflake-site/components/card-v2","title":{"id":"title","type":"heading4","lines":["MLOps"],":type":"snowflake-site/components/title-v2"},"button":{"id":"button","showOutboundIcon":false,"buttonLink":{"valid":true,"url":"/ko/artificial-intelligence/machine-learning/mlops/"},"linkTargetContentType":"GENERIC","linkType":"SNOWFLAKE_INTERNAL",":type":"snowflake-site/components/button","text":"자세히 알아보기"},"type":"content-card","text":{"id":"text","text":"\u003Cp\u003E머신러닝 수명 주기를 대규모로 운영하고 관리합니다.\u003C/p\u003E","richText":true,":type":"snowflake-site/components/text"},"layoutStyle":"vertical"}},":itemsOrder":["topic_card_0"],":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container"},"flexible_column_content_container_2":{"layout":"SIMPLE","id":"container-82eb218865",":items":{"topic_card_1":{"id":"card-v2-86492283c7","configurationStatus":{"configured":true,"message":""},":type":"snowflake-site/components/card-v2","title":{"id":"title","type":"heading4","lines":["대규모 언어 모델"],":type":"snowflake-site/components/title-v2"},"button":{"id":"button","showOutboundIcon":false,"buttonLink":{"valid":true,"url":"/ko/fundamentals/large-language-model/"},"linkTargetContentType":"GENERIC","linkType":"SNOWFLAKE_INTERNAL",":type":"snowflake-site/components/button","text":"자세히 알아보기"},"type":"content-card","text":{"id":"text","text":"\u003Cp\u003ELLM의 작동 원리와 엔터프라이즈 AI에서의 역할.\u003C/p\u003E","richText":true,":type":"snowflake-site/components/text"},"layoutStyle":"vertical"}},":itemsOrder":["topic_card_1"],":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container"},"flexible_column_content_container_3":{"layout":"SIMPLE","id":"container-57590bf9b6",":items":{"topic_card_2":{"id":"card-v2-ae45076555","configurationStatus":{"configured":true,"message":""},":type":"snowflake-site/components/card-v2","title":{"id":"title","type":"heading4","lines":["생성형 AI"],":type":"snowflake-site/components/title-v2"},"button":{"id":"button","showOutboundIcon":false,"linkTargetContentType":"GENERIC","linkType":"SNOWFLAKE_INTERNAL",":type":"snowflake-site/components/button","text":"자세히 알아보기"},"type":"content-card","text":{"id":"text","text":"\u003Cp\u003E생성형 AI의 기본 원리와 비즈니스에 미치는 영향.\u003C/p\u003E","richText":true,":type":"snowflake-site/components/text"},"layoutStyle":"vertical"}},":itemsOrder":["topic_card_2"],":type":"snowflake-site/components/flexible-column-container/flexible-column-content-container"},":type":"snowflake-site/components/flexible-column-container","isBlogPage":false,"isActiveTOC":false,"appliedCssClassNames":"snowflake-flexible-column-container-white-bg"},"flexible_column_cont_topics_row2":{"id":"flexible-column-container-57220841c6","propertiesId":"hub-explore-topics-grid-row2","type":"3-column-even","alignColumns":"top","containerMaxWidth":"extra-large","topPadding":"none","bottomPadding":"large","spaceBetween":"small","reverseOnMobile":false,"carouselOnMobile":false,"backgroundImageOption":"none",":type":"snowflake-site/components/flexible-column-container","isBlogPage":false,"isActiveTOC":false,"appliedCssClassNames":"snowflake-flexible-column-container-white-bg"}},":itemsOrder":["flexible_column_cont","flexible_column_cont_939100716","flexible_column_cont_1398138236","flexible_column_cont_663228916","flexible_column_cont_1786318617","flexible_column_cont_1467213961","flexible_column_cont_912630531","flexible_column_cont_1158003461","flexible_column_cont_1377146023","flexible_column_cont_topics_row2"],":type":"wcm/foundation/components/responsivegrid"},"modal_container":{"layout":"SIMPLE","id":"container-8d2e50813f",":items":{},":itemsOrder":[],":type":"snowflake-site/components/modal/modal-container"},"markup_editor_928258845":{"id":"markup-editor-aada351433","title":" ","cssContent":".snowflake-flexible-column-container-gray-10-bg\u003E.snowflake-flexible-column-container{background-color:var(--ui-background-05) !important}.text-size-regular:has(.seo-hub-hero__related-topic-label){display:flex;align-items:center}.hub-hero__headline span{text-transform:none !important}.hub-hero__subheadline p{max-width:70ch;margin-top:8px}.hub-hero__authors \u003E .container \u003E .cmp-container \u003E .aem-container{display:flex;flex-direction:row}.hub-hero__authors \u003E .container \u003E .cmp-container \u003E .aem-container \u003E div{width:auto !important;margin:24px 48px 0 0 !important}.hub-hero__authors .heading-5-v2{gap:var(--spacing-00)}.hub-hero__authors .snowflake-content-chip-button{display:none !important}.hub-hero__authors .snowflake-person-chip-content .body-2,.hub-hero__authors .snowflake-content-chip-content .snowflake-title-v2-line{font-size:16px !important;line-height:20px !important;font-family:\"Lato\",sans-serif !important;color:#000 !important;font-weight:600 !important}.hub-hero__authors .snowflake-person-chip-content .body-3,.hub-hero__authors .snowflake-content-chip-content .snowflake-title-v2-line:not(:first-child){font-weight:400 !important;color:var(--text-05) !important;font-size:16px !important}.hub-hero__authors .snowflake-image-container img{aspect-ratio:1 !important;border-radius:100%;overflow:hidden}.hub-hero__authors .snowflake-person-chip-avatar{width:56px;height:56px}.hub-hero__authors .snowflake-content-chip{align-items:center;display:inline-flex}.hub-hero__authors .snowflake-content-chip-image{max-width:56px;line-height:0;margin-right:var(--spacing-03)}.hub-hero__authors .snowflake-person-chip-inner-horizontal{gap:var(--spacing-03)}@media screen and (min-width:1367px){.hub-hero__headline .heading-1-v2{font-size:48px;line-height:44px}}#hub-explore-resources-grid-inner\u003E.container\u003E.cmp-container\u003E.aem-container{display:flex;flex-direction:row;flex-wrap:wrap;gap:24px}#hub-explore-resources-grid-inner\u003E.container\u003E.cmp-container\u003E.aem-container::before,#hub-explore-resources-grid-inner\u003E.container\u003E.cmp-container\u003E.aem-container::after{display:none}#hub-explore-resources-grid-inner\u003E.container\u003E.cmp-container\u003E.aem-container\u003Ediv{width:calc(25% - 18px)}.text-color-text-05 .snowflake-text h2,.text-color-text-05.cq-Editable-dom h2,.text-color-text-05 .snowflake-text h3,.text-color-text-05.cq-Editable-dom h3,.text-color-text-05 .snowflake-text h4,.text-color-text-05.cq-Editable-dom h4,.text-color-text-05 .snowflake-text h5,.text-color-text-05.cq-Editable-dom h5,.text-color-text-05 .snowflake-text h6,.text-color-text-05.cq-Editable-dom h6{color:#000 !important}",":type":"snowflake-site/components/markup-editor","isGSAPEnabled":false},"markup_editor_597730182":{"id":"markup-editor-87425ba297","title":" ","cssContent":".sf-copy-markdown [data-copy-md]{display:inline-flex;align-items:center;gap:6px;padding:8px 16px;font-family:'Texta',sans-serif;text-transform:uppercase;font-weight:800 !important;font-size:14px;font-weight:500;color:#11567f;background:#f0faff;border:1px solid #b8e6f9;border-radius:24px;cursor:pointer;transition:background .2s ease,border-color .2s ease,color .2s ease}.sf-copy-markdown [data-copy-md]:hover{background:#ddf3fc;border-color:#29b5e8}.sf-copy-markdown [data-copy-md][data-copied=\"1\"]{color:#0f7b3e;background:#ecfdf5;border-color:#6ee7a0;pointer-events:none}.sf-copy-markdown [data-copy-md] svg{flex-shrink:0}.longform-conten .snowflake-content-chip-white-bg .snowflake-content-chip{box-shadow:0 0 24px 4px rgba(0,0,0,.02),0 4px 8px 0 rgba(0,0,0,.04);flex-direction:row-reverse;align-items:center}.longform-conten .snowflake-content-chip-button{display:none}.longform-conten .snowflake-content-chip-image__inner{aspect-ratio:5 / 3;display:flex;justify-content:center;align-items:center;background-color:var(--ui-01);border-radius:4px}.longform-conten .snowflake-content-chip-image{margin-right:0;margin-left:48px}.longform-conten .snowflake-content-chip-image img{width:50%;border-radius:0 !important;object-fit:contain}.longform-content .black-blue-text-color .snowflake-title-v2-line:not(:first-child){font-size:14px !important;font-weight:400 !important;color:rgba(0,0,0,.6) !important;margin-top:8px !important}.page-toc ul li:first-child{padding-top:0 !important}.page-toc ul li:last-child{padding-bottom:0 !important}.seo-hub__top-bar \u003E .container \u003E .cmp-container \u003E .aem-container \u003E div:first-child{flex-grow:1}.sf-copy-markdown{margin-top:40px !important}.page-toc ul{margin-top:16px !important}.seo-hub__top-bar \u003E .container \u003E .cmp-container \u003E .aem-container{display:flex;justify-content:space-between}.sf-copy-markdown{}.callout.snowflake-text p:not(:first-child){margin-top:var(--spacing-01)}.callout \u003E span \u003E p:first-child \u003E strong,.callout \u003E span \u003E p:first-child \u003E b{text-transform:uppercase;font-family:'Texta',sans-serif;font-size:16px !important;color:var(--ui-01) !important}.seo-hub-hero__subheadline p{max-width:50ch}.tag-group ul{list-style-type:none;padding:0;margin:0;display:flex;flex-direction:row;row-gap:12px;column-gap:8px;align-items:center;flex-wrap:wrap}.tag-group ul li:first-child{flex-shrink:0}.tag-group ul li a{display:inline-block;padding:2px 12px;border-radius:48px;background-color:#ededed;color:#666;font-size:14px !important}@media screen and (min-width:1367px){.seo-hub-hero__headline span.snowflake-title-v2-line{font-size:56px !important}}.callout.snowflake-text p:not(:first-child){margin-top:var(--spacing-01)}.callout \u003E span \u003E p:first-child \u003E b{text-transform:uppercase;font-family:'Texta',sans-serif;font-size:16px !important;color:var(--ui-01) !important}.seo-hub-hero__subheadline p{max-width:80ch}#hero:has(.snowflake-youtube-lite) .seo-hub-hero__subheadline p{max-width:50ch}.tag-group ul{list-style-type:none;padding:0;margin:0;display:flex;flex-direction:row;row-gap:12px;column-gap:8px;align-items:center;flex-wrap:wrap}.tag-group ul li:first-child{width:100%;flex-shrink:0}.tag-group ul li a{display:inline-block;padding:2px 12px;border-radius:48px;background-color:#ededed;color:#666;font-size:14px !important}@media screen and (min-width:1367px){.seo-hub-hero__headline span.snowflake-title-v2-line{font-size:56px !important}}",":type":"snowflake-site/components/markup-editor","isGSAPEnabled":false},"markup_editor":{"id":"markup-editor-6c29187557","title":" ","cssContent":"div.snowflake-breadcrumb a.snowflake-breadcrumb-item,.snowflake-breadcrumb div.snowflake-breadcrumb-item{text-transform:none;font-weight:500}.snowflake-breadcrumb svg{display:none !important}.snowflake-breadcrumb a:has(svg)::after{content:'/';margin:0 12px;color:#666}.hub-sidebar{padding:0 40px}.sticky-sidebar{max-width:340px;margin-left:auto}.page-toc ul{list-style-type:none;padding:0}.page-toc li{padding:8px 16px;border-left:4px solid var(--ui-01);cursor:pointer;transition:300ms ease all}.page-toc li:hover{color:var(--ui-01);border-color:#7fd3f1;transition:300ms ease all}.callout,.customer-card{background-color:#eef9fd;border-left:4px solid var(--ui-01);padding:24px 24px 24px 32px;border-radius:4px}.logo-container{max-width:180px}.longform-content li{margin-top:1rem !important}div.longform-content p{max-width:80ch}.bolder .snowflake-title-v2-line{font-weight:900 !important}.border-top\u003Ediv{border-top:1px solid #ccc;padding-top:48px}.related-topics ul{list-style-type:none;padding:0;margin:0;display:flex;gap:8px;flex-wrap:wrap}.related-topics li{display:inline-block;border:1px solid #ccc;padding:4px 12px;border-radius:24px}div.longform-content .snowflake-text h2,div.longform-content .snowflake-text .heading-2-v2,div.longform-content .snowflake-text h3,div.longform-content .snowflake-text .heading-3-v2,div.longform-content .snowflake-title-v2 .heading-3-v2,div.longform-content .snowflake-text h4,div.longform-content .snowflake-text .heading-4-v2,div.longform-content .snowflake-title-v2 .heading-4-v2,div.longform-content .snowflake-text h5,div.longform-content .snowflake-text .heading-5-v2,div.longform-content .snowflake-title-v2 .heading-5-v2,div.longform-content .snowflake-text h6,div.longform-content .snowflake-title-v2 .heading-6-v2,div.longform-content .snowflake-text .heading-6-v2{text-transform:none !important}div.longform-content .snowflake-text h2,div.longform-content .snowflake-text .heading-2-v2,div.longform-content .snowflake-text h3,div.longform-content .snowflake-text .heading-3-v2,div.longform-content .snowflake-text h4,div.longform-content .snowflake-text .heading-4-v2,div.longform-content .snowflake-text h5,div.longform-content .snowflake-text .heading-5-v2,div.longform-content .snowflake-text h6,div.longform-content .snowflake-text .heading-6-v2{margin-top:1.5rem !important;line-height:1.1 !important}div.longform-content .snowflake-text h3,div.longform-content .snowflake-text .heading-3-v2,div.longform-content .snowflake-title-v2 .heading-3-v2,div.longform-content .snowflake-text h4,div.longform-content .snowflake-text .heading-4-v2,div.longform-content .snowflake-title-v2 .heading-4-v2,div.longform-content .snowflake-text h5,div.longform-content .snowflake-text .heading-5-v2,div.longform-content .snowflake-title-v2 .heading-5-v2,div.longform-content .snowflake-text h6,div.longform-content .snowflake-text .heading-6-v2,div.longform-content .snowflake-title-v2 .heading-6-v2{font-family:Lato,sans-serif !important;font-weight:800 !important}div.longform-content .snowflake-text h2,div.longform-content .snowflake-text .heading-2-v2,div.longform-content .snowflake-title-v2 .heading-2-v2{text-transform:none !important;font-size:28px !important}div.longform-content .snowflake-text h3,div.longform-content .snowflake-text .heading-3-v2,div.longform-content .snowflake-title-v2 .heading-3-v2{font-size:22px !important}div.longform-content .snowflake-text h4,div.longform-content .snowflake-text .heading-4-v2,div.longform-content .snowflake-title-v2 .heading-4-v2{font-size:18px !important}div.longform-content .snowflake-text h5,div.longform-content .snowflake-text .heading-5-v2,div.longform-content .snowflake-title-v2 .heading-5-v2{font-size:16px !important}div.longform-content .snowflake-text h6,div.longform-content .snowflake-text .heading-6-v2,div.longform-content .snowflake-title-v2 .heading-6-v2{font-size:14px !important}@media screen and (min-width:992px){div.longform-content .snowflake-text h2,div.longform-content .snowflake-text .heading-2-v2,div.longform-content .snowflake-title-v2 .heading-2-v2{font-size:38px !important}div.longform-content .snowflake-text h3,div.longform-content .snowflake-text .heading-3-v2,div.longform-content .snowflake-title-v2 .heading-3-v2{font-size:26px !important}div.longform-content .snowflake-text h4,div.longform-content .snowflake-text .heading-4-v2,div.longform-content .snowflake-title-v2 .heading-4-v2{font-size:22px !important}div.longform-content .snowflake-text h5,div.longform-content .snowflake-text .heading-5-v2,div.longform-content .snowflake-title-v2 .heading-5-v2{font-size:18px !important}div.longform-content .snowflake-text h6,div.longform-content .snowflake-text .heading-6-v2,div.longform-content .snowflake-title-v2 .heading-6-v2{font-size:16px !important}}.sticky-sidebar .page-toc li.is-active{font-weight:600;color:var(--snow-blue,#29b5e8)}.sticky-sidebar .page-toc li[data-anchor]{cursor:pointer}.longform-content table{margin-top:24px;margin-bottom:24px;width:100%;background-color:var(--ui-background-01);border-collapse:collapse;border:2px solid var(--ui-background-09);font-family:'Lato',sans-serif;color:var(--ui-background-09)}.longform-content table thead{background-color:var(--ui-01)}.longform-content th,.longform-content td{min-width:120px;border:2px solid var(--ui-background-09);padding:var(--spacing-01)}.longform-content ol{margin-top:0 !important}.longform-content ol li{margin-bottom:1rem !important}.longform-content ul li{margin:0;padding:0 0 0 32px;position:relative}.longform-content ul{list-style-type:none}.longform-content ul li::before{content:\"\";display:block;border-radius:100%;background:#29b5e8;width:18px;height:18px;position:absolute;top:4px;left:0;border:5px solid #e5f2f7;box-sizing:border-box}.seo-customer.snowflake-card-v2-advanced-horizontal .snowflake-card-v2-advanced-image-container{max-width:200px}.seo-customer.snowflake-card-v2-advanced-horizontal .snowflake-card-v2-advanced-image-container img{object-fit:contain}.related-topics-outer-container \u003E .container \u003E .cmp-container \u003E .aem-container{display:flex;flex-direction:row}.related-topics-outer-container \u003E .container \u003E .cmp-container \u003E .aem-container \u003E div{width:auto !important;margin:0 !important}.related-topics-outer-container \u003E .container \u003E .cmp-container \u003E .aem-container \u003E div:first-child{margin-right:16px !important;flex-shrink:0}","jsContent":"(function(){var OFFSET=100;if(window.gsap&&window.ScrollTrigger){gsap.registerPlugin(ScrollTrigger);var sidebar=document.querySelector('.sticky-sidebar');var body=document.querySelector('.longform-content');if(sidebar&&body){ScrollTrigger.create({trigger:sidebar,start:'top 100px',endTrigger:body,end:'bottom bottom',pin:sidebar,pinSpacing:false});}}document.addEventListener('click',function(e){var li=e.target.closest('li[data-anchor]');if(!li)return;var slug=li.getAttribute('data-anchor');var heading=document.querySelector('.anchor-title--'+CSS.escape(slug));if(!heading)return;e.preventDefault();var top=heading.getBoundingClientRect().top+window.pageYOffset-OFFSET;window.scrollTo({top:top,behavior:'smooth'});history.replaceState(null,'','#'+slug);},false);var headings=document.querySelectorAll('[class*=\"anchor-title--\"]');if(headings.length&&'IntersectionObserver'in window){var io=new IntersectionObserver(function(entries){entries.forEach(function(entry){if(!entry.isIntersecting)return;var cls=Array.from(entry.target.classList).find(function(c){return c.indexOf('anchor-title--')===0;});if(!cls)return;var slug=cls.replace('anchor-title--','');document.querySelectorAll('li[data-anchor]').forEach(function(li){li.classList.toggle('is-active',li.getAttribute('data-anchor')===slug);});});},{rootMargin:'-20% 0px -70% 0px',threshold:0});headings.forEach(function(h){io.observe(h);});}})();",":type":"snowflake-site/components/markup-editor","isGSAPEnabled":true},"experiencefragment-footer":{"id":"experiencefragment-fed922b9fa","localizedFragmentVariationPath":"/content/experience-fragments/snowflake-site/language-masters/ko/site/footer/master/jcr:content","configured":true,":type":"snowflake-site/components/experiencefragment","xfModelPath":"/content/experience-fragments/snowflake-site/language-masters/ko/site/footer/master.xfmodel.json?callerPage=/content/snowflake-site/global/ko/artificial-intelligence/machine-learning/reinforcement-learning/rlhf"},"experiencefragment":{"id":"experiencefragment-01b85f114c","localizedFragmentVariationPath":"/content/experience-fragments/snowflake-site/language-masters/ko/site/footer-legal-disclaimers/master/jcr:content","configured":true,":type":"snowflake-site/components/experiencefragment","xfModelPath":"/content/experience-fragments/snowflake-site/language-masters/ko/site/footer-legal-disclaimers/master.xfmodel.json?callerPage=/content/snowflake-site/global/ko/artificial-intelligence/machine-learning/reinforcement-learning/rlhf"}},":itemsOrder":["experiencefragment-banner","experiencefragment-header","responsivegrid","modal_container","markup_editor_928258845","markup_editor_597730182","markup_editor","experiencefragment-footer","experiencefragment"],":type":"wcm/foundation/components/responsivegrid"}},":itemsOrder":["root"],":mappedPath":"/ko/artificial-intelligence/machine-learning/reinforcement-learning/rlhf/",":type":"snowflake-site/components/structure/page",":path":"/content/snowflake-site/global/ko/artificial-intelligence/machine-learning/reinforcement-learning/rlhf",":hierarchyType":"page","isPasswordProtected":false,"analyticsContentTags":["snowflake-site:taxonomy/content-type/fundamentals"],"analyticsEnabled":true,"coveoConfig":{"organizationId":"snowflakecomputingproduction8neljofn","searchHub":"snowflake.com","pipeline":"snowflake.com","apiKey":"xx335921a6-2a0a-40f2-a167-e390b4766c3d"},"analyticsDebugMode":false,"analyticsData":{"excludeFromAnalytics":false,"subCategory":"","pageType":"homepage","templateName":"base-page-template54","siteName":"snowflake","pageUrl":"/content/snowflake-site/global/ko/artificial-intelligence/machine-learning/reinforcement-learning/rlhf","language":"ko","category":"general","pageName":"RLHF: 인간 피드백을 활용한 AI 모델 행동 조정","contentTags":["snowflake-site:taxonomy/content-type/fundamentals"]},"locale":"ko"}