Snowflake, Cortex AI에서 DeepSeek-R1 프리뷰 지원
Snowflake가 Cortex AI에서 DeepSeek-R1 모델을 지원하게 되었습니다. DeepSeek의 설명과 같이 이 모델은 감독된 파인 튜닝(SFT) 없이 대규모 강화학습(RL)을 통해 학습되었으며 수학, 코드 및 추론 작업 전반에서 OpenAI-o1과 유사한 성능을 발휘할 수 있습니다. DeepSeek가 발표한 벤치마킹에 따르면, DeepSeek-R1은 오픈 소스 모델 중에서 최고의 성능을 자랑하며 전 세계에서 가장 발전된 폐쇄 소스 모델들과 경쟁하고 있습니다. 그리고 Snowflake 고객들은 이제 Cortex AI에서 DeepSeek-R1의 프리뷰를 요청할 수 있습니다.
Snowflake는 비공개 프리뷰(PrPr)의 일환으로 당사의 제품 원칙인 사용 편의성, 효율성 및 신뢰성을 바탕으로 액세스 제공에 집중할 것입니다.
이 모델은 배치(SQL 함수) 및 인터랙티브(Python 및 REST API)에 대한 서버리스 추론을 비공개 프리뷰로 제공합니다. 프리뷰 기간 동안 액세스 요청은 담당 영업 팀에 문의하시면 됩니다. 이 모델은 요청한 계정에서만 이용 가능합니다.
이 모델은 미국 내 Snowflake 서비스 범위 내에서 호스팅되며 Snowflake는 모델 공급자와 데이터를 공유하지 않습니다.
동 모델이 일반 제공(GA)에 들어가면 고객은 역할 기반 액세스 제어(RBAC)를 통해 모델에 대한 액세스를 관리할 수 있습니다. 계정 관리자는 거버넌스 정책에 따라 승인된 모델을 선택하여 액세스를 제한할 수 있습니다.
Snowflake Cortex AI
Snowflake Cortex AI는 완전 관리형 LLM 추론, 미세 조정 및 RAG(정보 검색 증강 생성)를 포함한 통합 기능 및 서비스 모음입니다. 이를 통해 고객은 정형 및 비정형 데이터를 신속하게 분석하고, AI 애플리케이션 개발을 가속화할 수 있습니다. 고객은 업계 최고의 오픈 소스 및 독점 LLM에 액세스가 가능하며 해당 모델들을 워크플로우 및 애플리케이션에 쉽게 통합할 수 있습니다. Snowflake는 Meta, Mistral 그리고 Snowflake의 여러 LLM에 대한 지원을 통해 오픈 소스 생태계를 적극 활용하고 있습니다. Snowflake는 이러한 개방형 액세스와 협업이 이 분야의 혁신을 가속화하는 밑거름이 될 것이라고 믿습니다.
DeepSeek-R1
DeepSeek의 GitHub 게시물에 따르면 DeepSeek는 초기 단계부터 감독된 파인 튜닝(SFT)에 의존하지 않고 기본 모델에 강화학습(RL)을 직접 적용했습니다. 이 접근 방식을 통해 모델은 복잡한 문제를 해결하기 위해 스스로 답을 찾는 추론하는 사고체계 (CoT)를 탐색했으며 그 결과 DeepSeek-R1-Zero가 개발되었습니다. 또한 초기 모델은 자체 검증, 반성 및 긴 CoT 생성과 같은 능력을 보여줬지만, 끝없는 반복, 낮은 가독성, 언어 혼합과 같은 문제에 직면했다고 언급하고 있습니다. 이어, 이러한 문제를 해결하기 위해, RL 전에 콜드 스타트(Cold Start) 데이터를 통합하는 방법으로 어떻게 추론 성능을 개선했는지 설명하고 있습니다.
DeepSeek 팀은 낮은 정밀도의 FP8 훈련과 보조 손실 없는 부하 분산 전략을 구현하여, 훈련에 필요한 계산 자원 비용을 크게 절감하면서 최첨단의 성능을 달성했습니다.
Cortex AI에서 DeepSeek-R1 사용하기
Snowflake Cortex AI를 사용하면 대규모 언어 모델(LLM)에 쉽게 액세스할 수 있습니다. 통합이나 API 키를 관리할 필요도 없으며 거버넌스 컨트롤을 데이터 및 AI 전반에 걸쳐 일관되게 구현할 수 있습니다. 모델에 대한 액세스는 지원되는 리전 중 하나에서 가능합니다. 또한 리전 간 추론을 활성화하면 다른 리전에서도 액세스가 가능합니다. 잠재적으로 부적절하거나 안전하지 않은 응답을 필터링하는 Cortex Guard도 활성화할 수 있습니다. Guardrails는 유해 콘텐츠 필터링에 중점을 둔 정책을 시행함으로써 거버넌스를 강화합니다.
SQL 및 Python
이 모델은 데이터 파이프라인이나 Streamlit in Snowflake 앱에 통합되어 테이블의 여러 행을 처리할 수 있습니다. SQL과 Python 모두 액세스할 수 있는 Complete 함수가 이 통합에 사용될 수 있습니다. LLM 추론 애플리케이션에 사용되는 Cortex AI의 Complete 함수 내에서 'guardrails: true'를 추가하면 유해한 콘텐츠를 필터링할 수 있습니다. DeepSeek 모델에 대한 액세스는 Snowflake Notebook이나 사용자 지정 클라이언트를 위한 OAuth를 사용하여 선호하는 IDE를 통해서도 가능합니다. 추가 템플릿과 SQL 함수 사용 방법에 대한 상세 정보는 여기에서, Python 구문에 대한 정보는 여기에서 알아보세요.
SELECT SNOWFLAKE.CORTEX.COMPLETE('deepseek-r1',
[{'content': CONCAT('Summarize this customer feedback in bullet points:<feedback>', content ,'</feedback>')}],
{'guardrails': true}
);
Cortex Guard를 활성화하면 폭력 범죄, 혐오, 성적 콘텐츠, 자해 등과 관련된 유해 콘텐츠가 포함된 언어 모델 응답이 자동으로 필터링되며 모델은 'Response filtered by Cortex Guard'라는 메시지를 반환합니다. AI 보안에 대한 Snowflake의 관점을 자세히 알아보시려면 AI 보안 프레임워크 백서를 참조하세요.
REST API
Snowflake 외부에서 실행되는 서비스나 애플리케이션이 짧은 지연 시간 안에 Cortex Al에 대한 추론 호출이 가능하려면 REST API 인터페이스를 선택하는 것이 가장 이상적입니다. 그 예시 화면은 다음과 같습니다.
curl -X POST \
"model": "deepseek-r1",
"messages": [{ "content": "Summarize this customer feedback in bullet points: <feedback>”}],
"top_p": 0,
"temperature": 0.6,
}' \
https://<account_identifier>.snowflakecomputing.com/api/v2/cortex/inference:complete
다음 단계
DeepSeek에 따르면 이 모델은 SFT 없이 강화 학습(RL)만으로 LLM의 추론 능력을 향상시킬 수 있음을 입증한 첫 번째 오픈소스 모델입니다. Cortex AI는 SQL 함수와 REST API를 통해 손쉽게 통합이 가능하며, 고객은 Cortex Guard를 통해 필수적인 보안 제어를 구현할 수 있습니다. Snowflake AI Research 팀은 DeepSeek-R1을 개선하여 추론 비용을 더욱 줄여나갈 계획입니다. 고객들은 DeepSeek-R1을 통해 비용 대비 성능 효율성을 높이고 생성형 AI 애플리케이션의 배포 속도를 가속화할 수 있습니다. 이러한 혁신은 이 분야에서 더 많은 진전이 이뤄질 수 있도록 길을 열어줄 것입니다.
참고: 이 페이지에는 당사의 향후 제품 제공에 대한 미래 전망 진술이 포함되어 있으며, 이는 제품 제공에 대한 보장이 아닙니다. 실제 결과 및 제공 내용은 다를 수 있으며, 알려지거나 알려지지 않은 위험 및 불확실성의 영향을 받을 수 있습니다. 자세한 내용은 최신 10-Q를 참조하세요.
저자
