Snowflake Cortex AI에서 Anthropic의 Claude 3.5 Sonnet를 사용한 RAG 및 에이전트 기반 AI 앱 구축

Claude 3.5 Sonnet이 Snowflake Cortex AI에서 사용 가능한 최초의 Anthropic 파운데이션 모델로 마침내 일반 출시(GA)되었음을 알려드립니다. 이에 따라 고객들은 이제 SQL, Python 및 REST API(곧 출시 예정) 인터페이스를 사용하여 Snowflake 보안 경계 내에서 Anthropic의 Claude 모델 제품군에서 가장 지능적인 모델에 액세스할 수 있습니다. 이러한 네이티브 통합을 통해 데이터 팀과 엔지니어링 팀은 데이터 거버넌스, 개인정보 보호 및 통합 등 MIT Technology Review Insight 설문조사 2024에서 AI 배포 시 직면하게 되는 가장 보편적인 과제로 지적된 문제들을 효율적으로 해결할 수 있습니다.
기업들은 Cortex AI에서 Sonnet 3.5를 사용하여 대화형 어시스턴트와 대규모 언어 처리 기능을 통해 자사의 데이터 잠재력을 최대한 활용할 수 있습니다. Claude의 고급 언어 모델은 개발자가 애드혹 분석을 실행하고, 문서 및 기타 지식 기반에서 답변을 추출하고, 다른 멀티 스테이지 워크플로우를 실행할 수 있는 에이전트를 구축하는 방법을 더욱 향상시킬 것입니다. 또한 기업들은 Snowflake의 보안 환경 내에서 자사가 제어하는 데이터를 옆에 두고 모델을 활용하여 애플리케이션을 개발할 수 있습니다. 이처럼 신뢰할 수 있는 환경과 결합된 사용 편의성은 엔터프라이즈 AI의 제공 속도를 높입니다.
Snowflake Cortex AI
Snowflake는 정형 및 비정형 데이터를 위한 완전관리형 LLM 추론, 미세 조정 및 RAG를 포함한 통합 기능 및 서비스 모음인 Cortex AI를 출시했습니다. 이를 통해 고객들은 비정형 데이터를 정형 데이터 옆에서 빠르게 분석하고 AI 앱 개발을 가속화할 수 있습니다. 이 통합된 AI 및 데이터 플랫폼을 통해 많은 기업들이 단 며칠 내에 AI 개념에서 실제 적용으로 전환할 수 있습니다. 규모를 막론하고 모든 산업 분야의 조직들은 이제 텍스트 요약 및 감정 분석에서부터 강력한 AI 챗봇 개발에 이르기까지 다양한 사용 사례를 구현할 수 있습니다.
Claude 3.5 Sonnet
AI 안전 및 연구 회사인 Anthropic의 파운데이션 모델인 Claude 3.5 Sonnet은 인텔리전스 업계의 기준을 한층 높인 모델로서 소프트 엔지니어링 평가인 SWE-bench의 최첨단 성과 등 광범위한 평가에서 경쟁 모델과 Claude 3 Opus를 능가하고 있습니다. Claude 3.5 Sonnet은 대학원 수준의 추론(GPQA), 대학원 수준 지식(MMLU) 및 코딩 역량(HumanEval) 분야의 업계 벤치마크를 뛰어 넘습니다. 또한, 뉘앙스, 유머, 복잡한 지시 등도 포착하여 성능을 향상시켰습니다. 추론 기능과 탁월한 성능이 결합되어 있는 Claude 3.5 Sonnet는 컨텍스트에 민감한 고객 지원을 제공하고 다단계 워크플로우를 오케스트레이션하는 등의 복잡한 태스크에 이상적입니다.

“As a composable CDP leader, generative AI is key to our ability to easily extract unknown or untapped value of customer data in Snowflake. Gaining access to Anthropic's industry-leading Claude 3.5 models within Snowflake Cortex AI empowers us to more quickly unlock value for our shared clients in a way that is secure and governed. This unified governance over data and AI gives us the ability to move quickly and greatly enhances how we serve our customers with AI.”
Jason Davis
Anthropic 모델을 Cortex AI에서 사용하는 방법
Snowflake Cortex AI를 사용하면 LLM에 쉽게 액세스할 수 있습니다. 통합을 관리할 필요도 없습니다. 거버넌스가 데이터와 AI 전반에 걸쳐 일관되게 이루어집니다. 지원되는 리전 중 하나에서 모델에 액세스할 수 있습니다. 또한, 리전 간 추론을 활성화하여 다른 리전에서 액세스가 가능합니다.

AI/ML Studio 탭을 통해 액세스할 수 있는 Cortex Playground에서 모델에 신속하게 액세스하여 프롬프트를 테스트하고 다양한 추론 구성을 평가할 수 있습니다. 또한 모델을 비교하고, 다양한 설정으로 응답 변화를 분석하고, 잠재적으로 부적절하거나 안전하지 않은 응답을 필터링하는 Cortex Guard를 활성화할 수 있습니다.
SQL 및 Python
모델은 데이터 파이프라인이나 Streamlit in Snowflake 앱에 통합되어 테이블에서 여러 행을 프로세스할 수 있습니다. SQL과 Python 모두 액세스할 수 있는 Complete 함수가 이 통합에 사용될 수 있습니다. 또한 사용자 지정 클라이언트를 위한 OAuth를 사용하여 Snowflake Notebook 또는 원하는 IDE에서 Claude 모델에 액세스할 수 있습니다
SELECT SNOWFLAKE.CORTEX.COMPLETE('claude-3-5-sonnet', CONCAT(‘Summarize this customer feedback in bullet points: <feedback>', content, '</feedback>');
curl -X POST \
"model": "claude-3-5-sonnet",
"messages": [
{
"content": "Summarize this customer feedback in bullet points: <feedback>”
}
],
"top_p": 0,
"temperature": 0
}' \
https://<account_identifier>.snowflakecomputing.com/api/v2/cortex/inference:complete
시작하기: RAG 기반 문서 검색 앱 구축
Cortex AI의 Claude 3.5 Sonnet 덕분에 Streamlit(Python 프론트엔드 개발) 및 Cortex Search(통합 임베딩 생성, 벡터 관리 및 하이브리드 검색을 갖춘 RAG 엔진)와 같은 다른 기능과 함께 데이터로 손쉽게 앱을 구축할 수 있습니다.
Quickstart: Cortex Search를 사용하는 RAG 기반 챗봇 + Claude 3.5 Sonnet + Streamlit
Anthropic과 Snowflake의 미래
Snowflake의 에이전트 AI 제품인 Snowflake 인텔리전스(PrPr 예정)와 Cortex Analyst(PuPr)는 Cortex AI의 가용성을 바탕으로 Snowflake의 핵심 LLM 중 하나로 Claude를 활용할 계획입니다. 자세한 내용은 추후 공개될 예정입니다.
업계 최고의 정확도를 자랑하는 Claude의 광범위한 컨텍스트 창을 통해 엔터프라이즈는 데이터 전반에 걸쳐 보다 신뢰할 수 있고 정확한 응답을 제공하는 미션 크리티컬한 AI 앱을 자신 있게 구축할 수 있습니다. AI 데이터 클라우드에서 Claude Sonnet을 통해 많은 애플리케이션이 개발되기를 기대하고 있겠습니다.
Snowflake의 생성형 AI와 그 사용 사례에 대해 자세히 알고 싶으시다면 1월 22일에 열리는 Snowflake Gen AI Day 이벤트를 확인하세요.
참고: 이 페이지에는 당사의 향후 제품 제공에 대한 미래 전망 진술이 포함되어 있으며, 이는 제품 제공에 대한 보장이 아닙니다. 실제 결과 및 제공 내용은 다를 수 있으며, 알려지거나 알려지지 않은 위험 및 불확실성의 영향을 받을 수 있습니다. 자세한 내용은 최신 10-Q를 참조하세요.