데이터 및 AI 제품을 위한 탁월한 협업: Snowflake의 새로운 기능

공통적인 목표를 달성하기 위해 서로 다른 팀, 비즈니스 단위, 그리고 기업이 함께하는 것은 효율성을 극대화할 뿐만 아니라 혁신을 촉진할 수 있습니다. 데이터 AI와 관련된 효과적인 협업은 그 어느 때보다 성공과 긴밀하게 연결되어 있었습니다. 

Snowflake는 생산적인 협업을 방해하는 장벽을 제거하는 동시에 연결을 구축하여 그 어느 때보다 손쉽게 협업할 수 있도록 지원합니다. 조직이 내부적으로 데이터와 AI 모델을 공유하든 획기적인 AI와 고급 솔루션을 BUILD하고 배포하든 상관없이, Snowflake는 협업을 비즈니스 패브릭에 활용할 수 있도록 지원합니다. 이 글에서는 개인정보 보호 및 거버넌스를 염두에 두고 이 모든 것을 더 쉽게 해내기 위해 Snowflake가 도입한 몇 가지 혁신을 자세히 살펴봅니다.

크로스 클라우드 협업 및 검색

Snowflake는 크로스 클라우드 협업 기능 분야의 획기적인 리더십을 강화하여 내부와 외부 모두에서 데이터, 앱, 그리고 AI 모델을 안전하게 공유할 수 있는 다양한 방법을 소개하고 있습니다. 

앱, 데이터 및 AI 모델을 엔터프라이즈 전반에 걸쳐 쉽게 공유

Snowflake 마켓플레이스가 새로운 고품질의 데이터, 앱, 그리고 AI 제품을 검색할 수 있도록 지원하는 기업에서는 내부 마켓플레이스가 그 사용을 극대화하는 데 도움이 되고 있습니다. 내부 마켓플레이스(현재 GA)는 조직 내에서 사용 가능한 모든 데이터 제품 디렉터리를 제공합니다. 내부 마켓플레이스는 단일 인터페이스에서 탐색할 수 있는 모든 것을 갖추고 있어 데이터 소비자가 적시에, 필요한 데이터와 AI 모델 및 앱에 쉽게 액세스할 수 있습니다. 또한 여러 부서에 대해 동일한 리소스의 여러 사본을 생성(또는 비용을 지불)할 필요가 없기에 관리를 간소화하고 보안 태세 개선할 수 있습니다.

이제 이러한 제품을 평가하는 것도 Copilot for Listings(PrPr)덕분에 매우 쉬워졌습니다. 이 기능을 사용하면 제품 목록에 첨부된 콘텐츠가 사용자의 작업과 관련이 있고 가치가 있는지 자연어로 질문하여 확인할 수 있습니다.

파인 튜닝된 LLM 공유

Snowflake는 이제 Secure Model Sharing(PuPr)을 통해 파인 튜닝된 LLM을 원활하게 공유하고 모델 가중치를 탐색할 수 있습니다. 이를 통해 수신자는 Snowflake 모델 레지스트리 UI에서 파인 튜닝된 모델을 확인할 수 있기 때문에 생성형 AI 사용 사례에 대한 협업과 모델의 프로덕션 배포가 훨씬 용이합니다. 또한, 계정 간에 실제 데이터가 복사되거나 전송되지 않고 Snowflake 서비스 계층과 메타데이터 저장소가 사용되므로 모델 공유는 데이터 노출의 위험을 줄일 수 있습니다.

비용 효율성을 유지하면서 보다 정교한 데이터 및 AI 제품의 BUILD 실현

혁신적인 기업은 최신 기술을 Snowflake에 도입하여 데이터를 이동하거나 복잡한 오케스트레이션을 수행할 필요가 없는 최첨단 제품을 제공하고 있습니다. 기업은 Snowflake Native App을 통해 고급 AI 모델 및 애플리케이션을 공유하고 수익화를 실현합니다. Snowflake Native App은 이제 Snowpark Container Service와 완전히 통합되어 더 많은 사용 사례를 지원하고 있습니다. 또한, Snowflake의 안전한 공유 솔루션의 일부로 제공되는 고급 비용 최적화 도구를 통해 고객은 크로스 클라우드 송신 비용을 걱정할 필요 없이 클라우드 전반에서 데이터를 공유하고 협업할 수 있습니다.

Snowflake Native App Framework과 Snowpark Container Service의 통합

2022년에 도입된 이후, Snowflake Native App Framework는 Snowflake와 원활하게 통합되는 데이터와 AI 제품을 구축, 배포 및 수익화하는 안전하고 비용 효율적인 방법을 제공하여 수백 개 기업의 앱 개발을 간소화했습니다. 이제 Snowpark Container Service가 Snowflake Native App Framework에 완전히 통합됨에 따라 훨씬 더 정교한 앱을 만들고 AWS(GA) 및 Azure(PuPr)에서 고객에게 배포할 수 있습니다. 

Snowpark Container Service(현재 Azure 및 AWS에서 GA로 제공)는 개발자가 사용자 지정 프론트엔드, 대규모 ML 교육 및 추론부터 오픈 소스 및 자체 개발 모델에 이르기까지, 모두 Snowflake 내에서 안전하게 배포할 수 있는 유연성을 제공합니다(블로그 게시물에서 자세히 알아보기). 컨테이너 이미지를 패키징 및 등록한 다음 이러한 컨테이너 상세 정보를 포함한 Snowflake 네이티브 App 패키지를 생성하여 개발자는 다음을 수행할 수 있습니다.

• 모든 프로그래밍 언어로 강력한 제품 BUILD

• 필요에 따라 GPU 또는 고용량 메모리 CPU를 유연하게 사용

• 클라우드와 리전에 걸쳐 앱을 원활하게 배포

• 보안 경계 외부로 데이터를 이동할 필요성 제거

공급자는 모든 유형의 흥미로운 카테고리에 걸쳐 정교한 앱을 구축하고 있기 때문에, 특정 기능을 찾고 있다면 Snowflake 마켓플레이스에서 해당 앱을 찾을 수 있을 가능성이 매우 높습니다. 예를 들면 다음과 같습니다.

• dbt로 복잡한 데이터 변환 수행

• Genesis를 통해 직원들에게 자율적인 AI 에이전트 추가

• RelationalAI로 고급 그래프 분석 통합

• Kumo AI로 예측형 AI 활용

• 랜딩AI로 이미지와 동영상을 시각적 인텔리전스로 전환

AI 제품 BUILD 및 수익화

Snowflake Native App Framework를 사용하면 등록된 AI/ML 모델을 패키징, 공유 및 수익화할 수 있습니다. 공급자는 Snowpark ML Modeling API를 사용하여 모델을 만들고, 훈련하고,Snowflake 모델 레지스트리에서 로그화한 다음, 목록에 올리기 위해 Snowflake Native App 패키지로 내보낼 수 있습니다. 

이를 통해 조직은 새로운 수익원을 창출합니다. 모델 개발 활동을 손쉽고 안전하게 활용하고 다른 사람이 사용하거나 구매할 수 있도록 Snowflake 마켓플레이스에서 가치 높은 AI 및 ML 제품을 제공할 수 있습니다. 소비자가 선택할 제품이 많을수록 요구 사항에 맞는 적합한 솔루션 찾을 수 있는 기회가 높아집니다. 

중복 송신 수수료 제거 

크로스 클라우드 협업을 더 비용 효율적으로 만들기 위해 Snowflake는 데이터나 앱을 여러 클라우드 리전으로 공유할 때 중복되는 송신 비용을 제거하는 Egress Cost Optimizer(GA 예정)를 도입했습니다. Egress Cost Optimizer는 공급자가 데이터 제품 전달 비용에 대한 제어를 확보하고 다른 클라우드 리전에서 수요를 확보할 있도록 지원합니다.

Egress Cost Optimizer를 사용하면 고객은 데이터를 다른 클라우드 리전 계정에 처음 공유할 때만 송신 수수료를 지불하게 됩니다. 동일한 리전 또는 다른 클라우드 리전의 다른 계정에 동일한 데이터를 공유해도 증분 송신 비용이 부과되지 않으며, 동일한 클라우드 리전 내에서 Snowflake Secure Data Sharing을 사용할 경우에도 송신 비용이 부과되지 않습니다.

Snowflake의 크로스 클라우드 기술(특허 보유)은 복제 기반 접근 방식을 사용하여 원격 리전의 데이터에 액세스할 수 있습니다. 즉, 쿼리에 대해 소액의 공급자 송신 수수료가 부과되는 상황에는 원격 쿼리 기반 접근 방식이 아니라 Cross-Cloud Auto-Fulfillment를 사용하여 복제 프로세스를 관리합니다. 쿼리 기반 접근 방식을 사용하면 비용이 급증할 수 있으며, Large 데이터 세트의 경우, 지속적인 데이터 이동으로 인해 쿼리 성능이 느려지는 경우가 많습니다. 복제 기반 접근 방식과 Snowflake Egress Cost Optimizer를 통해 공급자는 공유 데이터 대한 높은 쿼리 성능을 실현하는 동시에 전달 비용을 제어할 수 있습니다.  

보안에 진심인 Snowflake를 통한 앱 구축 및 사용 실현  

공유 및 협업에는 내재된 거버넌스 문제가 수반될 수 있습니다. 특히 데이터나 앱 보안 메커니즘 없이 퍼블릭 인터넷에 노출될 때 그러합니다. 그래서 Snowflake는 공급자와 소비자에게 데이터, 애플리케이션 및 모델의 안전을 보장하는 데 도움이 되는 도구를 제공하기 위해 노력하고 있습니다. 

안전한 배포를 위한 Snowflake Native App 지원 

Snowflake Native App Framework는 이제 Virtual Private Snowflake(VPS) 및 AWS PrivateLink를 지원하므로 앱 공급자가 보안 및 개인정보 보호를 강화할 수 있습니다. 이 기능(GA)은 조직이 보안 수준이 높은 클라이언트와 신뢰를 구축하고 규제 대상 시장으로 자사 제품을 확장하는 데 도움을 줍니다. 강력한 보안 수준이 필요한 고객은 이제 Snowflake 마켓플레이스에서 220개 이상의 Snowflake Native App을 액세스하여 데이터 및 AI 이니셔티브를 가속화할 수 있습니다.

규정 준수 배지

Snowflake Native App 공급자는 앱 목록(PrPr)의 일부로서 SOC 2와 같은 서드 파티 규정 준수 자격 인증도 표시할 수 있습니다. Snowflake가 규정 준수 문서 검토를 성공적으로 마치면 공급자는 적절한 배지를 목록을 포함시켜 업데이트합니다. 이로써 앱 소비자는 솔루션이 규정 준수 요구 사항을 충족할 수 있는지 한눈에, 신속하고 자신 있게 확인할 수 있습니다.

자세히 알아보기

Snowflake의 통합 플랫폼은 개인정보 보존형 데이터 공유 기능을 통해 협업에 내재된 복잡성을 단순화하고 애플리케이션을 데이터 중심으로 가져올 수 있도록 지원합니다. 이는 효율적이고 안전할 뿐만 아니라 조직 내에서는 물론이고 Snowflake를 통해 외부 파트너와도 손쉽게 협업할 수도 있습니다. 

Snowflake 협업 기능과 Snowflake Native Apps에 대해 자세히 알아보려면 BUILD 2024 What’s New session, Snowflake 개발자 리소스, Snowflake Native App Bootcamp를 확인하세요. 또한 Snowflake 마켓플레이스 가상 이벤트에 등록하여 서드 파티 공급자의 데이터, 앱 및 AI 제품을 통해 AI 이니셔티브를 가속화하는 방법을 알아보세요.