Snowflake, 상호운용성 향상 위해 Apache Iceberg로 Microsoft와 파트너십 확장
2024년 11월 현재, 이 기능은 PuPr 단계에 있습니다. 데모를 시청하고, 시험해 보고,설명서를 읽어 보세요.
저희는 Snowflake와 Microsoft Fabric OneLake 간의 원활하고 효율적이며 상호운용성을 갖춘 경험을 제공(올해 말 Pr예정)하기 위해 Microsoft와의 파트너십을 확장하게 되었습니다. 이를 통해 양사의 공동 고객은 OneLake in Fabric을 사용하여 단일 데이터 복사본으로 Snowflake와 Microsoft Fabric 간의 양방향 데이터 액세스를 경험할 수 있습니다. 두 플랫폼을 모두 사용하는 조직은 파이프라인을 구축하거나 각 플랫폼의 데이터 사본을 보관하는 대신 더 비용 효율적으로 이를 수행할 수 있을 것입니다. 이러한 상호운용성은 Snowflake와 Microsoft가 분석 스토리지 형식의 산업 최고의 개방형 표준인 Apache Iceberg 및 Apache Parquet을 지원하기 위해 최선을 다하고 있기 때문에 가능해졌습니다.
Our expanding partnership with Snowflake demonstrates our commitment to ensure customers have the most complete and seamless experience to do more with their data. We are enabling this experience by accelerating our adoption of open standards, collaborating with industry leading partners, and making it easier for customers to rapidly benefit from the innovations we are bringing to the market.”
Arun Ulag
Benefits of improved interoperability across Snowflake and Fabric
이러한 새로운 통합을 통해 조직은 데이터를 보다 비용 효율적으로 사용할 수 있습니다. 예를 들어, Snowflake의 데이터는 Fabric을 통해 Teams, Excel, PowerPoint, Outlook과 같은 Microsoft 365 앱과 더욱 원활하게 통합할 수 있습니다. 또한, Fabric OneLake의 데이터는 크로스 클라우드 AI, 애플리케이션, 공유 및 협업, 고급 분석 등 여러 워크로드를 위한 Snowflake 데이터 클라우드로 확장될 수 있습니다.
이러한 이점을 제공하기 위해 Snowflake와 Fabric은 올해 말 고객을 위해 다음과 같은 기능을 추가할 것입니다.
- Snowflake는 OneLake(올해 말 공식 미리보기 예정)에서 Iceberg 형식의 데이터 저장할 수 있습니다.
- Fabric은 OneLake에서 Apache XTable Translation을 통해 Iceberg 형식으로 데이터를 저장할 수 있습니다.
- Snowflake 또는 Fabric이 작성한 데이터는 두 플랫폼 모두에서 액세스할 수 있습니다.
- Snowflake는 바로 가기를 통해 물리적으로 또는 사실상 저장된Fabric 데이터 아티팩트를 OneLake에서 읽을 수 있습니다.
- Snowflake와 Fabric의 데이터는 Microsoft 365, Microsoft 365의 코파일럿, Snowflake Cortex AI, Azure AI Studio, Snowflake Copilot 등 다양한 서비스에서 사용할 수 있습니다.
How will it work
이 새로운 통합이 작동하는 방법의 예를 살펴보겠습니다. 고객 충성도 프로젝트를 작업하고 있는데 충성 회원 테이블은 Snowflake 팀에서 관리하고, 영업 및 지원 데이터는 Microsoft Azure 있다고 가정해봅시다. 이 경우 각 플랫폼에서 데이터 사본을 보관하는 대신 Fabric OneLake에 저장된 모든 데이터에 대한 단일 사본에 액세스할 수 있습니다.
우선 Snowflake에서 Fabric OneLake 계정이 가리키는 외부 볼륨을 생성합니다. 여기에서 Snowflake는 충성 회원 데이터를 Iceberg 형식으로 저장합니다. Snowflake가 Iceberg 테이블을 생성하면 Snowflake를 Iceberg 카탈로그로 사용하고 Fabric OneLake를 외부 볼륨으로 사용하도록 지정할 수 있습니다. Snowflake가 테이블을 작업하고 데이터를 작성함에 따라 OneLake는 Parquet 파일을 다시 작성하지 않고 Iceberg 메타데이터를 Delta Lake 형식으로 자동 변환합니다. 따라서 Fabric 엔진은 동일한 테이블을 쿼리할 수 있습니다.
마찬가지로 Fabric OneLake를 사용하면 Snowflake는 모든 OneLake 데이터를 Iceberg 형식으로 읽을 수 있습니다. 즉, Snowflake는 OneLake에 있는 Iceberg 데이터가 가리키는 Iceberg 테이블을 생성한 다음 쿼리를 할 수 있습니다. 예를 들어 지원 사례 노트의 감정을 분석하거나 통화 기록을 요약하는 데 Snowflake Cortex AI LLM 함수를 사용할 수 있습니다.
Getting Started
앞으로 몇 달 사이에 Snowflake와 Microsoft는 이 새로운 통합을 공동으로 개발할 것입니다. 6월 3~6일 샌프란시스코에서 열리는 Snowflake Data Cloud Summit에서 자세한 공지사항을 확인하세요. 현재 Snowflake의 Iceberg 테이블은 PuPr로 제공되고 있습니다. 아직 사용해보지 않았다면, Iceberg Table을 이 Quickstart 가이드로 시험해보거나 Iceberg가 Cortex AI LLM 함수와 같은 Snowflake 플랫폼과 어떻게 통합되는지 데모를 시청해 보세요.
저자
