Snowflake amplia parceria com a Microsoft para melhorar a interoperabilidade com o Apache Iceberg

Dados de novembro de 2024: o recurso encontra-se agora em versão preliminar pública. Você pode assistir a uma demonstração, testar o recurso e ler a documentação.

Hoje, temos o prazer de anunciar uma expansão da nossa parceria com a Microsoft para oferecer uma experiência de interoperabilidade contínua e eficiente entre o Snowflake e o Microsoft Fabric OneLake, em versão preliminar ainda este ano. Dessa forma, nossos clientes em comum poderão ter acesso bidirecional aos dados entre o Snowflake e o Microsoft Fabric com uma única cópia dos dados no OneLake in Fabric. As organizações que usam as duas plataformas vão poder fazer isso de forma mais econômica, em vez de criar pipelines ou manter cópias de dados em cada plataforma. Essa interoperabilidade é possível graças ao compromisso da Snowflake e da Microsoft em oferecer suporte aos principais padrões abertos do setor para formatos de armazenamento analíticos: Apache Iceberg e Apache Parquet.

Esta nova integração significa que as organizações podem fazer uso mais econômico de seus dados. Por exemplo, os dados do Snowflake podem ser integrados de forma mais contínua aos aplicativos Microsoft 365, como Teams, Excel, PowerPoint e Outlook, por meio do Fabric. Além disso, os dados do Fabric OneLake podem ser estendidos ao Snowflake Data Cloud para inteligência artificial (IA) entre nuvens, aplicativos, compartilhamento e colaboração, bem como análise de dados avançada, entre muitas outras cargas de trabalho.

Para oferecer essas vantagens, Snowflake e Fabric disponibilizarão os seguintes recursos para os clientes agora e ao longo deste ano:

• O Snowflake poderá armazenar dados no formato Iceberg no OneLake (em versão preliminar oficial ainda este ano).
• O Fabric poderá armazenar dados no formato Iceberg no OneLake por meio da tradução do Apache XTable no OneLake.
• Dados criados em uma das plataformas, seja Snowflake ou Fabric, serão acessíveis de ambas as plataformas.
• O Snowflake será capaz de ler os artefatos de dados do Fabric no OneLake, armazenados de modo físico ou virtual por meio de atalhos.
• Dados do Snowflake e do Fabric podem ser usados por diversos serviços, como Microsoft 365, Copilot no Microsoft 365, Snowflake Cortex AI, Azure AI Studio, Snowflake Copilot, entre outros.

Vamos ver um exemplo de como essa nova integração funciona. Suponha que você esteja trabalhando em um projeto de fidelidade de clientes, mas uma tabela de membros do programa de fidelidade é gerenciada por uma equipe no Snowflake, enquanto os dados de vendas e suporte estão no Microsoft Azure. Em vez de manter cópias de dados em cada plataforma, você poderá usar o método para acessar uma única cópia de todos os dados armazenados no Fabric OneLake.

Em primeiro lugar, crie um volume externo no Snowflake que aponta para sua conta Fabric OneLake. É aqui que o Snowflake armazenará os dados dos membros do programa de fidelidade no formato Iceberg. Ao criar essa tabela Iceberg do Snowflake, você poderá especificar o uso do Snowflake como o catálogo Iceberg e do Fabric OneLake como o volume externo. À medida que o Snowflake trabalha com as tabelas e registra os dados, o OneLake converte os metadados do Iceberg automaticamente no formato Delta Lake, sem reformular os arquivos Parquet, para que os mecanismos do Fabric possam consultar as mesmas tabelas.

Da mesma forma, o Fabric OneLake permite que o Snowflake leia todos os dados do OneLake no formato Iceberg, para consumo pelo mecanismo do Snowflake. Isso significa que você pode criar uma tabela Iceberg a partir do Snowflake que aponta para os dados do Iceberg no OneLake, que pode ser consultada. Por exemplo, é possível usar funções do Snowflake Cortex AI LLM para avaliar o sentimento contido nas anotações de caso de suporte ou resumir as transcrições de chamadas.

Nos próximos meses, a Snowflake e a Microsoft vão desenvolver essa nova integração de forma colaborativa. Continue em sintonia para receber mais novidades durante o Snowflake Data Cloud Summit, que será realizado de 3 a 6 de junho de 2025 em São Francisco. No entanto, agora, os Iceberg Tables no Snowflake já estão disponíveis em versão preliminar pública. Se ainda não o fez, você pode testar Iceberg Tables acessando este guia rápido ou assistindo à uma demonstração para saber como o Iceberg se integra à plataforma Snowflake, como as funções de LLM do Cortex AI.