Apresentamos o Polaris Catalog: um catálogo de código aberto para o Apache Iceberg

Os formatos de arquivo e tabela de código aberto despertaram grande interesse no setor de dados por seu potencial de interoperabilidade, pois permitem que diversas tecnologias operem com segurança sobre uma única cópia dos dados. Uma maior interoperabilidade reduz a complexidade e os custos de usar diversas ferramentas e mecanismos de processamento em paralelo, além dos possíveis riscos de dependência de fornecedor.

Apesar da rápida adoção de formatos abertos de arquivo e tabela, diversas limitações interdependentes entre mecanismos e catálogos geram dependência de fornecedor e reduzem o valor dos padrões abertos do Iceberg. Com isso, arquitetos e engenheiros de dados precisam lidar com essas restrições e tomar decisões difíceis para equilibrar complexidade e dependência de fornecedor. Para aumentar a interoperabilidade, a comunidade do Apache Iceberg desenvolveu um padrão aberto para um protocolo REST no projeto Iceberg. A especificação aberta da API representa um grande avanço rumo à interoperabilidade. O ecossistema também pode se beneficiar de implementações de catálogos de código aberto que permitam um armazenamento independente de fornecedor.

Hoje, a Snowflake tem o prazer de anunciar o Polaris Catalog, que oferece às empresas e à comunidade do Iceberg mais opções, flexibilidade e controle sobre seus dados, com segurança de nível empresarial e interoperabilidade do Apache Iceberg com Amazon Web Services (AWS), Confluent, Dremio, Google Cloud, Microsoft Azure, Salesforce e muito mais. O Polaris Catalog se baseia nos padrões criados pela comunidade do Iceberg para enfrentar os desafios descritos acima.

• Em vez de mover e copiar dados para diferentes mecanismos e catálogos, você pode usar vários mecanismos de forma interoperável sobre uma única cópia dos dados, em um só lugar.
• Você pode hospedá-lo em uma infraestrutura gerenciada pela Snowflake ou na infraestrutura de sua preferência.

Nos próximos 90 dias, o Polaris Catalog terá seu código aberto e, em breve, estará disponível para execução em versão preliminar pública na infraestrutura da Snowflake. O restante desta publicação no blog apresenta mais detalhes sobre os recursos e as opções de hospedagem.

Muitas organizações usam diferentes mecanismos de processamento para executar cargas de trabalho específicas ou buscam flexibilidade para adicionar ou substituir facilmente esses mecanismos no futuro. Em ambos os casos, elas querem ter a liberdade de usar com segurança vários mecanismos sobre uma única cópia dos dados para minimizar os custos de armazenamento e processamento associados à movimentação dos dados ou à manutenção de várias cópias.

Os catálogos desempenham um papel essencial em uma arquitetura com vários mecanismos. Eles tornam as operações em tabelas confiáveis ao oferecer suporte a transações atômicas. Isso permite que engenheiros de dados e seus pipelines modifiquem tabelas simultaneamente, enquanto as consultas nessas tabelas produzem resultados precisos. Para isso, todas as operações de leitura e gravação em tabelas Iceberg, mesmo quando realizadas por mecanismos diferentes, passam por um catálogo.

Um protocolo de catálogo padronizado para todos os mecanismos viabiliza a interoperabilidade entre vários mecanismos. Felizmente, a comunidade do Apache Iceberg criou uma especificação de código aberto para um protocolo REST. Cada vez mais mecanismos e catálogos, comerciais e de código aberto, adicionam suporte a essa especificação de API REST devido à interoperabilidade que ela viabiliza.

O Polaris Catalog implementa a API REST aberta do Iceberg para maximizar o número de mecanismos que você pode integrar. Atualmente, isso inclui Apache Doris, Apache Flink, Apache Spark, PyIceberg, StarRocks e Trino. No futuro, também incluirá mais opções comerciais, como o Dremio. Você também pode usar o Snowflake para ler e gravar em tabelas Iceberg com o Polaris Catalog, graças à ampliação do suporte do Snowflake às integrações de catálogo com a API REST do Iceberg, em versão preliminar pública em breve.

Você pode começar a usar este Polaris Catalog de código aberto hospedado na infraestrutura da AI Data Cloud da Snowflake, em versão preliminar pública em breve, ou hospedá-lo em sua própria infraestrutura, em breve, com contêineres como Docker ou Kubernetes. Independentemente de como você implementar o Polaris Catalog, não haverá dependência de fornecedor. Se quiser substituir a infraestrutura subjacente, você poderá fazer isso livremente.

Depois de configurar a integração entre o Snowflake Horizon e o Polaris Catalog, os recursos de governança e descoberta do Snowflake Horizon, como políticas de mascaramento de colunas, políticas de acesso a linhas, marcação de objetos e compartilhamento, passam a funcionar com o Polaris Catalog. Assim, independentemente de uma tabela Iceberg ser criada no Polaris Catalog pelo Snowflake ou por outro mecanismo, como Flink ou Spark, você pode estender os recursos do Snowflake Horizon a essas tabelas como se fossem objetos nativos do Snowflake.

O Polaris Catalog busca oferecer armazenamento totalmente interoperável não apenas aos clientes da Snowflake, mas também ao ecossistema de dados mais amplo, com base nos padrões da comunidade do Apache Iceberg. Ao combinar nossa experiência na operação de uma plataforma global e cross-cloud com a incrível comunidade do Iceberg, que cresce rapidamente, continuaremos aprimorando o Polaris Catalog em conjunto. Para saber mais sobre o Polaris Catalog, participe do AI Data Cloud Summit ou inscreva-se neste webinar para ouvir nossa equipe. Se quiser ser uma das primeiras pessoas a saber quando o código do Polaris Catalog for lançado, inscreva-se para receber notificações acompanhando este repositório do GitHub.

Declarações prospectivas 

Este artigo contém declarações prospectivas, inclusive sobre nossas futuras ofertas de produtos. Essas declarações não representam compromissos de disponibilizar qualquer oferta de produto. Os resultados e os produtos reais podem diferir e estão sujeitos a riscos e incertezas conhecidos e desconhecidos. Consulte nosso documento 10-Q mais recente para obter mais informações.