Snowflake Postgres unifica seus apps, análise de dados e IA

Toda empresa opera em dois mundos. Em um deles, seus apps processam pedidos, rastreiam eventos e atendem clientes em tempo real. No outro, sua plataforma de análise de dados revela insights, treina modelos e impulsiona a IA. Entre eles, há um emaranhado de pipelines de extração, transformação e carregamento (ETL), rotinas em lote e ferramentas de terceiros que custam uma fortuna para manter. 

Agora, o Snowflake Postgres está fechando essa lacuna. No Snowflake Summit, anunciamos:

• Espelhamento de dados: replicação contínua entre o Postgres e o Snowflake (em breve em versão preliminar pública) 

• Postgres para o seu Data Lake: uma maneira mais flexível de sincronizar o Postgres com a análise de dados usando formatos abertos como o Iceberg (em breve em GA) 

Eles fornecem uma conexão contínua entre dados transacionais e analíticos, sem a necessidade de pipelines complexos.

Resolvendo o problema número 1 de infraestrutura

Os clientes nos dizem constantemente que mover dados entre bancos de dados de processamento de transações online (OLTP) e processamento analítico online (OLAP) é a tarefa de infraestrutura mais difícil em seu data estate. Os custos visíveis, como licenciamento de ETL, capacidade de processamento de pipelines e taxas de conectores, são apenas a ponta do iceberg. Por baixo, escondem-se inconsistências de dados, riscos de governança, horas de engenharia gastas em manutenção e decisões atrasadas devido a dados desatualizados.

Na era dos agentes de IA e apps em tempo real, essa abordagem deixa você sempre um passo atrás. Seu modelo de fraude não consegue detectar a ameaça de hoje com o carregamento em lote da noite passada. Seu mecanismo de preços não consegue otimizar com um atraso de seis horas.

Com o Snowflake Postgres, desenvolvemos uma abordagem fundamentalmente diferente e radicalmente mais simples para usar o Postgres e o Snowflake juntos.

Duas novas maneiras de conectar seus dados: espelhamento de dados contínuo e integração de Data Lake em formato aberto

Com tecnologia da nossa extensão pg_lake de código aberto, agora você pode escolher entre o espelhamento de dados contínuo e a integração flexível de Data Lake em formato aberto para conectar dados transacionais e analíticos de forma contínua.

1. Espelhamento de dados: replicação de dados "configure e esqueça"

O espelhamento de dados fornece replicação de baixa latência entre o Postgres e o Snowflake. Depois de criar um espelho, o Snowflake mantém tabelas de destino que refletem o estado atual de suas tabelas de origem, incluindo alterações de esquema e novas tabelas que você cria em esquemas espelhados.

Configure tudo em poucos cliques pelo Snowflake CoCo, pela interface do Snowsight ou por um único comando SQL. É isso. Apenas seus dados, fluindo para onde precisam ir. Confira nesta demonstração:

Os principais benefícios do espelhamento de dados incluem:

• Zero infraestrutura para gerenciar: os espelhos são executados inteiramente dentro do Snowflake. Não há serviço CDC externo para implementar, nenhum processo de conector para monitorar e nenhum fornecedor adicional para gerenciar.

• Leituras sempre atualizadas: cada tabela espelhada inclui uma exibição $live que combina dados já aplicados com alterações em andamento. Assim, os leitores veem todas as alterações de origem confirmadas em segundos.

• Consistência transacional: as alterações de uma única transação de origem aparecem no destino juntas. Os relacionamentos entre tabelas (como chaves estrangeiras) permanecem intactos, para que suas junções e relatórios downstream continuem precisos.

• Histórico de alterações integrado: cada tabela espelhada recebe automaticamente um feed de alterações de sete dias ($changes) que expõe inserções, atualizações e exclusões, que podem ser consultadas tanto no Snowflake quanto no Postgres. 

• Alta taxa de transferência em qualquer escala: a replicação usa uma estratégia de aplicação otimizada que ignora verificações caras de tabela completa, para que a performance continue rápida à medida que seus dados crescem.

O espelhamento de dados é especialmente útil para equipes que querem parar de se preocupar com a movimentação de dados. Você configura uma vez, e seus sistemas OLTP e OLAP permanecem sincronizados de forma automática, contínua e confiável. E o espelhamento de dados em breve funcionará na outra direção também: o espelhamento do Snowflake para o Postgres chegará ainda este ano, criando uma verdadeira ponte bidirecional entre seus mundos transacional e analítico.

2. Postgres para o seu Data Lake: o canivete suíço da movimentação de dados

Nem todo caso de uso exige sincronização contínua. Às vezes, você precisa de mais flexibilidade. Por exemplo, você pode querer mover arquivos específicos, criar tabelas compartilhadas de formato aberto ou transformar dados a caminho do Snowflake.

O Postgres para o seu Data Lake oferece essa flexibilidade:

• Movimentação de arquivos: envie e extraia arquivos entre o Postgres e o Snowflake por meio de stages internos do Snowflake ou armazenamento de objetos externo.

• Tabelas Apache Iceberg™ compartilhadas: crie tabelas Iceberg de formato aberto que tanto o Postgres quanto o Snowflake podem ler. Isso significa uma tabela para dois sistemas e zero duplicação.

• Transformação durante a movimentação: aplique transformações SQL (filtros, junções, agregações) à medida que os dados se movem entre o Postgres e o Snowflake. 

Isso oferece aos desenvolvedores a experiência completa do Postgres que eles adoram, além de interoperabilidade nativa com padrões abertos como Iceberg e Parquet. É para equipes que desejam mais controle sobre como, quando e quais dados são movidos.

O resultado: uma plataforma, zero pipelines.

Juntos, esses recursos significam que você pode escolher a abordagem certa para cada uma de suas cargas de trabalho.

Resultados reais: empresas já estão eliminando pipelines

Ericsson: de um atraso de 48 horas para minutos

A equipe de dados de base da Ericsson coleta dados de software, hardware e licenças de todas as redes de clientes do mundo. Várias equipes downstream, da IA ao suporte ao cliente, dependem desses dados. Anteriormente, os dados ficavam presos em quatro bancos de dados herdados conectados por pipelines que levavam até 40 dias para sincronizar.

Ao consolidar no Snowflake Postgres, a Ericsson eliminou totalmente esses pipelines. A plataforma de suporte ao cliente deles, onde a criação de tickets depende de saber exatamente o que está implementado em campo, passou de um atraso de dados de 48 horas e tempos de processamento de 12 horas para menos de uma hora, de ponta a ponta. Agora, todas as equipes acessam os mesmos dados confiáveis por meio da camada de compartilhamento da Snowflake.

A SimCorp tornou a sincronização de dados 10 vezes mais rápida

A SimCorp fornece software de investimentos para as principais instituições financeiras do mundo, gerenciando dados extensos de instrumentos financeiros que abrangem mais de 40 anos. Para dar suporte a essa escala, eles operavam ambientes separados do Postgres e da Snowflake, com processos de reconciliação personalizados que exigiam horas de transferência de dados entre os sistemas.

Com o Snowflake Postgres, essa complexidade foi eliminada. O Snowflake Postgres elimina a necessidade de código de reconciliação, simplificando as operações e reduzindo a sobrecarga.

O impacto tem sido significativo. Seu serviço de ID de mercado, que padroniza os códigos de câmbio para garantir rastreamento e relatórios consistentes, reduziu o tempo de sincronização em 10 vezes, de várias horas para menos de 20 minutos. Ao mesmo tempo, seus modelos de risco de missão crítica e curvas de spread de crédito, que permitem que as equipes de investimento quantifiquem o risco de mercado, agora alcançam disponibilidade imediata para clientes globais por meio de IA e compartilhamento de dados.

Olhando para o futuro, a SimCorp está usando essa base para permitir o balanceamento de carga inteligente entre o Postgres e a Snowflake por meio de sua plataforma de dados. Essa evolução está abrindo caminho para uma nova geração de aplicações com tecnologia de dados transacionais e analíticos integrados, gerando insights mais rápidos, escalabilidade aprimorada e resultados mais fortes para clientes em todo o mundo.

Por que o Snowflake Postgres é diferente

A maioria das ferramentas de replicação de dados funciona inserindo um serviço separado entre seu banco de dados e seu warehouse, dando a você outro sistema para monitorar e outro fornecedor em seu stack. Elas tratam a movimentação de dados como um problema externo acoplado à sua infraestrutura.

O Snowflake Postgres a trata como um recurso nativo. A movimentação de dados é desenvolvida no pg_lake, nossa extensão do Postgres de código aberto que permite que o Postgres grave diretamente no armazenamento de objetos, a mesma camada da qual a Snowflake lê. Não há intermediários. Apenas o Postgres e a Snowflake, trabalhando juntos de forma nativa.

Para você, isso significa:

• Nenhum novo fornecedor para avaliar, pagar e gerenciar

• Nenhuma nova infraestrutura para implementar e monitorar

• Nenhuma nova habilidade para aprender: é o Postgres padrão e a Snowflake padrão, baseados em padrões abertos

• Nenhum atraso de dados prejudicando seus agentes de IA e apps em tempo real

E se você já for cliente da Snowflake, poderá impulsionar essas cargas de trabalho transacionais com seus custos comprometidos existentes, sem a necessidade de um novo contrato.

Quando os dados transacionais e analíticos são um só, a IA e os apps operam com a verdade mais recente. Os agentes veem as transações mais recentes quase em tempo real. Os modelos de precificação são executados com dados atualizados. A detecção de fraudes captura as ameaças à medida que elas acontecem. Os dashboards refletem a realidade atual, não a realidade de ontem.

Comece hoje mesmo

O espelhamento de dados do Postgres para a Snowflake estará disponível em versão preliminar pública em breve. O Postgres para o seu data lake estará em GA em breve. Confira estes recursos para começar:

• Primeiros passos com o Snowflake Postgres

• Quickstart: Sincronize dados com o Iceberg e o pg_lake

• pg_lake no GitHub

• Movimentação de dados com o Snowflake Postgres

Declarações prospectivas: Esta publicação contém declarações prospectivas sobre futuras ofertas de produtos que não são compromissos de entrega. Os resultados reais podem ser diferentes. Consulte nosso documento 10-Q mais recente para obter mais informações.