Simplifique todo o ciclo de vida de desenvolvimento de dados

Quando a maioria dos dados corporativos chega aos sistemas que devem agir sobre eles, muitas vezes já estão desatualizados. Esse atraso é a diferença entre os agentes de IA darem uma resposta útil ou cometerem um erro caro. A IA com agentes só pode tomar decisões inteligentes quando tem acesso contínuo a informações atualizadas.

A demanda sobre as equipes de engenharia de dados mudou para pipelines em tempo real e arquiteturas orientadas a eventos à medida que mais organizações colocam a IA com agentes em produção, destacando a necessidade de conectar e governar mais fontes, mesmo que elas passem por mudanças constantes. Mas o que as equipes precisam desenvolver superou o que sua plataforma de dados pode suportar atualmente.

No Summit 2026, a Snowflake está fortalecendo a plataforma para ajudar as equipes de engenharia de dados a ter sucesso na era da IA. Isso inclui lançamentos notáveis, como um serviço de streaming nativo compatível com Apache Kafka e recursos com tecnologia de IA que reduzem a movimentação de dados e os custos de migração.

Essas melhorias reduzem o tempo que os engenheiros de dados dedicam ao gerenciamento de infraestrutura e à orquestração manual, permitindo que passem menos tempo com o trabalho braçal e mais tempo com os resultados que a IA torna possíveis, com o Snowflake CoCo servindo como o fio condutor que transforma uma configuração complexa em uma conversa guiada.

Transmita dados na velocidade que a IA exige

Os agentes observam, decidem, agem, aprendem e alimentam a próxima decisão com esse aprendizado. Cada ciclo de decisão deve tornar a próxima resposta mais precisa, mais pessoal e mais acionável. Esse ciclo é executado continuamente, o que significa que os dados que o alimentam também precisam fluir de forma contínua. As organizações que executam o Kafka já têm a base de streaming que esse ciclo exige. O problema é que operá-lo junto com uma plataforma de análise de dados separada significa pagar, governar e alocar equipes para dois sistemas distintos, enquanto os dados ainda chegam tarde ao local onde as decisões realmente acontecem.

O Datastream (em breve em versão preliminar privada) é o serviço de streaming nativo da Snowflake, compatível com Apache Kafka, projetado para consolidar essa sobrecarga operacional em uma única plataforma governada. Os dados chegam continuamente como tabelas nativas do Snowflake ou tabelas abertas do Apache Iceberg™, que podem ser consultadas em segundos. Os tópicos são protegidos com o controle de acesso baseado em função (RBAC) da Snowflake, e as tabelas herdam todo o poder do Horizon Catalog, incluindo classificação, linhagem e políticas de mascaramento. Os dados são governados no momento em que chegam. Basta descrever o pipeline de streaming que você precisa, e o CoCo cuidará da autenticação do Datastream e da integração das equipes em minutos, sem a necessidade de conhecimento profundo em Kafka.

O Datastream foi desenvolvido especificamente para organizações que desejam substituir sua infraestrutura Kafka por um serviço nativo da Snowflake. A Snowpipe Streaming High-Performance Architecture é uma API de ingestão direta para equipes que transmitem dados de suas próprias aplicações, incluindo de clusters Kafka existentes por meio do Kafka Connector. Hoje, a Cboe Global Markets, operadora do mercado de câmbio financeiro, processa 190 bilhões de linhas de dados de mercado diariamente e as consulta em menos de 30 segundos para dar a traders e analistas visibilidade em tempo real da atividade do mercado. No Summit, as melhorias no Snowpipe Streaming incluem:

• O Kafka Connector 4.0 (GA) oferece ingestão no lado do servidor de até 10 GB/s por tabela e reduz os recursos no lado do cliente em até 30%¹, para que as equipes possam ajustar a escala da taxa de transferência sem sacrificar os custos.
• O Error logging (GA) captura linhas com falha em uma tabela consultável por SQL com contexto completo, para que as equipes detectem problemas de qualidade de dados antes que os agentes ajam com base em entradas incorretas.
• Com o suporte a SDK em várias linguagens (GA), as equipes transmitem a partir de seu stack familiar, incluindo Java, Python, Node.js e uma interface REST.
• Os Elastic Channels (em versão preliminar privada) permitem que milhares de clientes transmitam simultaneamente gigabytes por segundo para uma tabela por meio de um ponto de extremidade compartilhado e com escalonamento automático, reduzindo o tempo de desenvolvimento para criar e ajustar a escala de pipelines de streaming.
• Os Durable Acknowledgments (em versão preliminar privada) removem a janela de possível perda de dados entre a ingestão e o commit. Pipelines de missão crítica nunca alimentam agentes com dados incompletos.

Pipelines que se gerenciam sozinhos

Colocar os dados no Snowflake em tempo real é apenas metade do trabalho. A outra metade é transformar esse fluxo bruto em algo que analistas, modelos e agentes possam realmente consumir. Essa camada de transformação precisa ser executada continuamente, lidar com suas próprias tentativas e lógica de atualização, e permanecer confiável sem um engenheiro dedicado monitorando-a constantemente. As equipes avançam mais rápido quando os pipelines se gerenciam sozinhos.

No Summit, Sergey Labetsik, da Wind Creek Hospitality, demonstrou como a migração de um job em lote do dbt, que antes era executado em um cronograma de 30 minutos, para um pipeline de Dynamic Tables reduziu a latência de ponta a ponta para menos de um minuto, entregando vouchers de alimentação aos hóspedes no momento em que os ganhavam.

E esse caminho declarativo ficou mais rápido e flexível. As melhorias de performance (GA) oferecem uma atualização até 2,8 vezes mais rápida para cargas de trabalho comuns de Dynamic Tables². A incrementalização personalizada (em versão preliminar pública) permite que os engenheiros usem instruções MERGE ou INSERT para transformações que não podem ser expressas de forma declarativa, mantendo a automação total das Dynamic Tables.

Os DCM Projects (em versão preliminar pública) oferecem às equipes um fluxo de trabalho único e controlado para definir a infraestrutura de forma declarativa, visualizar e implementar mudanças em todos os ambientes e manter uma trilha de auditoria completa de cada implementação. Os dbt Projects no Snowflake, agora ainda mais rápidos com o suporte ao Fusion (GA), estendem essa mesma filosofia aos usuários do dbt.

As habilidades do CoCo para Snowpipe Streaming, Dynamic Tables e dbt Projects aceleram a configuração e a solução de problemas nesses fluxos de trabalho, permitindo que os engenheiros se concentrem na lógica do pipeline em vez de em códigos repetitivos.

Acesse dados corporativos com semântica de negócios, sem movê-los

Alguns dos dados de maior valor em qualquer organização nunca precisam ser movidos. Eles já residem nas principais plataformas corporativas, como SAP, Salesforce e Workday, com significado de negócios, relacionamentos e modelos semânticos integrados. Para os executivos que tentam colocar iniciativas de IA em produção, esse custo de reconstrução costuma ser o maior obstáculo.

Em vez de replicar dados, as Zero-Copy Integrations trazem a inteligência do sistema de origem diretamente para o Snowflake: governada, pronta para consulta e com a riqueza semântica de que as cargas de trabalho de IA precisam para funcionar de forma confiável. Modelos e agentes operam em dados que mantêm seu contexto de negócios original, em vez de réplicas de tabelas simplificadas.

O SAP agora está em GA por meio do SAP BDC Connect for Snowflake, oferecendo integração bidirecional de cópia zero. Os engenheiros de dados acessam dados do SAP ERP para IA, análise de dados e engenharia de dados sem ETL complexo, enquanto insights enriquecidos retornam ao SAP para acionar ações automatizadas. O Salesforce Data 360, pioneiro na integração nativa de cópia zero com o Snowflake, oferece uma experiência de conector aprimorada que permite aos clientes compartilhar dados bidirecionalmente com zero manutenção de pipeline. O Workday entra em versão preliminar privada, trazendo dados de finanças e de pessoas como tabelas Iceberg gerenciadas externamente com captura de alterações incrementais na camada de armazenamento.

Nos três casos, a arquitetura é consistente: os dados residem no sistema de origem, surgem no Snowflake por meio de Catalog-Linked Databases e herdam todo o perímetro de governança do Horizon. A linhagem de ponta a ponta, as políticas de acesso e as trilhas de auditoria se aplicam a partir do momento em que os dados se tornam visíveis. Além disso, as habilidades do CoCo lidam com o gerenciamento do ciclo de vida para que as equipes configurem e mantenham conexões por meio de prompts em linguagem natural, tornando a integração de dados corporativos acessível a qualquer usuário do Snowflake.

Conecte o que resta com o Snowflake Openflow

A cópia zero funciona para plataformas corporativas que investiram em caminhos de integração nativa. Mas muitos dados críticos ainda residem em bancos de dados de processamento de transações online (OLTP) locais, aplicações SaaS e sistemas herdados que nunca foram projetados para compartilhamento.

Desde o lançamento no ano passado, o Openflow, serviço de integração de dados gerenciado da Snowflake, com tecnologia Apache NiFi, tem visto uma adoção crescente pelos clientes à medida que as equipes consolidam stacks de conectores fragmentados em uma única plataforma. Esse momento está impulsionando uma expansão significativa de escopo no Summit.

A implementação gerenciada da Snowflake agora está em GA no Google Cloud Platform, juntando-se à AWS e ao Azure. O Data Connectivity Proxy (em breve em GA na AWS) estende o Openflow para redes privadas, conectando fontes que antes exigiam engenharia personalizada para serem alcançadas. O Openflow oferece suporte a dados estruturados e dados não estruturados, em lote e em streaming, e permanece aberto e extensível. As equipes criam conectores personalizados e os executam na plataforma gerenciada da Snowflake sem sacrificar o controle.

Um assistente de configuração guiada no Snowsight orienta a instalação do conector passo a passo com validação de conectividade de origem integrada, facilitando a transição da configuração para a ingestão de dados em minutos. Quando os conectores apresentam erros, a solução de problemas assistida por IA, com tecnologia CoCo e incorporada diretamente no Connector Monitoring Dashboard, analisa os logs e fornece etapas de correção direcionadas em toda a crescente biblioteca do Openflow, incluindo conectores de alta demanda recém-adicionados, como Veeva, BigQuery e MongoDB (todos em versão preliminar pública). Esses conectores usam personalização assistida por IA para acelerar a implementação e fornecer visibilidade mais profunda de dados especializados do setor.

Crie e implemente em escala com o Snowpark

Nem toda transformação se adapta a um modelo declarativo. Para engenheiros de dados e cientistas de dados que criam de forma programática com Python, Java, Scala e Apache Spark™, as transformações envolvem análise complexa de arquivos, inferência de ML em escala de lote e fluxos de trabalho Python de várias etapas. O desafio é que a implementação em produção pode levar mais tempo do que escrever o próprio código. O Snowpark elimina essa distância entre o protótipo e a produção.

Os principais lançamentos no Summit incluem inferência de lote de ML otimizada (versão preliminar pública) para pontuação mais rápida e eficiente em escala; APIs de integração de dados do Snowpark expandidas com suporte a JDBC (versão preliminar pública) para reduzir o trabalho necessário para trazer dados externos para o Snowflake; transformação de arquivos para Apache Spark (em breve em versão preliminar pública) para ETL de arquivos grandes e complexos; Snowpark Directory Import (em GA) para implementação mais simples de projetos Python de vários arquivos; um construtor visual de pipeline DAG para orquestrar Notebooks e ML Jobs (versão preliminar privada); e Code Bundles para implementar código Python e Java em produção (em breve em versão preliminar pública).

As habilidades do CoCo para Snowpark Python e Apache Spark reduzem ainda mais o atrito de implementar e migrar esses pipelines programáticos, ajudando as equipes a passar do código Python ou Apache Spark local para fluxos de trabalho prontos para produção com performance 5,1 vezes mais rápida e custos 42% menores³.

Defina seu alvo: o Snowflake AIM cuida do resto

Nada atrasa tanto uma equipe de dados quanto o peso do que ela herdou. Ferramentas de ETL herdadas, dialetos SQL antigos, esquemas Oracle anteriores à equipe de engenharia atual: os projetos de migração têm uma reputação bem merecida de demorar muito, estourar o orçamento e introduzir riscos a cargas de trabalho que funcionavam bem, até deixarem de funcionar. Muitas organizações acabam mantendo o stack antigo em paralelo com o novo, dobrando tanto o custo quanto o esforço de gerenciamento por meses, se não anos.

O Snowflake AIM (migração com tecnologia de IA), agora em GA, é uma plataforma unificada de migração, modernização e virtualização que combina IP do SnowConvert AI, do Snowpark Migration Accelerator e da Datometry. Um agente de migração do Snowflake AIM, disponível por meio do Snowflake CoCo, orienta as equipes em toda a jornada de ponta a ponta: ele apresenta um panorama claro e ciente das dependências do que precisa ser movido, em que ordem e com quais níveis de risco, antes que alguém toque na produção. Processos que antes levavam semanas ou meses agora acontecem em uma fração do tempo.

O engenheiro de dados como arquiteto de resultados

O padrão em todos os anúncios é o mesmo: reduzir o tempo que os engenheiros passam mantendo os sistemas em funcionamento para que possam dedicar mais tempo aos resultados que importam. As tarefas que antes consumiam ciclos de engenharia, da manutenção de conectores à depuração de pipelines, estão se tornando mais rápidas e simples de lidar a cada lançamento, e o CoCo é o fio que as une.

Nesse ambiente, o papel do engenheiro de dados só cresce. O trabalho passa a ser menos sobre infraestrutura básica e mais sobre a arquitetura da base de dados na qual a IA realmente é executada. A Snowflake continua comprometida em tornar o complexo invisível para que as equipes de dados possam se concentrar no que agora tornam possível.

• Tem interesse no Datastream? Demonstre seu interesse
• Demonstração: uso do Cortex Code com o Snowflake Openflow
• Demonstração: Crie pipelines de IA de alta performance com streaming em tempo real e CoCo
• Demonstração: Implemente pipelines de Python com o CoCo em menos de 2 minutos
• Demonstração: Migre código PySpark para o Snowflake com o CoCo
• Snowflake Connect: Engenharia de dados | Building Transformation Pipelines for AI-Ready Data

1. Os clientes estão relatando custos de recursos do lado do cliente até 30% menores usando a arquitetura de alta performance do Snowpipe Streaming. Veja mais aqui: Scaling Streaming at Snowflake: Introducing Our Next-Gen Snowpipe Streaming Architectures
2. Melhorias de performance do Snowflake com base em uma carga de trabalho de transformação interna medida em 4 de maio de 2025 usando o Standard Warehouse e em 4 de maio de 2026 usando o Gen2.
3. Com base em casos de uso de produção de clientes e exercícios de prova de conceito comparando a velocidade e os custos do Snowpark em relação aos serviços Spark gerenciados entre novembro de 2022 e maio de 2025. Todas as conclusões resumem os resultados de clientes reais, com base em dados verídicos, não representando conjuntos de dados fabricados para benchmarks.