O Snowflake Kafka Connector versão 4.0 já está em GA. Veja por que acreditamos que esta é uma grande atualização

Executar o Apache Kafka® ao ajustar a escala significa que seu conector vem fazendo um trabalho que nunca deveria ser dele: gerenciamento de buffers, validação de esquema e ajuste da Java Virtual Machine (JVM). Criamos o Kafka Connector versão 4.0 (V4) para mudar isso. Ele foi reescrito do zero, com base na Snowpipe Streaming High-Performance Architecture, um serviço de ingestão do lado do servidor que faz validação, transformação e commit dentro da plataforma. Agora, o papel do conector é direto. Ele entrega as linhas, e o Snowflake cuida do resto.

O Snowpipe Streaming já provou seu valor ao ajustar a escala, rodando em produção em milhares de implantações de clientes desde que ficou disponível ao público. O Kafka Connector V4 aproveita isso ao máximo, levando a lógica de ingestão para o lado do servidor e tirando essa carga totalmente dos seus workers. O Kafka Connector versão 3.0 (V3) foi testado em produção por anos. O caminho de atualização para o Kafka Connector V4 não exige recomeçar do zero. Se você usa o V3 hoje, sua Dead Letter Queue (DLQ) e seus padrões de tratamento de erros continuam funcionando, sem mudanças, desde o primeiro dia. Você avança no seu ritmo.

Com o Kafka Connector V4 em GA hoje, observamos até 10 GB/s de throughput por tabela e latência completa de 5 segundos, da ingestão até os dados ficarem disponíveis para consulta. Para facilitar muito a previsão de custos, ele usa os mesmos preços de ingestão do modelo baseado em throughput do Snowpipe Streaming, substituindo o modelo baseado em créditos vinculado ao processamento serverless e às conexões do cliente. Você paga 0.0037 créditos por GB, de forma consistente. Com base em benchmarks internos do rollout para clientes das edições Business Critical e Virtual Private Snowflake (BC/VPS) em agosto de 2025, os clientes já estão obtendo mais de 50% de economia de custos com o novo modelo de preços. E, para deixar tudo mais simples do que nunca, criamos uma skill do Kafka Connector V4 no Cortex Code e um conjunto de skills que levam você da configuração a uma pipeline de streaming em execução no Snowflake.

A mudança de arquitetura

No Kafka Connector V3, o conector carregava muita responsabilidade: validação do lado do cliente, gerenciamento de buffers, conversores personalizados específicos do Snowflake e tratamento de esquemas. Tudo isso consumia recursos e criava possíveis pontos de falha na infraestrutura do lado do cliente.

O Kafka Connector V4 inverte esse modelo. O processamento passa para o lado do servidor por meio de PIPE objects, objetos gerenciados pelo Snowflake que definem como os dados de streaming são validados, transformados e commitados antes de chegarem à sua tabela. O papel do conector fica simples: Entregar as linhas. O Snowflake cuida da validação, transformação, clustering e commit. Para clientes que estão migrando ou fazendo atualização para a versão mais recente, o Kafka Connector V4 oferece compatibilidade opcional do lado do cliente com os principais recursos do V3, o que permite fazer a atualização sem se preocupar com tempo de inatividade.

Essa mudança simplifica tudo o que vem depois:

• Criação automática de tabelas: O conector cria as tabelas de destino a partir dos seus dados. Não é necessário pré-provisionamento.
• Evolução de esquema do lado do servidor: O Snowflake adiciona novas colunas conforme seus dados mudam. Sem DDL do lado do cliente.

Conversores padrão da comunidade: O Kafka Connector V4 elimina os SnowflakeJsonConverter e SnowflakeAvroConverter, específicos do Snowflake. Use os conversores padrão JsonConverter, AvroConverter e ProtobufConverter que você já conhece.

• Configuração simplificada: Dezenas de ajustes finos de buffer, streaming e otimização foram removidos. O servidor gerencia o que o servidor deve gerenciar.
• Compatibilidade de migração: Recursos como validação do lado do cliente com DLQ têm suporte completo. Migre a classe do seu conector, mantenha seus padrões de tratamento de erros e adote os recursos do Kafka Connector V4 no seu ritmo.

Teste na prática com o Cortex Code. Se você quiser ver de perto a configuração simplificada, basta digitar ssv2 quickstart no Cortex Code para começar.

Performance

Ao avaliar a performance de streaming, o gargalo raramente é a rede. Na maioria das vezes, é a sobrecarga de processamento nos seus workers do Kafka Connect. Comparamos V3 e V4 em benchmark sob uma carga de trabalho pesada (quatro CPUs, 8 GB de RAM, oito partições, oito Tasks por nó, tamanho de mensagem de aproximadamente 10K e 250 colunas). Os dados mostram exatamente por que evoluir para uma arquitetura do lado do servidor nos permite ampliar os limites de performance mais do que nunca.

O gráfico de utilização de CPU ilustra exatamente como o V4 consegue ajustar a escala dessa forma. No limiar de 8 MB/s por partição, o V3 maximiza seus recursos de processamento disponíveis, chegando a 96% de CPU para acompanhar a transformação e a serialização dos dados. Já o V4 processa essa mesma carga de trabalho usando apenas 33% de CPU e consumindo bem menos memória. Isso mostra uma economia real de infraestrutura do lado do cliente para organizações que precisam ajustar a escala.

Por que essa diferença tão grande? Primeiro, o SDK do V4 evolui nosso trabalho anterior ao introduzir um núcleo compartilhado em Rust, altamente otimizado. Ao migrar da implementação puramente em Java do V3, reduzimos a pegada no cliente, diminuindo o uso de CPU, reduzindo os requisitos de memória e eliminando a pressão do Java Garbage Collection (GC). Na prática, isso significa workers menores do Kafka Connect e uma infraestrutura mais enxuta para você operar.

Segundo, o V4 usa os PIPE objects do Snowflake para levar o processamento para o lado do servidor. Em vez de usar o processamento dos workers para transformações do lado do cliente, o V4 simplesmente entrega as linhas. O Snowflake faz nativamente o clustering em trânsito, renomeia colunas, converte tipos e filtra registros automaticamente conforme os dados chegam. Suas consultas rodam mais rápido com dados recentes e bem clusterizados, tudo isso sem nenhuma sobrecarga adicional do lado do cliente.

Preços e eficiência

O Kafka Connector V4 usa o modelo de preços baseado em throughput. do Snowpipe Streaming. Você paga por GB não compactado ingerido a 0.0037 créditos por GB, ou cerca de $0.01/GB, dependendo da sua edição do Snowflake. Para ver os preços mais atualizados, consulte a tabela de consumo do Snowflake. Isso substitui o modelo anterior baseado em créditos, vinculado ao processamento serverless e às conexões do cliente. É mais previsível e mais fácil de projetar.

O modelo de preços muda quando você migra do Kafka Connector V3. A economia de recursos do lado do cliente, a melhor performance de consulta em dados clusterizados e as transformações em trânsito que eliminam etapas separadas de processamento contribuem para reduzir o custo total de propriedade.

É no lado do cliente que a economia fica mais concreta. O núcleo em Rust do Kafka Connector V4 e o processamento do lado do servidor fazem com que seus workers do Kafka Connect precisem de bem menos recursos. Um cliente relatou até 30% de redução nos custos do lado do cliente. Instâncias menores. Menos workers. Menos custos de infraestrutura.

Tratamento de erros com registro de erros

O processamento do lado do servidor muda a forma como você investiga registros com falha. No Kafka Connector V3, investigar registros com falha significava procurar em logs do cliente e na saída dos workers do Kafka Connect em uma infraestrutura distribuída. Com a validação do lado do servidor do Kafka Connector V4, os registros com falha vão para uma tabela de erros consultável via SQL dentro do Snowflake. Mensagem de erro, offset, timestamp, contexto do canal, tudo o que você precisa para diagnosticar problemas, acessível com uma consulta SELECT. A investigação sai do mergulho em log distribuído e vai para um console SQL.

A validação do lado do servidor faz toda a verificação de tipos no lado do Snowflake. Você recebe códigos de erro detalhados e status do canal em tempo real.

Para equipes que preferem o roteamento de erros nativo do Kafka, a validação do lado do cliente com DLQ continua com suporte completo. Mesma configuração, mesmo comportamento do Kafka Connector V3. Você pode manter seus padrões atuais e adotar as tabelas de erro do lado do servidor quando estiver pronto. Escolha o que faz sentido para sua pipeline, mas, para a maioria das equipes, as tabelas de erro são o caminho a seguir.

Migração: Três etapas para o Kafka Connector V4

Sabemos que migrar é uma decisão importante, especialmente quando você executa dezenas de conectores em centenas de tópicos. Por isso, criamos o Kafka Connector V4 com a migração no centro de tudo.

Você faz a atualização ao mudar para a nova versão e classe do conector (SnowflakeStreamingSinkConnector em vez de SnowflakeSinkConnector do Kafka Connector V3). Configs de compatibilidade prontas para migração já vêm prontas para uso e reproduzem o comportamento do Kafka Connector V3, para você começar com o mínimo de mudanças:

Por padrão, o Kafka Connector V4 usa ingestão com esquema, em que cada chave JSON é mapeada para sua própria coluna na tabela. Isso oferece mais performance e é o que recomendamos. Se você quiser manter o modo padrão de duas colunas do Kafka Connector V3 (RECORD_CONTENT e RECORD_METADATA como VARIANT), defina snowflake.enable.schematization=false.

O caminho é incremental:

1. Atualizar para o Kafka Connector V4 com a nova classe do conector e aplicar os sinalizadores de compatibilidade acima.
2. Testar com seus dados existentes em um ambiente que não seja de produção.
3. Adotar os padrões do Kafka Connector V4 aos poucos: validação no lado do servidor, nomenclatura nativa de colunas e muito mais.

A migração é contínua. O Kafka Connector V4 faz a recuperação de offsets com base nas configs que você escolher. A integridade dos dados e a entrega exactly-once são mantidas durante todo o processo. Suas tabelas existentes continuam funcionando e você pode executar o Kafka Connector V3 e o Kafka Connector V4 lado a lado em tópicos diferentes durante uma implantação em fases.

Você também pode automatizar sua migração com o Cortex Code. A habilidade Custom Kafka Consumer do Cortex Code orienta você na configuração, execução e depuração em minutos. Digite kafka consumer or kafka to snowflake no Cortex Code para começar.

Comece agora

O Kafka Connector V4 está em GA hoje. O Kafka Connector V4 está disponível no Maven e é compatível com o Apache Kafka 2.x e 3.x, incluindo Confluent Platform e Amazon Managed Streaming for Apache Kafka (Amazon MSK). Ele oferece suporte à integração com o Schema Registry com modos de validação no lado do cliente e requer Java 11+. Estamos trabalhando com nossos parceiros para incluir o Kafka Connector V4 nas ofertas gerenciadas de Kafka Connect.

Coloque as habilidades do Cortex Code em prática

O Cortex Code vem com três habilidades criadas especificamente para o Snowpipe Streaming, que levam você da configuração a padrões de produção em minutos. Explore todas as habilidades do Cortex Code no GitHub.

Para ver a lista completa das limitações atuais, consulte a documentação do Kafka Connector V4.

• Visão geral da arquitetura de alta performance do Snowpipe Streaming
• Documentação do Kafka Connector V4
• Guia de migração: Do Kafka Connector V3 para o Kafka Connector V4
• Detalhes de preços: Para uma experiência mais interativa, experimente a Snowflake Pricing Calculator, uma ferramenta online que considera provedor de nuvem, processamento, armazenamento e uso de IA, e ajuda você a estimar seus custos hoje.