Snowflake Openflow revoluciona a movimentação de dados para a IA e a interoperabilidade

A promessa da IA para empresas é tanto atraente quanto complexa. De acordo com as empresas pesquisadas para o nosso relatório O incrível ROI da IA generativa, muitas das empresas pioneiras a adotarem a IA generativa relataram ver melhorias significativas em termos de eficiência e um retorno médio de 41% sobre seus investimentos. No entanto, chegar até obter retorno sobre o investimento (ROI) é um caminho repleto de desafios, relacionados à preparação, ao gerenciamento e à qualidade dos dados. Com certeza, os desafios já conhecidos quanto à capacidade de resposta, a escalabilidade e o tratamento de dados multimodais dificultam a produtividade. Mas, ainda mais importante, eles deixam a IA prática fora de alcance.

Pipelines de integração herdados (rígidos e difíceis de adaptar, expandir e dimensionar) requerem um número impressionante de ferramentas para gerenciar e um trabalho ainda maior de manutenção. Os dados acabam se movimentando em um labirinto de pipelines fragmentados, exigindo uma engenharia complexa para a integração dos dados de todas as várias fontes, e em todas as várias formas. E, ainda assim pode ser que esses pipelines não deem conta.

O que os engenheiros de dados modernos precisam é de uma solução radical, uma plataforma que atenda a todas as necessidades que eles têm de integração de dados (que seja adaptável e extensível), mas ainda simples de gerenciar e controlar.

A espera acabou: apresentamos o Snowflake Openflow, um serviço aberto de integração de dados multimodais extensível e gerenciado que facilita a movimentação de dados entre fontes e destinos. Oferecendo suporte a todos os tipos de dados, estruturados e não estruturados, em lote e de streaming, o Openflow possui todo o necessário para fazer a IA para empresas funcionar, possibilitando ETL contínuo e revolucionando a movimentação total de dados no Snowflake. 

Toda a integração de dados é unificada em uma única plataforma, com extensibilidade e interoperabilidade ilimitadas para se conectar a qualquer fonte de dados. O Openflow torna qualquer arquitetura de dados mais fácil, com confiabilidade e governança de nível empresarial, permitindo que as empresas dimensionem suas necessidades de integração com confiança e em escala. Anunciamos que o Snowflake Openflow agora está disponível ao público em todas as regiões comerciais do AWS com implementação Bring Your Own Cloud (BYOC).

Uma estrutura completa em torno do Snowflake Openflow

Para trazer essa visão para a realidade, o Openflow foi criado com uma base sólida e componentes-chave para integração moderna de dados, incluindo:

• Open source Apache NiFi: em essência, o Openflow conta com a estrutura de integração de dados OSS Apache NiFi, na qual milhares de clientes empresariais confiam. O Openflow viabiliza o Apache NiFi com governança, segurança, flexibilidade de implementação e observabilidade prontas para uso.   

• Implementação e runtime: os clientes executarão os conectores e pipelines do Openflow em uma implementação do Openflow. Os clientes poderão executar em seu próprio VPC por meio do serviço Bring Your Own Cloud (BYOC), disponível ao público no AWS, ou no Snowpark Container Services (SPCS) (versão preliminar privada), com o serviço de integração gerenciado pelo Snowflake. Os clientes podem ter várias implementações vinculadas ao plano de controle, atendendo a diferentes casos de uso. Dentro de uma implementação, os runtimes podem ser dimensionados horizontalmente, oferecer suporte a implementações multinodes e multicluster, bem como estabelecer resiliência para recuperação de desastres.

• Openflow service e API: a API e o serviço do Openflow são executados no Snowflake como serviços gerenciados, permitindo que os clientes provisionem e gerenciem pipelines de dados facilmente com uma interface de usuário intuitiva. Com isso, os clientes obtêm uma experiência de usuário unificada com observabilidade profunda, incluindo monitoramento e alertas em tempo real, visualização de DAG e atualização de informações do histórico.

• Conectores Openflow: os conectores Openflow são selecionados, gerenciados, seguros e governados. Leia a documentação Snowflake para encontrar conectores disponíveis ao público e em versão preliminar. Além disso, os conectores do Openflow podem ser facilmente estendidos e personalizados, e os usuários da tecnologia Openflow podem criar seus próprios fluxos com os componentes básicos do processador.

Abrindo inúmeras portas para integrar dados livremente

Com esse serviço gerenciado, o Openflow traz facilidade de uso, conveniência e segurança para o processo de criação de integração. Isso desbloqueia casos de uso de integração, incluindo: 

• Turbocharge ETL para IA: o Openflow conecta dados empresariais à IA com fluxos de dados bidirecionais quase em tempo real, onde quer que um modelo ou agente esteja. Em algumas soluções concorrentes, a conexão com dados não estruturados pode não ser viável, o que torna impossível fornecer agentes de IA e geração aumentada de recuperação (retrieval augmented generation, RAG). O Openflow oferece suporte a diversas estruturas e necessidades de dados, mantendo as permissões de usuário consistentes à medida que os dados são movidos da origem para o destino. Em conformidade com a lista de controle de acesso do sistema de origem (Source System Access Control List, ACL), o Openflow carrega permissões de usuário consistentes com a fonte. Ele também vem com recursos integrados para analisar e pré-processar os arquivos não estruturados antes de gravar para o Snowflake, utilizando recursos nativos do Snowflake Cortex AI em uma única plataforma. 

• Implementação híbrida em todo o acervo de dados: o Openflow oferece flexibilidade para implementar pipelines por meio da infraestrutura gerenciada ou BYOC da Snowflake, dando aos clientes controle total sobre onde os pipelines são executados e reduzindo a carga operacional, pois ambas as opções são serviços gerenciados. Os clientes não precisam mais abrir mão da facilidade de uso ou do controle. 

• Alto rendimento, baixa latência de dados de streaming: o Openflow conecta-se diretamente a fontes de streaming, incluindo Apache Kafka, Amazon Kinesis e Kafka Sink, permitindo que os dados de streaming fluam para o Snowflake e de volta para os sistemas de streaming. Graças à nova integração do Snowpipe Streaming com o Openflow (em versão preliminar), a ingestão de streaming agora oferece uma taxa de transferência de 10 GB/s com latência de cinco segundos para queries e transformação em linha. 

• Facilitando a arquitetura aberta: as plataformas de dados herdadas podem oferecer serviços de integração, mas muitas vezes são uma caixa preta que dependem do fornecedor. É difícil ampliar pipelines de integração de dados ou trabalhar com outras plataformas de dados. Por outro lado, o Openflow foi projetado com interconectividade em sua essência, facilitando uma arquitetura aberta e interoperável. Os usuários podem mover dados para os data lakes e lakehouses de sua preferência e adaptá-los facilmente aos novos padrões do setor, como o Apache Iceberg. 

O Openflow libera a movimentação de dados com centenas de conectores prontos para uso e personalizações facilmente extensíveis, simplificando a integração de dados diversos em uma única plataforma. Ampla variedade de fontes de dados que inclui Box, Google Ads, Microsoft Dataverse, Microsoft SharePoint, Oracle, Proofpoint, Salesforce, ServiceNow, Slack, Workday, Zendesk, entre outras. Em especial, a Snowflake está fazendo uma parceria com a Oracle para obter uma solução de alto desempenho, dimensionável e econômica para a replicação da captura de dados de alteração (change data capture, CDC) de bancos de dados Oracle para o Snowflake.  

O Openflow foi criado com interoperabilidade e escalabilidade em sua essência, prontos para serem ampliados em qualquer caso de uso, especialmente aqueles que oferecem suporte à IA. Por fim, o Openflow oferece simplicidade, controle, observabilidade e segurança e governança de nível empresarial.

"Nosso objetivo é oferecer experiências contínuas e baseadas em dados aos nossos clientes, e o Snowflake Openflow é um pilar fundamental para tornar isso real", disse David Libesman, SVP e GM of Data & Analytics da Workwave. "Especificamente, temos centenas de bancos de dados SQL Server. Com o Openflow, será mais fácil replicar dados em várias nuvens e regiões. Mas também estamos animados com o que ela pode oferecer para a IA e como ela nos preparará para o futuro. É a solução de ETL que vai incentivar a próxima geração de nossos produtos e serviços."

As possibilidades infinitas são realmente eletrizantes, pois nossos parceiros inovadores estão prontos para aproveitar o poder do Openflow. Temos orgulho de compartilhar o entusiasmo de nosso amplo ecossistema com mais de 30 parceiros de lançamento em todo o mundo. Juntos, estamos prontos para oferecer a tremenda oportunidade e o valor que o Openflow pode trazer para nossos clientes. 

Comece a usar o Snowflake Openflow

A Snowflake tem colaborado com parceiros de implementação em todo o mundo para possibilitar que os clientes usem o Snowflake Openflow.

Obtenha mais informações do Snowflake Openflow ou teste hoje mesmo. Caso deseje obter mais demonstrações e conhecer melhor o Openflow, participe do Data Engineering Connect em 29 de julho de 2025. Inscreva-se aqui. 

Declarações prospectivas

Esta página contém declarações prospectivas, inclusive sobre nossas futuras ofertas de produtos. Elas não constituem compromissos de fornecimento ou produção de quaisquer ofertas de produtos. Os resultados e os produtos reais podem diferir e estão sujeitos a riscos e incertezas conhecidos e desconhecidos. Consulte nosso documento 10-Q mais recente para obter mais informações.