Segredos do sucesso na migração do Spark para o Snowflake: experiência e resultados dos clientes

O cenário de negócios atual está cada vez mais competitivo, e a plataforma de dados certa pode ser a diferença entre as equipes que se sentem capacitadas ou limitadas. Gosto de falar com líderes de diferentes setores e organizações sobre o que é mais importante para eles, conforme eles avaliam várias plataformas de dados. 

Nessas conversas, tenho ouvido muitas perguntas: Minha plataforma de dados será dimensionável e confiável o suficiente? Será fácil de usar por toda a minha equipe? Como serão os custos? Como meus dados vão permanecer seguros e governados? 

Parte essencial dessa decisão é determinar uma tecnologia fundamental para criar uma infraestrutura. Ambientes gerenciados do Apache Spark (como o Databricks, o Amazon EMR e algumas implementações do Cloudera) podem dar às equipes uma infinidade de problemas, que podem incluir complexidade, custos imprevisíveis, preocupações de segurança ou problemas de desempenho. 

Vejo esses fatores como as principais razões por que organizações de todos os tamanhos e setores passam para o Snowflake. Ajudar as organizações durante uma migração e ver os incríveis resultados que elas obtêm. Essa é a parte mais gratificante do meu trabalho. E, no novo livro “Secrets of Apache Spark to Snowflake Migration Success”, mostramos algumas dessas histórias interessantes de clientes tão diferentes, como AMN Healthcare, IGS Energy, Intercontinental Exchange e New York Stock Exchange. 

Veja a seguir algumas organizações líderes que estão migrando de ambientes gerenciados do Spark para o Snowflake com o objetivo de economizar milhões de dólares, melhorar o desempenho e levar produtos ao mercado com mais velocidade para agradar seus clientes mais rapidamente. 

Travelpass oferece experiências mais personalizadas aos viajantes, reduzindo 65% de custos.

Fundada com base na ideia de descobrir interesses em comum por meio da exploração, a Travelpass conecta viajantes às melhores opções de hotel e viagem para atender às suas necessidades. Na Travelpass, os dados são a alma da empresa. No entanto, as equipes de dados da empresa passaram muito tempo concentrando-se em como criar, em vez de o que criar.

Com a migração da Databricks para o Snowflake, a Travelpass agora possibilita que mais pessoas trabalhem com dados para oferecer maior eficiência, decisões mais fundamentadas e uma experiência mais personalizada para viajantes em todo o mundo. Graças à facilidade de uso e à acessibilidade do Snowflake, até engenheiros que não trabalham na Travelpass agora contribuem com os dados do Snowflake de forma significativa e rápida.

As vantagens incluem: 

• Redução de 65% dos custos ao mudar da plataforma anterior, Databricks, para o Snowflake.

• Eficiência 350% melhor na distribuição de dados para as unidades de negócios graças às Tabelas dinâmicas do Snowflake.

• Maior confiabilidade e estabilidade do ecossistema, eliminando depuração intensiva de trabalho do sistema anterior.

Chicago Trading Company consegue 54% de redução de custos cumprindo SLA diário pela primeira vez

Reconhecida como uma empresa líder na negociação de derivativos, a Chicago Trading Company (CTC) fornece liquidez para mercados em todo o mundo, ajudando a promover mercados eficientes, estáveis e saudáveis ao participar tanto do lado da compra quanto da venda. A plataforma de pesquisa da CTC coleta informações de milhares de fontes, incluindo feeds de todas as bolsas de negócios, preços de negociação históricos e dados de terceiros. No entanto, a CTC pagava US$ 800.000 por ano apenas para mover os dados do Snowflake para o Spark gerenciado para processamento e retorno. 

Para superar esses obstáculos, a CTC mudou seu processamento do Spark gerenciado para o Snowflake, onde já tinha criado sua base de dados. Com o Snowflake e o Snowpark, a CTC obteve mais visibilidade e controle sobre seus custos e reduziu drasticamente as falhas nos trabalhos de processamento de dados. Isso é uma melhoria inestimável, considerando que os trabalhos estão sempre funcionando de acordo com o relógio. Graças à redução dos custos, a CTC agora maximiza os dados para inovar e aumentar ainda mais os seus recursos de marketing.

As vantagens incluem: 

• 54% de economia, o que equivale a milhões de dólares ao ano, após a migração do Spark gerenciado para o Snowflake.

• US$ 800.000 economizados por ano ao eliminar a movimentação de dados do Snowflake e de volta.

• Primeira vez que se cumpriu o acordo diário de nível de serviço (SLA) de ter os dados disponíveis pelo menos uma hora antes do lançamento no mercado, um marco que não tinha sido alcançado antes da implementação do Snowflake. 

Swire obtém economia de milhões de dólares e agiliza a implementação do modelo em semanas 

A Swire Coca-Cola, EUA é a engarrafadora local da Coca-Cola e de outras marcas de bebidas em 13 estados em todo a região do oeste americano, distribuindo refrigerantes para 31 milhões de consumidores todos os dias. A Swire usava o Snowflake como única fonte de verdade e uma plataforma Spark gerenciada separadamente para suas necessidades de IA/ML. No entanto, o gerenciamento de uma infraestrutura complexa impediu as equipes de dados de criar modelos, o que causou atrasos. Os clusters do Spark precisavam de manutenção manual para evitar desperdícios e levavam de 10 a 15 minutos para serem ativados, enquanto a plataforma gerenciada do Spark fora do Snowflake trazia preocupações relativas à governança de dados, afetando a integridade e a segurança dos dados.

O Snowflake surgiu como a solução ideal para atender às necessidades de IA/ML da Swire, oferecendo uma plataforma única que reduziu significativamente a complexidade, aumentou a facilidade de uso e forneceu uma estrutura sólida para melhorar a governança de dados. Com essas melhorias, a Swire otimizou suas rotas logísticas planejadas para reduzir de forma significativa os custos relacionados a combustível, despesas com motoristas e custo geral de serviço. Da mesma forma, a influência no tempo de lançamento no mercado foi considerável, já que a Swire conseguiu desenvolver modelos com o Snowflake com rapidez considerável.

As vantagens incluem: 

• Milhões de dólares em economia de custos com a otimização das rotas de logística planejadas.

• Menor tempo de lançamento no mercado, economizando semanas de trabalho com a implementação mais rápida de modelos críticos de IA/ML. 

• Menor custo total de propriedade com gerenciamento de dados automatizado e simplificado.

Mais migrações realizadas com sucesso. 

Essas histórias são apenas o começo de como as organizações estão migrando para o Snowflake para obter vantagem competitiva. 

Faça download do livro “Secrets of Apache Spark to Snowflake Migration Success” para ver os cinco principais motivos por que as empresas estão migrando para o Snowflake e como essas migrações estão ajudando as empresas a reduzir os custos, a complexidade e a melhorar a confiabilidade de suas operações diárias.