Laboratório prático
Do Spark para o Snowpark para Data Engineering
Migre pipelines Spark com mínimas alterações de código e reduza a sobrecarga operacional com um mecanismo de processamento elástico que oferece suporte nativo a Python, Java e Scala.
Crie código como o PySpark. Execute mais rápido.
Use a Snowpark API para desenvolver transformações de dados e lógica de negócios personalizada a partir do seu ambiente de desenvolvimento integrado ou notebook. Execute código com segurança no tempo de execução da capacidade de processamento do Snowflake para processamento elástico, governado e de alto desempenho.
VIsão geral do Spark para o Snowpark
Dataframe API
Crie consultas usando DataFrames do tipo Spark a partir do ambiente de desenvolvimento integrado de sua preferência e transfira o processamento para o mecanismo elástico do Snowflake.
Funções definidas pelo usuário
Execute lógica personalizada escrita em Python ou Java para executar diretamente no Snowflake usando funções definidas pelo usuário (UDFs) que podem ser migradas do Spark com alterações mínimas de código.
Procedimentos armazenados
Implemente e organize seus pipelines e lógica personalizada diretamente no Snowflake e torne-os acessíveis aos seus usuários SQL.
Plataforma Snowflake para
várias linguagens
O desempenho, a elasticidade e a governança do Snowpark têm como base a exclusiva arquitetura compartilhada de dados multicluster da Snowflake.
Testemunhos de desenvolvedores do Snowpark
Os clientes estão migrando do Spark para o Snowpark para ter pipelines de dados dimensionáveis e governados.
Alterações mínimas de código
“Queríamos mudar para o Snowpark por questões de desempenho e foi muito fácil fazê-lo. Converter nosso código PySpark em Snowpark foi tão simples. Só foi preciso mudar uma instrução de importação.”
Principal Data Engineer, Homegenius
Melhor desempenho de preços
“Antes, precisávamos mover os dados e processá-los em outras linguagens e, em seguida, trazer os resultados de volta para poder disponibilizá-los. Agora, com o Snowpark, trazemos o processamento para os dados. Com o processamento acontecendo no Snowflake, nossa única plataforma, isso simplifica nossa arquitetura, melhorando a relação custo/benefício de nossas aplicações inteligentes e pipelines de engenharia de dados.”
Sr. Director Clinical Data Analytics, IQVIA
Menos sobrecarga de operações
“Com nossas antigas plataformas com base em Spark, chegamos em um momento em que ficou difícil aumentar a estrutura e muitos SLAs não estavam sendo cumpridos. Com o Snowflake, a separação entre processamento e armazenamento facilitou tudo. Cumprimos todos os SLAs desde a migração.”
