Snowflake melhora a performance em 27%, segundo o Índice de performance da Snowflake

No ano passado, durante o Summit, anunciamos o lançamento público do Índice de performance da Snowflake (SPI), um índice agregado que mede, ao longo do tempo, as melhorias reais na performance do Snowflake percebidas pelos clientes. 

Na Snowflake, nossa filosofia de produto se concentra em aprimorar continuamente a performance por meio do refinamento do mecanismo central. Disponibilizamos essas melhorias de performance em versões semanais e as integramos às suas operações diárias para aumentar a performance sem esforço nem custos adicionais. Não é necessário fazer migrações, upgrades ou trabalhos manuais. Essa estratégia busca otimizar a relação entre preço e performance no Snowflake. Com nosso modelo de preços com base no consumo, essas melhorias de performance podem gerar economia de custos para os clientes. 

Nosso compromisso é reduzir, ao longo do tempo, o custo de execução das suas cargas de trabalho no Snowflake.

O SPI melhorou 27% desde que começamos a monitorar o índice, em agosto de 2022. Nos últimos 12 meses, a melhoria foi de 12%. Como o SPI é calculado com base em cargas de trabalho reais, estáveis e recorrentes dos clientes, podemos comparar, ao longo do tempo, as melhorias em cargas de trabalho específicas.  

Ao contrário de outros fornecedores, que podem usar benchmarks fictícios ou sintéticos para comparar a performance, a Snowflake usa dados reais de clientes em cargas de trabalho de produção para medir as melhorias de performance que implementamos. Isso comprova a filosofia central da Snowflake: nosso sucesso está diretamente ligado ao sucesso dos nossos clientes.  

Nos últimos meses, implementamos várias melhorias significativas. E o melhor: muitas delas ocorrem automaticamente, sem parâmetros para ajustar nem ações a realizar.

Continuamos investindo para tornar o compilador mais rápido e eficiente, deixar o otimizador mais inteligente, aprimorar a performance central de execução de consultas e acelerar ainda mais a ingestão de dados no Snowflake. Por exemplo:

• Melhoramos em até 25% a performance de ingestão de arquivos JSON e Parquet com dados que não diferenciam maiúsculas de minúsculas. 
• Aumentamos a taxa de transferência entre os nós de um warehouse ao introduzir uma comunicação mais rápida entre eles durante a execução e aprimorar a compactação de rede. Também melhoramos o posicionamento das agregações, aumentando a performance de todas as consultas.  
• Identificamos e otimizamos a performance de consultas para padrões comuns. Por exemplo, aprimoramos o gerenciamento de memória com decisões abrangentes sobre broadcast joins, o que acelera a execução de consultas com árvores profundas de right joins. 
• Também reduzimos o custo de manutenção de uma Materialized View ao melhorar o uso dos recursos do serviço. 
• Além disso, continuamos tornando o otimizador mais inteligente para que ele escolha as melhores otimizações possíveis. Entre elas estão as estimativas de seletividade em nível mais granular, que ajudam o Snowflake a tomar decisões melhores sobre a ordem das junções.  

Especificamente no Summit 2024, tivemos o orgulho de anunciar as seguintes otimizações de performance:

• Top-K pruning V2 (GA): o Snowflake permite a poda precisa de micropartições durante o tempo de execução da consulta para instruções SELECT que tenham cláusulas ORDER e LIMIT. Com o Top-K pruning V2, o Snowflake interrompe a verificação quando determina que nenhuma das linhas restantes pode fazer parte de um conjunto de resultados composto por K registros. Esse algoritmo de poda é aplicado automaticamente às consultas com ORDER e LIMIT, sem custos adicionais, para oferecer aos usuários a melhor performance e experiência possíveis. Na prática, o TopK v2 melhora a performance em mais 12,5%, em média. 
• DML History e Account Usage Views (GA em breve): isso ajuda os clientes a analisar o custo e o benefício do clustering e da otimização de pesquisa para aprimorar a poda, oferecendo mais transparência sobre a eficiência da execução das consultas. 
• Melhorias no Query Acceleration Service (QAS): agora, com a adição de INSERT, 6% mais consultas se qualificam para o QAS. 
• Melhorias contínuas na performance de clustering (GA): essas melhorias reduziriam os custos dos clientes em 10%*.

Saiba mais sobre as melhorias mais recentes em nossas notas de versão sobre performance.

O SPI destaca nosso compromisso de melhorar continuamente a eficiência de custos para os clientes e oferece transparência sobre o impacto quantitativo das melhorias de performance da plataforma nas cargas de trabalho reais de produção dos clientes ao longo do tempo. Além disso, ele nos permite medir e aprimorar o impacto na performance de novos recursos, melhorias e opções de processamento para nossos clientes, em linha com o principal valor da Snowflake: colocar os clientes em primeiro lugar. 

Acessar o site do SPI para saber mais. 

*Com base em uma disponibilização limitada, de 12/2 a 1/3, correspondente a cerca de 37% dos créditos de reclustering