より高速で効率的なクエリを低コストで実行：Snowflakeの最新のパフォーマンス改善

Snowflakeの製品理念は、単一の統合プラットフォーム、つまり単一のコアエンジンを中心としています。比類ない性能と効率であらゆるワークロードニーズに対応するために、Snowflakeはコアエンジンのパフォーマンスを継続的に強化し、改善します。このアプローチでは、追加コストが発生したり、移行、アップグレード、手動操作が必要になったりすることなく、簡単にパフォーマンスを強化できます。

このブログでは、最近リリースされたSnowflakeプラットフォームの改善点について説明します。ワークロードに最適なパフォーマンスを最適な価格で提供するために、私たちは次の2つの分野に継続的に投資しています。

1. 自動パフォーマンス改善機能は、お客様にシームレスに提供されます。微調整やアクションは必要ありません。
2. インテリジェントなワークロード最適化機能により、お客様はクエリ性能の向上、インサイトへのアクセス、ストレージとコンピューティングの最適化を実現できます。

最近、私たちは多くのプラットフォームパフォーマンスの改善を発表しました。私たちは、Snowflakeへのデータ取り込みの高速化、コンパイラの高速化と効率化、オプティマイザーのインテリジェント化、コアクエリ実行性能の向上に投資を続けています。

たとえば

• 取り込みパフォーマンス：大文字と小文字が区別されるデータのJSONファイルとParquetファイルの両方の取り込みパフォーマンス が最大25%向上しました 。 
• コアインフラストラクチャの改善：私たちは、Snowflakeのコアインフラストラクチャを継続的に強化し、優れたコストパフォーマンスを実現します。たとえば、Adaptive Network Optimizationを展開し、実行ノード内通信の高速化とネットワーク圧縮の改善によってウェアハウス内のノード間のスループットを改善し、集約配置を改善しました。これにより、クエリ効率が最大40%向上しました。また、Microsoft Azureのワークロードを高速なARMプロセッサーに移行し続けました。お客様側では何もする必要はありませんでした。この改善により、最大で10%の価格性能向上を達成したお客様もいます。 
• インテリジェントな最適化：私たちは、Snowflakeをよりインテリジェントなものにし続けます。たとえば、よりきめ細かい選択性推定の導入など、可能な限り最適な最適化を選択することで、Snowflakeは結合順序に関する意思決定を改善します。さらに、総合的かつ適応的なブロードキャスト結合決定によるメモリ管理の改善など、一般的なクエリパターンのクエリパフォーマンスを最適化しました。これにより、影響を受けるすべてのクエリの平均実行時間が最大10%向上しました。

このようなパフォーマンスの改善は、お客様が実際に体験したSnowflakeパフォーマンスの改善を長期的に測定するための集計指数であるSnowflakeパフォーマンス指数（SPI）で確認できます。お客様の反復ワークロードのクエリ時間が、指標の追跡開始以来27%短縮*しました。

自動パフォーマンス改善に加え、お客様のワークロードの最適化に役立つ機能改善にも重点的に投資しています。自動クラスタリング、マテリアライズドビュー、検索最適化はその代表的な例であり、いずれもインテリジェントなデータ処理技術によってクエリを高速化します。これらの機能は、ゼロメンテナンスで簡単に構成できるようゼロから設計されており、できるだけ迅速かつ効率的にデータから結果を得ることに集中できます。

自動クラスタリングは、クエリが同じ列に対してフィルタリング、集約、結合を繰り返すテーブルの最適化に役立ちます。クラスタリングキーを指定するだけで、Snowflakeが自動的にテーブルを適切なクラスタリング状態に維持します。2024年の初めから、私たちは自動クラスタリングのコア実行エンジンにいくつかの大幅な性能と効率の改善を提供してきました。その結果、自動クラスタリングのメンテナンスコストが平均で10%以上削減されました。当社の最大のお客様は30%以上のコスト削減を達成し、特定のテーブルで最大50%のコスト削減を達成しました。

同様に、検索最適化サービスとマテリアライズドビューのパフォーマンスと効率にも多大な投資を行っています。検索最適化は、ポイント検索クエリ、非常に選択的なクエリ、およびアプリケーション、ネットワーク、インフラストラクチャログなどの大量の半構造化データを伴うクエリのパフォーマンスを桁違いに向上させる強力な機能です。この最適化は、Snowflakeの新しい検索機能とシームレスに連携します。この機能では、特定の列内または複数のテーブルで、完全に一致する文字やテキストを検索できます。これらの機能を組み合わせることで、可観測性ドメイン、特に数十億行をほぼリアルタイムで分析する必要があるログ分析やサイバーセキュリティで特に価値を発揮します。Snowflakeのマテリアライズドビューは、クエリからデータセットをプリコンピュート（「マテリアライズ」）し、結果を最新かつ一貫性のある状態に自動的に維持することで、頻繁または複雑なクエリ（売上や使用状況に関するBIダッシュボードビュー、半構造化データの分析など）のパフォーマンスを向上させます 。

当社の投資により、お客様にコスト削減を伝えられることを嬉しく思います。8月1日付で、検索最適化とマテリアライズドビューの維持にかかる価格をすべての展開で80%引き下げました。（最新のクレジットレートは、Snowflake料金体系ページの消費テーブルの表5を参照してください。）

Snowflakeでは、週1回のリリースサイクルを通じて、コアデータベースエンジンの高速化に焦点を当て、お客様のコストパフォーマンスを高めるための継続的な探求を行っています。一部のベンダーは引き続きTPC-DSなどの合成ベンチマークを使用して競合他社より優れた性能をアピールしていますが、当社は引き続きSnowflake性能指数をノーススター指標としてお客様の実環境性能の向上に注力しています。

Snowflakeがパフォーマンスの改善をどのように評価し、優先順位付けするかについては、こちらのSnowflakeパフォーマンス指数の詳細をお読みください。年別および月別の主なパフォーマンス改善のリストについては、Snowflakeドキュメントを参照してください。

*Snowflakeの内部データによると、お客様の安定したワークロードのクエリ時間が2022年8月から2024年4月までに27%向上しました。SPIを計算する際に、提示期間におけるお客様のワークロードグループのうち、処理されたクエリ量とデータ量の両方が安定していて比較可能なものを特定しています。クエリ時間の短縮は、ハードウェアとソフトウェアの改善やお客様の最適化など、いくつかの要因の組み合わせによって実現しました。クエリ時間メトリクスの向上値は小数第3位で四捨五入されています。