ストレージコストの最適化とコンプライアンスの簡素化を実現するストレージライフサイクルポリシーの一般提供を開始

今日のあらゆる組織は、膨大なデータを保持する必要性とコスト制御の圧力の高まりとのバランスをどう取るかという、同じ根本的な課題に直面しています。金融サービス企業は、規制監査のためにモデル出力を数年分保持する必要がある場合があります。メディア企業は、ほとんど触れないが保存しなければならない数テラバイトのログデータを蓄積することがあります。さまざまな業界のセキュリティチームが、保存は不可欠だがアクセス頻度が低いログを延々と生成しています。コンプライアンス、アナリティクス、運用のトレーサビリティなど、ストーリーは同じです。かつては日常業務に不可欠なデータでもいずれは色褪せますが、それでも価値があったり保存が義務付けられるものもります。
Snowflakeでは、複雑な作業をシンプルにすることを信条としています。こうした課題に対処するため、ストレージライフサイクルポリシーの一般提供を開始しました。この機能は、データライフサイクルのシンプルで自動化された管理方法を提供し、休眠データのストレージコストの大幅な削減(55%~90%)と最小限の運用オーバーヘッドによるコンプライアンスの合理化を支援します。
このブログ記事では、ストレージライフサイクルポリシーを使用してコールドデータのアーカイブから期限切れレコードの削除まで、データライフサイクルを自動的に管理することで、コストを削減し、コンプライアンスを維持し、インフラストラクチャではなくイノベーションに集中できるようにします。
ストレージライフサイクルポリシーとは
ストレージライフサイクルポリシーは、標準のSnowflakeテーブルのデータを自動的にアーカイブまたは削除できるスキーマレベルのオブジェクトです。これらのポリシーは行レベルで適用され、定義されたタイムラインに基づいて、どのデータをアーカイブまたは削除するかをきめ細かく制御できます。シンプルなポリシー式を定義すると、Snowflakeが残りを管理し、共有のコンピュートリソースに対して毎日ポリシーを自動的に実行します。
開始には、以下の2つのステップが必要です。新しい権限セットにより、ポリシーの管理と適用を制御できます。
アーカイブまたは削除する行を指定するポリシーを作成します。
1つ以上のテーブルにポリシーを適用します。
以下は簡単な例です。
ステップ1:ポリシーの作成
360日以上経過したデータをCOLD階層に5年間アーカイブしてから削除する、ストレージライフサイクルポリシーを作成します。

ステップ2:ポリシーを適用する
ポリシーをテーブル(my_table)にアタッチします。

主なメリット
「Blockの規模では、ペタバイト単位のセキュリティログをコンプライアンスのために管理することは運用上の課題だけではありません。イノベーションを必要とするテクノロジーの問題でもあります」と、BlockのStaff Platform Security EngineerであるBryan Cha氏は言います。「当社では、お客様を保護する能力を損なうことなく、7年間の保持要件を満たすためのより効率的な方法を必要としていました。Snowflakeにこの課題を共有したところ、Snowflakeはより広範な機会を認識し、ストレージライフサイクルポリシーを構築してくれました。開発全体を通じて協力し合い、実稼働環境と照らし合わせて機能をテストし、最終的な設計に役立つインサイトを共有しました。その結果、テクノロジーファーストのマインドセットでインフラストラクチャの課題に取り組むことで何が可能になるのかを示すとともに、セキュリティ態勢を強化するソリューションができました」
ストレージコストの大幅な削減
ストレージライフサイクルポリシーは、古いデータやアクセス頻度の低いデータを安価なアーカイブ階層に自動的に移動することでコストの最適化を支援します。データ保持期間が1年以上(半年ごとに10%など)の場合、COOLティアを使用することでストレージと管理コストを67%~77%削減できます。COLDティアを使用すると、90%の削減を達成できます。

規制コンプライアンスの合理化
データの保持と削除を自動化して、コンプライアンス要件に容易に対応します。ポリシーを設定することで、データを一定期間アーカイブしてから完全に削除することも、アーカイブせずに期限切れにして削除することもできるため、組織のデータガバナンス基準を遵守できます。
運用の複雑さの解消
Snowflakeは、データライフサイクルプロセスを完全に自動化し、複雑な手動スクリプトの管理からチームを解放します。これにより、運用負荷が軽減され、お客様はデータから価値を抽出することに集中できます。STORAGE_LIFECYCLE_POLICY_HISTORYテーブル関数を使用してポリシーの実行を簡単に監視し、可視性を維持できます。
アーカイブからのオンデマンド検索
WHERE句を使用するシンプルなコマンドを使用して、アーカイブされたデータのコピーを選択して新しいテーブルに取得できるため、アーカイブの場合と同様に取得をきめ細かく制御できます。

今すぐ始めましょう
ストレージライフサイクルポリシーは現在、すべてのお客様に一般提供されています。アーカイブティア(COOLとCOLD)はすべてのAWSリージョンで利用でき、有効期限ポリシーはすべてのリージョンとクラウド(AWS、Azure、GCP)でサポートされています。Azureのアーカイブティアは現在プレビュー中です。今すぐ、データ管理の簡素化、ストレージコストの削減、コンプライアンス目標の実現に向けて取り組んでください。詳細については、 Snowflakeドキュメントを参照してください。
