データチームとAIチームのためのエンドツーエンドのインタラクティブ環境、Snowflake Notebookのご紹介

この度、パブリックプレビュー版のSnowflake Notebookの提供を開始いたしました。Snowflakeプラットフォームへの待望の追加機能です。Snowflakeの優れた機能を、使い慣れたノートブックインターフェイスに統合するために特別に設計されています。Snowflake Notebookは、Python、SQL、Markdownのほか、Snowpark ML、Streamlit、Cortex、Icebergテーブルなどの主要なSnowflake製品とシームレスに融合する、便利で使いやすいインタラクティブ環境の提供を目指しています。Snowflake Notebookを使用して、データへの接続プロセスを簡素化し、データエンジニアリング、アナリティクス、機械学習のワークフローを強化できるようになりました。

すべてのデータと開発ワークフローをSnowflakeのセキュリティ境界内に維持し、データ移動の必要性を最小限に抑えます。既存のロールベースのアクセス制御（RBAC）を活用してノートブックと基礎データアセットへのアクセスを管理し、一貫性のある堅牢なデータガバナンスを実現。 

ノートブックの使用は、Snowflakeのコンピュートエンジンと同じ使用量ベースのモデルに従います。これにより、使用した分だけ料金を請求できるようになり、Snowflakeの単一エンジン内で柔軟なコンピュートオプションを使用して、価格対性能比を最大限に高めることができます。

PythonとSQLを使用してデータを探索、分析、可視化。探索的データ分析により、価値あるビジネスインサイトを獲得。AI/MLモデルのトレーニングと管理をノートブックで直接実行。データエンジニアリングのためのスケーラブルなデータパイプラインと変換を開発。さらに、AIを活用した編集機能を活用し、より迅速かつ効率的に開発を行うことができます。

ネイティブのGit統合を使用して、同じノートブックファイルのバージョン管理とコラボレーションを行います。好みのプラットフォーム（GitHub、GitLab、Bitbucket、Azure DevOps）に接続し、共同開発のための変更を管理、追跡します。データの取り込み、処理、モデルトレーニング、インサイト生成をスケジューリングし、データプロセスの効率と一貫性を強化します。

何ができるかを確認し、Snowflakeのデータの利用方法を変えるには、単一のインターフェースで実現できるさまざまなユースケースをチェックしてください。 

• 統合データ分析：単一の直感的な環境内でデータワークフロー全体を管理できます。ノートブック内でSnowflakeプラットフォームの機能とデータセットに直接アクセスできます。この統合されたアプローチにより、コンテキストの切り替えがなくなり、未加工データをこれまで以上に迅速に実用的なインサイトに変換できるようになります。以下の可能性をご覧ください。
  • テーブルやステージなどのSnowflakeデータに直接アクセスし、データパイプラインの開発を簡略化します。ネイティブ統合により、データの移動や接続の設定は必要ありません。
  • Snowparkと統合し、接続、認証、インタラクティブなSnowparkデータフレーム表示をシームレスかつ簡単に設定できます。 
  • インタラクティブなStreamlitデータアプリをノートブック内で直接作成、実行。 

• データパイプラインの構築とデータの管理：データプロファイリング、取り込み、変換、オーケストレーションなどのデータエンジニアリングワークフローを簡略化します。Python API、Git統合、Snowflake CLIを使用して導入を自動化。データベースをプロのように管理 - データを整理、保存、変更し、すぐに使える最新の状態に保ちます。

• AI/ML開発が容易：追加の開発インフラストラクチャーを必要とせず、SnowflakeやSnowpark MLで使い慣れた使いやすさで、すべてSnowflake Notebook内でエンドツーエンドの機械学習パイプラインを構築できます。データの前処理、特徴量エンジニアリングの実行、キュレートされた一連のMLパッケージを使用したモデルの作成とトレーニング、結果の可視化、モデルの展開と管理を、データの移動やサイロのないエンドツーエンドのガバナンスで実現します。

「Snowflake NotebookはMLワークフローの高速化に役立ちます。ノートブック内で実験追跡と重み付けおよびバイアスが直接シームレスに統合されているため、コンテキストの切り替えがなくなり、モデルの構築と展開のための機械学習のライフサイクル全体が合理化されます。この統合により、お客様の効率性がさらに向上することを嬉しく思います」と述べました 。

—Venky Yerneni氏（ソリューションアーキテクチャ、Weights & Biases担当マネージャー）

Snowflake Notebookには、高度なMLワークフローのための新しいランタイムオプションとしてコンテナランタイム（プライベートプレビュー中）。より柔軟で強力なコンテナランタイムは、CPUとGPUのオプションにより分散処理へのシームレスなアクセスを提供し、リソースを大量に消費する機械学習タスクに最適です。プレインストールされ、Snowflakeが管理する一連の一般的な機械学習パッケージを活用し、手動設定なしで互換性と使いやすさを確保できます。また、任意のカスタムパッケージをインストールすることもできます。コンテナランタイムには、Snowflakeに保存されたデータのロードの最適化、すぐに利用可能な分散型トレーニングのサポート、自動系統キャプチャ、Snowflakeモデルレジストリ統合も含まれます。良い点は？ボタンをクリックするだけでコンテナランタイムにアクセスできるため、手動の設定やメンテナンスは必要ありません。

サポートされているプラットフォーム（GitHub、GitLab、BitBucket、Azure DevOps）からの読み取り/書き込みアクセス権を持つGitリポジトリを、複数のプロジェクトにまたがるソース・オブ・トゥルース（信頼できる情報源）として統合します。これにより、コラボレーションが改善され、常に最新バージョンに取り組み、変更を簡単に追跡できるようになります。 

実験から展開までを1か所で行います。ノートブックの自動化とスケジューリングにより、大規模なデータパイプライン開発を簡略化します。スケジュールされたタスクの履歴を追跡し、結果検査のために読み取り専用モードでの過去の実行を見直すことで、シームレスに進捗をモニタリングします。

スケジューラを使用して次のことを行います。

• スケジュールに従ってデータのプルと変換を自動化
• 必要に応じてモデルをセットアップし、推論を自動的に実行
• 定期的にレポートとデータサマリーを生成
• モデル変換とストレージ出力の自動化
• CI/CDワークフローの自動化（この記事の推奨アプローチを参照）

外部アクセスの統合により、受け入れられたネットワークエンドポイントを訪問し、追加のデータやパッケージでワークフローをエンリッチできます（コンテナランタイムの`!pip install`コマンドを使用）。外部アクセスはノートブック単位で制御されるため、セキュリティを維持しながら最大限の柔軟性を確保できます。 

Snowflake Copilotでコーディングとデータワークフローを促進しましょう。Snowflakeの画期的なAI搭載SQLアシスタントは、一部の地域のSnowflake Notebookで直接利用できます。

Snowflake Copilotは以下を支援します。

• データに基づいたSQLクエリの記述
• 会話を通じてSQLクエリを改善する
• 自由回答の質問でデータを探索する
• Snowflakeのコンセプトと機能の学習

Snowflake Copilotインラインアクションも近日公開予定です。コードを改善し、詳しく知る。ノートブックのセルに直接SQLステートメントを1つ選択すると、Copilotはそのステートメントの最適化、説明、フォローアップの質問を行うことができます。Copilotは状況に応じた回答を返します。

私たちは、データチームがワークフローを加速させるための強力な新しい方法としてノートブックを導入する一方で、柔軟性と選択肢の必要性も認識しています。それこそが、SnowflakeがHexと提携し、データチームがクラス最高のツールにアクセスし、ビジネス上の意思決定とデータからの価値を高めるための理由です。 

是非、Snowflake Notebookを探索し、データワークフローを強化する方法を見つけてください。複雑なMLワークフローのサポート、ランタイムサポートの追加オプション、コラボレーションおよび共有機能の改善、テレメトリおよびデバッグ機能など、追加の機能強化にご期待ください。

Snowflake Notebookは改良と拡張を続けており、皆様からのフィードバックとサポートは非常に貴重です。ぜひ今すぐSnowsightで直接お試しください。あるいは、無料トライアルアカウントに登録してより良いものにするためにご協力ください。

ドキュメントの作成から始めて、ノートブックのパワーを直接体験してください。YouTubeのプレイリストで実際の動作を確認し、GitHubのサンプルノートブックをご覧ください。

Snowflake Notebookが、AWS、Azure、GCPに展開されるすべてのSnowflakeアカウントのウェアハウスランタイム(パブリックプレビュー)で利用できるようになりました。現在、コンテナランタイム（プライベートプレビュー）へのアクセスはAWSに制限されていますが、私たちは可用性を急速に拡大しています。