Cybersyn、Snowflakeネイティブアプリで詳細なデータセットを意思決定者に自在に提供

注：本記事は(2024年1月4日)に公開された(Cybersyn Puts Detailed Data Sets at Decision-Makers’ Fingertips With Snowflake Native Apps)を機械翻訳により公開したものです。

顧客とのトランザクションからサプライヤーとの契約、システム性能まで、あらゆることに関する大量のデータを収集します。この貴重なリソースは、金融市場や経済のトレンド、消費者支出、地域の人口統計、ビジネス上の意思決定に幅広いコンテキストとインサイトをもたらすその他の要素に関するデータと組み合わせることで、さらに価値が高まります。

外部データソースはそのギャップを埋めることができるため、官公庁・公的機関、国際機関、オープンソースプラットフォーム、非営利団体などのサードパーティによるインテリジェンスのための巨大な市場が存在します。しかし、外部データを取得し、精査し、明確なROIをもたらす有用なリソースに変換するには、時間と労力が必要になります。

Cybersynと入力します。Cybersynは、価値の高いデータセットを見つけて取得し、そこからデータ製品（独自のデータセットやSnowflakeネイティブアプリなど）を構築し、非常に直感的な形式でSnowflakeマーケットプレイスでのみ利用できるようにします。組織は、データの統合や準備、新しいスキーマの作成に時間を費やすことなく、すぐに使えるCybersyn製品を選択し、自社のデータや他のCybersynデータセットに迅速に結合して、貴重な外部データを迅速に意思決定者の手に渡すことができます。 

Cybersynは、顧客がデータだけでなく、データに関連するロジックや関数に直接アクセスできるようにする方法としてSnowflakeネイティブアプリの有効性に着目し、当初から採用しました。CybersynのCEO兼創業者であるAlex Izydorczyk（アレックス・イズィドルチク）に、Cybersynが提供するさまざまなタイプのSnowflakeネイティブアプリと、それらがお客様にもたらすメリットについてお話をうかがいました。 

Snowflakeマーケットプレイスでは、消費者がどこでお金と時間を使っているかに関する経済データに焦点を当てた独自のパブリックデータコンテンツとSnowflakeネイティブアプリを提供しています。 

大きく分けて、演算子と投資家の2種類に分類できます。投資家の側では資産運用の話が出てきますが、ヘッジファンドやミューチュアルファンド、不動産投資家などですね。資本配分を目的とした 経済効果の測定に関心のある企業です 

オペレーター側では、私たちは多くの事業者と仕事をしますが、最も一般的なのは、消費者経済に直接触れることの多い消費財または小売企業です。競合他社を評価し、経済全体に時間、資本、リソースを割り当てたいと考えています。

従来、このデータは誰もが自分で取得していました。独自仕様の場合はベンダーから購入し、パブリックドメインの場合は政府ウェブサイトや世界銀行や国連などの国際機関から取得します。この非常に幅広いデータソースには、API、FTPサイト、フラットファイル、ダウンロード、Excelダウンロードなど、たくさんのものがあります。 

私たちがSnowflakeの助けを借りて行うことは、データの統合、結合、アナリティクス対応など、すべての取り込みを処理することです。私たちは、企業がデータ準備ではなく分析に時間を費やせるように、データを使いやすくし、一貫した形式で提供するために多くの努力を払っています。

Snowflakeネイティブアプリの面白い点は、たくさんのフォームがあることだと思います。その1つがStreamlitダッシュボードです。Financial & Economic Essentials DashboardやConsumer Spending Dashboardなど、販売するデータを可視化するタイプのダッシュボードやビジネスインテリジェンスを提供するアプリもあります。これをSnowflake環境内で提供すれば、顧客は自身のSnowflakeコンピュートでデータを検索して使用できるだけでなく、Streamlitが生成したクエリを即座にコピーしてワークフローやSnowsightなどのSnowflake IDに貼り付けることができます。 

データの使い方を教え、示すことも1つのユースケースだと思います。Streamlitアプリの多くは、内部で実行されているSQLを表示するようにしています。Streamlitダッシュボードは、クライアントがその上に構築するための出発点として使用されることが多く、それ自体はバーティカルソフトウェアではありませんが、多くの場合、クライアントがデータセットを迅速に利用し始めるのに役立ちます。 

URL解析関数アプリは、UDF関数を備えたSnowflakeネイティブアプリです。このアプリは、URLやウェブサイトリンクをクリーンアップ、解析、分解できる一連のSnowflake SQL関数を提供します。これは、クリックストリームデータからコンタクトデータ、ログデータまで、あらゆるタイプのデータを扱う人にとって非常に一般的なタスクです。URLは、データベースで処理される最も一般的なテキストデータタイプだからです。「snowflake.com」、「snowflakecloud.wpenginepowered.com」、および「snowflake.ca」がすべて同じウェブサイトに関連するように、誰もが何らかの正規表現、切り捨て、標準化を使用しています。驚くべき数のエッジケースと小さな紆余曲折があります。クリックストリーム処理システムからCDPまで、あらゆるものを構築した経験があれば、そのドメインにはさまざまなバリエーションがあり、それらは今でも有効です。 

私たちのアプリでは、これらのURL解析関数は、内部のSnowparkとPythonライブラリを使用して、可能性のあるプレフィックスとサフィックスの既知のマスターリストに対してURLを解析し、URLを分解してさまざまな方法で標準化できます。結局のところ、これはデータクレンジングUDFまたはデータクレンジング関数ですが、全員が同じ正規表現を記述し、同じエッジケースでゆっくりと作業するよりも時間を節約できます。 

これらの関数は、間違いなく最初に内部で構築されました。ウェブトラフィック関連のクリックストリーム製品があり、そのためのURLや自社のCDP用のURLを多数解析していました。そして、もし私たちがこれらの関数を必要としているなら、私たちのデータを利用している人たちがこれらの関数を必要としているかもしれないし、これらの関数を使って私たちのデータに対してより適切に結合できるかもしれないということが分かりました。 

多くの場合、私たちは未加工のデータを販売するのではなく、有用なレベルやフォーマットに集約します。エンドクライアントが必要とするあらゆるタイプの集約やコンピュテーションを予測することが困難な場合があります。考えられるすべてのオプションを事前にコンピュートするか、Snowflakeネイティブアプリを使用してクライアントが求めるものをその場でコンピュートするかの2つの選択肢があります。 

レストランでブリトー丼を作るようなものです。思いつく限りの組み合わせを構築するのではなく、クライアントに一連のオプションを提示していくだけです。その線がSnowflakeネイティブアプリです。クライアントは必要な集計を取得でき、プロバイダーはクライアントが明示的に求めているものを必要な時にプリコンピュートするだけです。 

現代では、データプロバイダーが気にかけていた集計を提供していない場合、メールでリクエストする必要があり、カスタムプロジェクトである場合もあります。そのため、Snowflakeネイティブアプリでは、誰もが低い総価格でより多くのオプションを利用できます。

むしろ、Snowflakeネイティブアプリにはさまざまな形態があることに驚かれたと思います。ネイティブアプリには、単なるSQL関数であるUDF、Streamlit UI、またはデータが含まれる場合があります。その変化に備えなければなりません。Snowflakeマーケットプレイスは、Snowflakeネイティブアプリによってデータシェアリングからアプリケーションシェアリングへと変貌を遂げました。 

私たちが注目しているのは、SnowflakeネイティブアプリのコンセプトとSnowflakeコンテナサービスの組み合わせです。これにより、ネイティブアプリはSnowflakeプラットフォームの外部に存在しても、引き続きSnowflakeプラットフォームでホストできるようになります。Snowflakeが提供するすべてのセキュリティ上のメリットとデータアクセスを利用できますが、たとえば、一般ユーザーがアクセスできるウェブサービスやウェブアプリケーションを実行することもできます。これは非常に興味深いことで、Snowflakeネイティブアプリの可能性がさらに広がります。

こちらをクリックして、SnowflakeマーケットプレイスでCybersynのSnowflakeネイティブアプリやその他のデータ製品をチェックしたり、Cybersynのデータカタログを閲覧して統合データソースを検索したりできます。Cybersynの詳細と、統合データが意思決定にどのように影響するかについては、Alex Izydorczykを特集したデータクラウドポッドキャストをご覧ください。 

*注：CybersynはSnowflakeの関連会社です。