産総研の集合知解析基盤「GAMA」がSnowflakeを導入し新たな解析基盤を獲得1兆レコード規模の時系列データ解析へ

産業技術総合研究所のゼロエミッション国際共同研究センターは、カーボンニュートラル社会の実現を目指す研究拠点である。同センターのデータ駆動型社会システム研究チームは、約20万世帯・10年分の家庭のエネルギーデータを解析し、住宅の機器を最適制御する技術を開発してきた。研究の高度化でデータの時間解像度が高まるとレコード数は膨大となり、専用ハードウェアによる集合知解析基盤「GAMA」だけでは対応が難しくなる。同チームはSnowflakeを採用し、DATUM STUDIOとちゅらデータの支援のもと、1兆レコード規模を見据えた解析環境を整備。これにより、従来困難だった超大規模データのリアルタイム解析に道を開いた。

国立研究開発法人産業技術総合研究所(以下、産総研)のゼロエミッション国際共同研究センターは、カーボンニュートラル社会の実現を目指す研究拠点として2020年に発足した。ノーベル化学賞受賞者の吉野彰氏をセンター長に迎え、9つの研究チームが脱炭素技術の開発から社会実装に向けたシナリオづくりまでを担う。

　その一つであるデータ駆動型社会システム研究チームは、家庭のエネルギー制御技術の開発に取り組む。太陽光発電や蓄電池、空調機、給湯機といった住宅内の機器を最適に制御する技術と、それを支える制度の設計がミッションだ。こうした研究を支えるのは、10年以上にわたり企業との共同研究で収集してきた家庭のエネルギーデータである。住宅の仕様や属性、消費電力を対象とし、その蓄積は約20万世帯、数百億レコードに達する。

同チームは2021年、時系列計算に特化した専用ハードウェアを導入し、オンプレミスの集合知解析基盤「GAMA」を構築した。課題が顕在化したのは、研究の高度化に伴い、データの時間解像度を高める必要が生じたときである。スマートメーターが取得するデータは30分間隔だが、この粒度では住宅の空調制御や機器の故障検知を精緻に行うことは難しい。同チームが扱うデータは1分、15秒、5秒へと細かくなっていった。

　時間解像度が高まれば、レコード数は膨大になる。例えば10万世帯を6系統に分けて15秒間隔で1年間記録すると、データ量は1兆から2兆レコードに及ぶ。一方、専用ハードウェアは導入時点で処理能力が固定され、こうした規模の解析に柔軟に対応することが難しい。ゼロエミッション国際共同研究センター データ駆動型社会システム研究チーム 研究チーム長 兼 ゼロエミッション研究企画室の本田 智則 博士（以下、本田氏）は、当時の課題を次のように振り返る。

「従来は数百億レコードが解析対象の最大規模でしたが、1兆レコードという規模が見えてきました。これを現実的な時間で処理するには、10台、20台で分散していた計算を、100台、200台へと大幅に増やす必要があります。しかし自前で確保できる計算機は50台から100台が上限で、サーバールームの制約からもそれ以上は困難です。必要なときに必要なだけ計算能力を確保できる環境を整えることが、目標の一つになりました」

　もう一つの課題が、データの機密性である。企業から提供を受けたデータには、公開可能な情報よりも高い水準の管理が求められる。すべてを自組織内で管理できるオンプレミス環境と異なり、クラウドの利用は情報を外部に置くことを意味するため、活用には慎重な判断が求められた。

データ基盤の選定で産総研が重視した要件は明確だった。第一は、フルマネージドであることだ。

「私たち自身は情報技術を研究の対象としているわけではなく、あくまで技術を利用する立場です。管理コストを大きくかけることは避けたいと考えていました。フルマネージドであること、そして使いたい時間だけ使えることが、大きな要件でした」（本田氏）

　第二は、データ基盤そのものの性能だ。複数の製品を比較した結果、解析機能よりもデータ基盤というインフラ部分に軸足を置く点で、Snowflakeが合致すると判断した。そして政府情報システムのためのセキュリティ評価制度「ISMAP」にSnowflakeが登録されていることも、クラウド活用への懸念を解消する鍵となった。

　導入を支援したのは、DATUM STUDIOと、その子会社であるちゅらデータだ。両社は案件ごとに双方から人材を出し合い、共同でチームを編成する。契機は、産総研からの問い合わせだった。本田氏が着目したのは、DATUM STUDIO 執行役員 兼 ちゅらデータ CTOでSnowflake Data Superheroにも選出されている菱沼 雄太氏による、技術情報の発信である。

「私たちがやりたいことの技術を、きちんと理解してくれるかどうかを重視しました。こちらが話した内容を正確に把握し、技術的な回答を返してくれること。そこが最も重要でした」（本田氏）

構築期間は2カ月弱で、技術的な論点は二つあった。一つはデータのロードだ。解析はSQLで記述できるが、ロードの仕組みは産総研にとって知見の少ない領域だった。クラウドストレージへの効率的なアップロード手順や、取り込みやすいサイズへのファイル分割は、ちゅらデータ シニアデータ エンジニアの倉富 優氏（以下、倉富氏）が支援した。

　もう一つは、産総研が従来利用してきた分析ツールとSnowflakeの接続だ。参照できる資料が少なく、動作を検証しながら進めた。倉富氏はこう語る。

　「単純に接続するだけでは、データをクライアント側にダウンロードしてマージし、表示する形になります。それではSnowflakeの計算リソースを活かせず、単なるデータの保管場所になりかねません。設定を調整しながら検証を重ね、Snowflake側で計算処理が動く構成を見つけました」

　ネットワークは、AWS PrivateLinkを介したプライベートな経路で接続し、既存のスーパーコンピューター環境の延長線上にSnowflakeを位置づけた。運用面では、オンプレミス環境になかったコストのアラート機能を設定し、権限付与を必要最小限にとどめてコードで統制している。従来オンプレミス環境のみで取得していたISO 27001およびJIS Q 15001の認証範囲も、Snowflakeを含む形へ拡張した。

Snowflakeの導入により、産総研は計算リソースを柔軟に拡張できる環境を得た。本田氏が最大の効果として挙げるのが、この伸縮性だ。

　処理速度も大幅に向上している。従来6時間を要していた解析が、1時間、場合によっては30分程度で完了する。この処理能力の向上は、これまで着手が難しかった大規模解析にも道を開いた。その一例が、気象衛星ひまわりの観測データを用いた全国規模の日射量解析である。全国を500メートル四方で捉えた観測データを住宅の所在地域に紐づけ、日射量や晴天の有無を特定する処理は、区分数が約50万、10年分では500億レコードに達する。従来の基盤なら1〜2週間は占有する規模だが、Snowflake上では数時間で完了した。本田氏は「基盤を長期間占有すると考えて躊躇していた処理を、まず試せるのは大きな利点です」と語る。

　運用面の高度化も進む。当初はウェアハウスのサイズを利用者が判断していたが、適応型のコンピューティング機能「Adaptive Compute」により、最適なサイズが自動で選定される。

　AIとの親和性の高さも、導入後の発見の一つだ。同チームは解析用のコードをAIコーディングツールで記述しているが、従来はSnowflake向けのSQLを外部の生成AIで生成して投入しても、外部ツールから直接接続しても、精度が上がりにくかった。生成されるコードは処理効率が低く、コスト面の無駄も生じやすい。状況が変わったのは、データネイティブなAIコーディングエージェント「Snowflake CoCo」の活用開始後だ。Snowflake自身が提供するエージェントであり、その仕様を前提としたコードが生成される。コストパフォーマンスの低いコードは減り、エラーによる再実行も減少したという。

本田氏が今後重視するのは、研究成果の社会実装に向けた「使いやすさ」である。

「専門的なアルゴリズムを用いた分析は、当然ながら継続します。加えて重視しているのが、企業との共同研究における活用です。担当者がデータにアクセスし、自然言語で異常の有無を問いかければ、データに基づいた分析結果が返ってくる。そうした仕組みを実現できる感触を得ています。私たちは国の機関であると同時に、社会に技術を実装し、貢献することをミッションとしています。企業が使いやすい形に近づけるには、もう一歩踏み込む必要があると考えています」（本田氏）

　社会実装に最も近い領域として本田氏が挙げるのが、社会に普及した機器の異常検知だ。故障が事故につながりかねない機器は多い。1時間ごとのデータなら従来の基盤でも監視アルゴリズムを開発できたが、15秒間隔では1兆レコードの規模だ。Snowflakeなら、大きな計算リソースを確保し、現実的な時間で処理を完了できる。

　基盤の刷新は、研究運営の考え方にも変化をもたらした。導入した装置を使い切る前提の運用から、優先順位を定めて計算リソースの投入先を選ぶ運用へと、発想を転換する契機にもなった。産総研とDATUM STUDIO、ちゅらデータの取り組みは、これまで解析が難しかったデータを扱える環境を築き、カーボンニュートラル社会に向けた研究を支えている。