
State Street Accelerates Investment Insights by Building AI-Enhanced Alpha Data Platform on Snowflake
State Streetは、Snowflake上にAlphaデータプラットフォームを構築することで、生産性の向上、人件費の半減、AIイノベーションの強化を実現し、投資マネージャーの意思決定の改善を支援しています。
アジャイルでスケーラブルなアプリケーションを構築するためのマイクロサービスアーキテクチャの概要、主な構成要素、メリット、課題、ベストプラクティスをご紹介します。
「マイクロサービス」とは、アプリケーションを独立した小さな部分に分割するソフトウェアアーキテクチャです。各サービスが1つの機能を担当し、シンプルなAPIを介して他のサービスと接続します。これにより、チームはシステム全体を変更することなく、各サービスを独自に構築、展開、スケーリングできます。
このモデルは、アプリケーションの展開を迅速化できるため、多くの企業に選ばれています。モノリシックシステムでは、小さな変更であっても、アプリケーション全体を再構築してロールアウトする必要があります。そのため、進捗が遅れ、ダウンタイムが発生する可能性が高くなります。マイクロサービスにより、チームは個々のサービスを迅速に更新してボトルネックを軽減し、新機能や修正を迅速にユーザーに提供できます。
マイクロサービスアーキテクチャでは、各サービスは支払い処理、顧客プロファイルの管理、貨物追跡など、単一のビジネス機能に焦点を当て、独自のコンテキスト内で動作します。これらのサービスが集まることで一つの大きなアプリケーションを構成しますが、各サービスは疎結合に保たれているため、一部を変更してもアプリ全体を書き直す必要はありません。
マイクロサービスを定義する特性は、次のとおりです。
独立した展開:各チームは、独自のスケジュールで各サービスを構築、テスト、リリースできます。
分散型データ管理:各サービスが独自のデータベースやデータストアを管理するため、依存関係が減少し、レジリエンスが向上します。
軽量の通信:サービスはAPIやメッセージングプロトコルを介して相互に対話するため、高速で柔軟なインタラクションが実現します。
このモデルはアプリケーションの適応性を高め、企業はシステムを一度に進化させることなく、部分ごとに進化させることができます。
従来のアプリケーションは通常、システムのすべての機能が一つのまとまりとなった単一のコードベースとして構築されます。このアプローチでは、すべてが1か所に保存されるため、初期段階の開発が簡素化し、アプリケーションを単体のユニットとしてテストおよび展開しやすくなります。ただし、アプリケーションが大きくなるにつれて、モノリシックモデルは管理が難しくなります。コードの一部を変更すると、システム全体に影響が及び、更新が遅くなり、大規模な変更のリスクが高まります。
マイクロサービスは、1つの膨大なコードベースを使用するのではなく、アプリケーションを小さな独立したサービスに分割します。それぞれのサービスに独自のコード、データ、展開プロセスがあります。各サービスはAPIを介して通信するため、緊密な結合がなくても接続を維持できます。この分離により、チームはアプリケーション全体を更新することなく特定の機能を変更できます。
マイクロサービスシステムは、サービスの接続性、セキュリティ、管理性を維持するために連携する複数のコンポーネントで構成されています。以下に、最も重要なビルディングブロックの一部を示します。
アーキテクチャの中心となるのは、各サービスそのものです。それぞれが特定のビジネス機能を扱い、個別に管理できます。この分離されたサービスにより、システム全体で障害が連鎖するのを防ぎ、チームの迅速な対応が可能になります。
APIゲートウェイは、システムにリクエストを送信するアプリケーションやデバイスのフロントドアです。リクエストを適切なサービスにルーティングし、認証を処理し、セキュリティポリシーを適用できます。これらのタスクを一元化することで、個々のサービスを不要な複雑さから保護します。
サービスが頻繁にスケールアップまたはスケールダウンされる動的な環境では、システムに各サービスの場所を特定する方法が必要です。サービスディスカバリーメカニズムは、アクティブなサービスとそのエンドポイントの場所を追跡し、リクエストを確実にルーティングできるようにします。
各サービスは、独自のデータを管理します。通常は、それぞれのニーズに合わせて選択したデータベースに格納されます。これにより、共有データストアで起こり得るボトルネックや競合が最小化され、各サービスが他のサービスと同じ構造に縛られることなく変更できるようになります。
各サービスでは多くの情報を交換します。サービスメッシュは、そのフローの管理に役立つ別の通信レイヤーです。システムが大規模で複雑化しても確実にメッセージが伝わるよう、負荷分散、データのセキュリティ確保、各種セーフガードの追加を行い、通信の信頼性を高めます。
CI/CDパイプラインは、コードの更新を開発から実稼働に移行するプロセスを自動化します。これにより、デリバリが迅速化し、ミスが減少し、変更を定期的にプッシュしやすくなります。
マイクロサービスは分散しているため、そのアクティビティを可視化することが不可欠です。モニタリングツールは、サービスのパフォーマンスと可用性を示します。また、ログは各サービス内のイベントを記録します。これらを組み合わせることで、問題の特定が容易になり、システムをスムーズに稼働させることができます。
DDDは、請求やカスタマーサポートなどの特定のビジネスドメインに各サービスを整合させる設計アプローチです。組織は、テクニカルレイヤーではなくビジネスケイパビリティを中心にサービスを構造化することで、実際のニーズをより適切に反映したシステムを構築し、ニーズが変化しても柔軟に対応できます。
設計パターンは、マイクロサービスで繰り返し発生する課題に対して再利用可能なソリューションを提供します。開発者は、システムを強化し、スケーリングと管理を簡素化するための実践的な方法を得られます。以下に、最も一般的なものをいくつか紹介します。
APIゲートウェイは、クライアントとサービスの間にあり、単一のエントリーポイントとして機能します。クライアントが複数のサービスを直接呼び出すのではなく、すべてのリクエストはゲートウェイを通過し、ゲートウェイがルーティング、認証、ロードバランシングを処理します。
サービスが遅くなったり、障害が発生したりすると、システム全体が遅延する可能性があります。サーキットブレーカーパターンは、リクエストを監視し、エラーがしきい値を超えた場合に障害のあるサービスへのコールを遮断することで全体の遅延を防ぎ、サービスが復旧したかどうかを確認してからリクエストを再度通過させます。これにより、障害が分離され、全体的なパフォーマンスが保護されます。
マイクロサービス内のトランザクションは、多くの場合、複数のサービスにまたがります。Sagaパターンでは、トランザクションを小さなステップに分割し、それぞれのステップを独自のサービスで管理し、メッセージで調整することで対処します。1つのステップで何か問題が発生した場合、システムは前のステップで加えた変更を元に戻すことができます。このようにして、注文処理のような複雑なプロセスも、トランザクション全体を制御する中央システムなしで機能します。
マイクロサービス環境内のサービスは、常に作成、破壊、移動しています。サービスレジストリは、サービスとその場所のディレクトリを保持します。他のサービスとAPIゲートウェイはこのレジストリを使用して、必要に応じてサービスを見つけて接続し、システムの柔軟性と信頼性を維持します。
マイクロサービスの導入は、スピード、スケーラビリティ、チームの効率性に直接影響するいくつかのメリットをもたらします。主なメリットは以下のとおりです。
マイクロサービスにより、チームはアプリケーションのフルアップデートを待たずに個別に機能をリリースできます。これにより、リリースサイクルが短縮され、お客様からのフィードバックや変化するビジネスニーズに対応しやすくなります。
各サービスは独立して実行されるため、組織は特定のサービスをスケーリングしながら、他のサービスはそのままにできます。たとえば、あるオンラインストアでは、休日のセール時にプラットフォーム全体をオーバープロビジョニングすることなくレジサービスの規模を拡大できます。
サービスに障害が発生しても、システム全体が停止することはありません。Eコマースサイトで決済サービスが停止した場合、トランザクションが遅延する可能性がありますが、ユーザーは商品の閲覧やアカウントの更新は可能です。この分離により、システム全体の信頼性が向上します。
マイクロサービスは、チームがサービスごとに任意のツールを自由に選択できるようにします。あるチームがリレーショナルデータベースをあるサービスに使用し、別のチームがNoSQLオプションを使用する場合や、あるチームがJavaでコーディングし、別のチームがPythonを使用する場合があります。この柔軟性は、パフォーマンスと生産性の最適化に役立ちます。
チームは、構築したサービスに対して完全なオーナーシップを担います。各チームは、最適なツールを選択し、独自のスケジュールでリリースし、他のグループを待たずに問題を修正できます。これにより、他のチームとの調整に費やす時間が短縮され、チームはより迅速に価値の提供に集中できるようになり、全体的な生産性が向上します。
マイクロサービスは多くのメリットをもたらしますが、同時に組織が慎重に検討する必要がある新たな課題ももたらします。以下に、最も一般的なトレードオフを示します。
単一のコードベースを管理するよりも、数十ものサービスを実行する方がはるかに複雑です。サービスごとに展開、モニタリング、スケーリングのニーズが異なるため、運用チームは調整レイヤーを追加する必要があります。
マイクロサービスには、従来型のコーディングされたアプリよりも高度なインフラストラクチャが必要となることがよくあります。サービスはコンテナにパッケージ化されるか、独自のVMでホストされ、モノリスと比較してメモリ、ストレージ、コンピュートリソースを消費します。
サービスはネットワークを介して互いにやり取りするため、レイテンシー、タイムアウト、メッセージ損失などの問題が現実的な懸念事項となります。複数のサービスにまたがる障害のデバッグは、単一のコードベースでバグを追跡するよりも難しい場合があります。
マイクロサービスには新しい働き方が必要です。チームはビジネスドメインに沿って連携し、サービスのオーナーシップを取り、DevOpsの実践を採用する必要があります。中央集権型の制御に慣れている組織は、この分散モデルへの適応に苦労する可能性があります。
マイクロサービスは、さまざまな種類の問題を解決するためにさまざまな業界で使用されています。以下に、組織がこのモデルを実際に適用する例をいくつか示します。
オンライン小売企業は多くの場合、マイクロサービスを使用して製品カタログ、買い物かご、会計、在庫管理などの個別の機能を管理します。この分離により、サイトの他の部分の安定性を維持しながら、休日の営業時にレジサービスを拡大できます。
ストリーミングプラットフォームは、シームレスな体験を提供するためにマイクロサービスに依存しています。個々のサービスが、コンテンツのレコメンデーション、ユーザープロファイル、再生などのタスクを処理します。この設計により、単一のシステムに負担をかけずに数百万人のユーザーにストリーミングできます。
銀行や金融テクノロジー企業は、決済処理、不正検知、顧客アカウント管理などのコア業務にマイクロサービスを使用しています。独立したサービスは、顧客のためのセキュリティの向上、機能のロールアウトの迅速化、ダウンタイムの短縮を実現します。
配送・物流企業は、複雑なオペレーションの調整にマイクロサービスを使用しています。あるサービスがパッケージ追跡を、別のサービスがルート最適化を、別のサービスが顧客通知をそれぞれ処理します。これらを組み合わせることで、配送の問題やルート変更の要件への適応が容易になります。
多くのアプリケーションは、ユーザーを関与させるために通知に依存しています。専用のマイクロサービスが、さまざまなプラットフォームにわたってプッシュアラート、Eメールキャンペーン、SMSメッセージを管理できます。通知サービスは独立しているため、トラフィックの多いイベント時にシステムの他の部分に影響を与えることなくスケールアップできます。
マイクロサービスは、従来のモノリシックシステムよりもスケーラブルでメンテナンス性と適応性に優れたアプリケーションを構築する手段を提供します。ソフトウェアを小規模なサービスに分割することで、チームはアップデートを迅速にリリースし、需要の変化に応じて個々のコンポーネントを拡張し、テクノロジーの選択肢を特定のビジネスニーズと一致させることができます。
ただし、そのモデルにはトレードオフがあります。何十ものサービスを実行することで、モニタリングから展開、組織内の文化的な変化の必要性に至るまで、新たな複雑さが引き起こされます。成功するためには、慎重な設計、適切なツール、独立したサービスのオーナーシップを持つための才能あるチームが必要です。
多くの場合、最適な進め方は段階的に導入していくことです。まずは、独立性とスケーラビリティが最大価値をもたらす領域(顧客向け機能や需要の高いサービスなど)を特定することから始め、そこから進化していきます。マイクロサービスは真のメリットを引き出しますが、そのメリットは導入が組織の準備状況と目標に合致している場合に最も発揮されます。
クラウドプラットフォームは、マイクロサービスにとって最適な選択肢です。Google Cloud、AWS、Azureなどのプロバイダーは、コンテナオーケストレーション、サービスディスカバリー、API管理のためのツールを提供しています。これらのサービスにより、組織はマイクロサービスをオンデマンドでスケールアップまたはスケールダウンしながら、消費したリソースに対してのみ課金できます。
マイクロサービスプラットフォームは、マイクロサービスの構築、展開、管理を簡素化するツールとフレームワークのセットです。これらのプラットフォームは、オーケストレーション、コンテナ管理、ネットワーキング、モニタリング、スケーリングなどに対応します。実際には、コンテナにDocker、オーケストレーションにKubernetes、通信とセキュリティの管理にLinkerdやIstioなどのサービスメッシュを使用することになります。これらのプラットフォームは、分散サービスを円滑に実行し続けるためのバックボーンを提供します。
はい、可能です。サーバーレスコンピューティングは、マイクロサービスをトリガーされた場合にのみスピンアップする個別の関数として実行するために使用できます。このモデルは、インフラストラクチャのオーバーヘッドを削減し、予測不可能なトラフィックを伴うワークロードのコストを削減します。ただし、サーバーレスサービスにはコールドスタートや実行時間の制限強化などの新たな課題をもたらす可能性もあります。