Snowflake 위에 구축한 AI 기반 데이터 플랫폼으로 투자 인사이트 도출을 가속화한 State Street

1792년 설립된 State Street는 오랜 시간 금융 혁신을 이끌어온 선구적인 금융 기관입니다. 미 메사추세츠주 보스턴에 본사를 둔 State Street는 미국 최초의 뮤추얼 펀드의 수탁을 맡았고, 업계 최초로 다중 통화 회계 플랫폼을 선보이는 등, 전 세계 기관 투자자들이 더 나은 투자 성과를 거둘 수 있도록 언제나 새로운 기술을 도입하는 데 앞장서 왔습니다.  

전 세계 금융 자산의 10%를 수탁 및 관리하는 State Street는 투자 운용사들이 얼마나 방대한 데이터를 생성하는지, 그리고 그 데이터가 얼마나 사일로화되어 있는지 누구보다 잘 알고 있습니다. 게다가, 확장할 수 없는 데이터 아키텍처는 과거 데이터를 비용 효율적으로 저장하고, 실시간 데이터에 접근하며, 시계열 데이터를 분석하는 데 큰 제약이 됩니다. 

State Street는 고객이 투자 프로세스 전반에서 생성되는 방대하고 다양한 데이터를 온전히 활용할 수 있도록 지원하기 위해 또 하나의 ‘최초'를 만들어 내기로 했습니다. 바로 State Street Alpha의 개발입니다. 프런트부터 백오피스에 이르기까지 전 영역을 아우르는 이 자산 서비스 플랫폼은 투자 라이프사이클 전반에 걸쳐 데이터와 분석 기능을 통합하여 운용 담당자들이 더 나은 결정을 내릴 수 있도록 지원합니다.

성능에 대한 우려를 해소하고 인프라 관리를 간소화할 수 있는 현대적인 클라우드 네이티브 기반이 필요했던 State Street는 Alpha Data Platform을 구동하기 위해 Snowflake를 선택했습니다.

Alpha Data Platform 개발이 처음 시작되었을 때, State Street는 온프레미스 데이터베이스를 최적의 성능으로 조정하고 관리하는 데 상당한 시간과 복잡성이 수반될 것이라는 사실을 빠르게 깨달았습니다. 특히 이러한 작업을 모든 사용자 환경에서 반복해야 한다면 그 부담은 더욱 커질 수 밖에 없음이 분명했습니다. 또한 가공 전 데이터 세트를 고객과 공유하려면 사용자 지정 ETL(추출, 변환, 로드) 파이프라인을 통해 데이터를 복제하고 이동해야 했습니다.  

Alpha Data Platform을 개발하게 된 또 다른 중요한 요인은 바로 클라우드 우선 솔루션에 대한 수요가 빠르게 증가하고 있었다는 점입니다. 이와 관련해 State Street의 Alpha Data Platform 프로덕트 오너인 Jeff Shortis는 이렇게 설명합니다. “저희 데이터 아키텍처는 비즈니스 민첩성에 대한 고객의 요구를 충족해야 했으며, 기존의 병목을 해소할 새로운 접근 방식을 지원할 수 있어야 했습니다.”

이러한 최신 데이터 기반을 Alpha 플랫폼에 구현하기 위해 State Street는 Azure 환경에서 Snowflake를 선택했으며, Snowflake의 안전한 데이터 공유 기능과 원활한 서드 파티 데이터 통합 기능을 활용해 업계를 선도하는 플랫폼을 구축했습니다. 이 플랫폼은 투자 엔터프라이즈 전반에 걸쳐 실시간에 가까운 가시성을 제공합니다. 포트폴리오 관리자는 장중 운용 가능한 현금, 담보로 제공된 자산, 대차 중인 증권 현황은 물론 지역, 자산군, 거래상대방별 리스크 익스포저를 한눈에 파악할 수 있습니다.

Snowflake 기반 데이터 아키텍처를 바탕으로 네이티브 데이터 보안 및 거버넌스를 확보한 State Street 팀은 플랫폼에 적용가능한 잠재적 AI 사용 사례를 탐색할 수 있게 되었습니다. State Street가 자체 개발한 딥러닝 모델 가운데 하나는 데이터 품질 관리와 이상 감지에 초점을 맞추고 있습니다. 이 모델은 포트폴리오의 다양한 요소를 점검해 분석가의 추가 검증이 필요할 수 있는 시장 가치 관련 이상 여부를 확인합니다. 이러한 상황은 투자 데이터 오류가 발생하는 드문 경우에 해당하지만, 위험 관리 모델이나 포트폴리오 평가에 중대한 영향을 미칠 수 있습니다. 

일반적으로 수동 임계값 기반 필터는 이상 징후를 감지하기 위해 생성되는데, 이로 인해 수동 조사가 필요한 수많은 거짓 경보가 발생합니다. 하지만 State Street는 AI 모델을 적용해, 오탐 경보를 보다 효율적으로 제거하도록 학습시켰습니다. State Street는 실제로 오류가 발생한 예외적인 상황을 100% 정확하게 감지하고 오탐의 87%를 제거했습니다. 그 결과, 이전에는 모든 예외를 잠재적 오류로 보고 하나하나 조사를 해야 했던 데이터 운영 팀의 생산성이 25배 향상되었습니다.

Snowflake 기반의 Alpha Data Platform이 제공하는 셀프 서비스 데이터 시각화 기능은 새로운 인사이트를 도출해 투자 전문가들이 보다 정교하게 매매를 수행하고, 투자자, 규제 기관 및 파트너에 더 빠르게 대응할 수 있도록 지원합니다. 검증된 최신 데이터를 단일 데이터 원천으로 통합 제공함으로써 리스크, 포트폴리오, 규정 준수, 트레이딩 팀 간의 협업도 한층 강화합니다. 또한 대규모 금융 데이터에 대한 준실시간 액세스를 통해 인사이트 도출을 가속화하는 동시에 비용 부담을 낮춥니다. 

Snowflake의 강력한 데이터 액세스와 AI 기능 덕분에 State Street Alpha 팀은 혁신을 더욱 빠르게 구현할 수 있었습니다. 데이터는 이동할 필요가 없으며, Snowflake는 준실시간으로 인사이트를 요약하고 집계할 수 있도록 지원합니다. 이에 따라 위험 분석가와 포트폴리오 관리자는 자연어 기반 쿼리로 데이터를 조회해 즉각적이고 정확한 답변을 얻을 수 있습니다.

State Street는 앞으로도 또 다른 ‘최초'를 만들어가기 위해 노력하고 있으며, 특히 생성형 AI를 활용해 고객, 파트너, 내부 이해관계자에게 새로운 가치를 제공하는 데 주력하고 있습니다. State Street의 CTO인 Aman Thind는 "생성형 AI는 고객과 업계 전반의 소통 방식을 고도화하는 새로운 표준이 될 것"이라고 밝혔습니다. 현재 State Street의 엔지니어들은 최종 사용자가 자신의 투자 포트폴리오에 대해 복잡한 질문을 할 수 있도록 지원하는 대화형 인터페이스를 개발하고 있습니다. 앞으로 금융 산업의 미래가 어떻게 전개되든, State Street는 Snowflake나 Azure와 같은 기술 리더들과의 파트너십을 바탕으로 고객 역량을 강화하고 실질적인 성과를 지속적으로 창출해 나갈 것입니다.