미래에셋자산운용, AI 투자 모델 데이터 작업 효율화로 운영 부담과 비용은 줄이고, 작업 속도는 대폭 향상

미래에셋자산운용은 글로벌 투자 전문 기업으로 다양한 자산에 대한 투자 상품을 제공하고 있다. 1997년 설립 후 전세계 16개 지역에 글로벌 운용 네트워크를 구축하고 현재 354조원 이상의 자산을 운용 중이다. 대표 투자 상품인 ETF의 순자산 규모는 142조원이며, 전 세계 운용사 중 12위에 해당한다.

미래에셋자산운용의 AI 투자모델을 위한 인풋 데이터는 S&P글로벌, FACTSET 같은 금융 데이터 기업으로부터 구매한 재무 회계 데이터가 주를 이룬다. AI 투자 모델의 미래 수익률 예측에 활용되는 데이터는 금융 모델, 가격, 거래량, 매크로 등으로 다양하다. 

기존 데이터 환경은 데이터 벤더로부터 FTP로 전송받은 원본 데이터를 추출·변환·적재(ETL)와 데이터 전처리 과정을 거쳐 AI 투자 모델로 넣는 복잡한 흐름을 갖고 있었다. 데이터 소스마다 별도의 파이프라인과 인프라를 운영해 갈수록 부담이 커지는 구조였다.

이같은 환경은 복잡한 데이터 관리 문제를 발생시켰다. 과거 시점별 데이터 추출을 위한 데이터 변경 이력을 저장하는 니즈는 스토리지 용량 부담을 누적시켰다. AI 모델 학습을 위해 잘 정제한 데이터를 AI 부서 외의 현업 부서와 해외 법인에도 제공할 수 있게 데이터 접근성도 개선해야 했다. 운영 비용은 늘어나고 데이터 관리 복잡성은 커졌으며, 확장성 부족의 한계가 드러났다.

미래에셋자산운용은 스노우플레이크 마켓플레이스의 Data sharing 기능을 통해 데이터 벤더의 최신 데이터세트를 쉽게 공유받게 됐으며, 데이터 파이프라인이 스노우플레이크로 단일화됐다. 물리적인 데이터 복제와 데이터 수집 파이프라인이 사라졌고, 더 빠르고 편리하게 잦은 주기로 데이터를 확보할 수 있게 됐다.

데이터마켓인 스노우플레이크 마켓플레이스에서 데이터 벤더 기업은 다양한 SaaS 커넥터를 활용해 데이터 상품을 직접 전달하므로 기존 ETL 프로세스 관련 비용과 업무가 사라졌다. 마켓플레이스에서 구매한 데이터는 스노우플레이크에서 즉시 조회 가능한 형태여서 AI 투자 모델에서 바로 활용할 수 있다. 데이터 공급기업이 정보를 업데이트하면 곧바로 미래에셋자산운용의 데이터도 변경된다.

기존에 운영하던 ETL 프로시저도 스노우플레이크 플랫폼에서 동일하게 사용할 수 있었다. 주요 기능은 1:1로 치환해 변환할 수 있었고, 그외 구문은 로직 변경 없이 그대로 사용 가능했다. 

스노우플레이크는 데이터 전처리 작업의 시간, 비용 등의 측면에서 효율성을 높였다. 스노우플레이크 마켓플레이스의 데이터는 바로 AI 모델에서 활용가능한 형태로 흘러들어가 AI 투자 모델 학습에 돌입하는 시간을 대폭 줄였다. 스노우플레이크는 데이터 용량에 상관없이 실제로 컴퓨팅 자원의 사용량에 따라 과금한다. AI 모델이 데이터를 활용할 때만 비용을 지불하면 되기 때문에 용량 증가 부담을 덜었을 뿐 아니라, 모델 학습 시 자원 할당 최적화 전략을 통해 시간을 단축하고 비용도 줄이게 됐다.

미래에셋자산운용은 스노우플레이크의 Task, Multi-cluster, Stream, Time Travel, Zero copy cloning 등의 기능을 활용 중이다.

미래에셋자산운용은 전세계 법인에서 공통으로 활용할 수 있는 글로벌 데이터베이스와 데이터 플랫폼을 갖춤으로써 글로벌 공유가 용이해졌다. 마켓플레이스를 통한 빠른 데이터 업데이트는 데이터 워크플로우를 대폭 단축시켜 연구 개발 프로세스를 효율화했다. 원본 데이터의 모든 행에 대한 스냅샷을 만들 수 있게 돼 변경 사항에 대한 정보 기록과 관리가 용이해졌다. 특정 배치 프로시저의 경우 15시간 걸리던 작업을 최대 확장 시 3분 이내에 완료할 수 있게 됐다. 시스템 자원 비용을 절감하면서 성능은 최대 300배 이상 향상되었다.