Capital One, Snowflake로 데이터 사이언스 혁신

Capital One의 미션은 금융을 더 나은 방향으로 변화시키는 것입니다. 우리는 금융 서비스의 미래를 그릴 때 업계의 기존 트렌드를 따르지 않습니다. 대신, 기술이 사람들의 삶을 어떻게 변화시키고 있는지에 주목합니다. 

저는 엔지니어링 리드인 Salim Syed입니다. 저는 데이터 엔지니어링 디렉터인 Nagender-Gurram입니다. 저는 Capital One에서 16년 동안 근무하며 여러 번의 큰 변화를 직접 경험했습니다. 가장 큰 도약은 클라우드로의 전환이었습니다. 

빠르게 변화하는 환경에서 신속하게 적응하며 민첩하게 움직여야 했습니다. 첫 단계는 클라우드로의 전환이었죠. 다른 금융 기업들도 클라우드를 도입하고 있지만 조심스럽게 접근하고 있습니다. Capital One은 퍼블릭 클라우드로 완전히 전환한 최초의 은행입니다. 무한한 컴퓨팅과 스토리지를 관리하기 위한 최적의 운영 방안을 마련해야 했습니다. 이 새로운 환경에서 거버넌스 문제를 해결할 솔루션으로 Snowflake가 혁신적이라고 판단했습니다

Snowflake를 통해 컴퓨팅과 스토리지를 분리할 수 있게 되었습니다. 덕분에 데이터 엔지니어링 팀은 혁신에 더 많은 시간을 집중할 수 있게 되었고 이제 인프라 관리나 프로비저닝에 신경 쓸 필요가 없어졌죠. 

현재 많은 데이터가 유입되고 있으며, 그 속도 또한 계속 빨라지고 있습니다. 고객에게 빠르게 인사이트를 제공할 수 있는 인프라를 갖추고 계신가요? 만약 클러스터에 장애가 발생해도 Snowflake는 자동으로 재시작해서 데이터 손실 없이 처리를 이어갑니다. 이런 점이 Capital One의 비즈니스 연속성에 매우 중요합니다. 

Snowflake 덕분에 데이터 사이언티스트들은 머신러닝 알고리즘을 개발하고 모델을 학습시킬 수 있습니다. 이를 통해 Capital One의 지능형 어시스턴트인 Eno와 같은 디지털 제품을 제공할 수 있게 되었습니다. 처음 Snowflake를 선택했을 때 각 사업 부서가 직접 사용할 수 있는 셀프서비스 도구를 만들어야 한다는 걸 깨달았습니다. 이를 통해 팀은 자체적으로 Snowflake 리소스 온보딩을 관리할 수 있죠. 

요점은 거버넌스의 복잡성을 해소하고, 쉽고 투명한 프로세스를 구축하는 것이었습니다. 이렇게 해서 운영 속도를 더욱 높일 수 있었죠.

AWS는 Capital One의 주요 클라우드 제공업체입니다. Snowflake는 AWS와 완벽하게 통합되어 있어 매우 빠른 속도로 데이터를 전송할 수 있습니다. 수천 명의 분석가들이 매일 수백만 건의 쿼리를 실행하고 동시에 수백 건이 처리되기도 하지만, 항상 예측 가능한 성능을 제공하며 플랫폼의 사용량과 관계없이 동일한 속도로 처리됩니다. 

Snowflake의 다양한 신규 기능에 대해 매우 기대하고 있습니다. 예를 들면 Spark와 같은 기능은 머신러닝 모델을 더 효과적으로 구현하는 데 도움이 됩니다. Capital One은 데이터 마켓플레이스에도 주목하고 있습니다. 여러 POC를 진행 중이며 이미 COVID-19 데이터를 활용하고 있습니다. 문제가 집중되는 지점을 파악하고 어떻게 빠르게 대응할지 등 금융 의사 결정을 개선하는 데 도움이 됩니다.

이는 데이터 산업에 큰 변화를 가져오고 있습니다. Snowflake와는 훌륭한 파트너십을 이어가고 있습니다. 항상 피드백을 적극적으로 수용해 주거든요. Snowflake는 정말 강력한 플랫폼으로 시간과 비용 절감 효과가 뛰어납니다. 이에 따라 시장 출시 속도가 빨라지고 수요에 맞춰 유연하게 확장할 수 있습니다. 

한마디로, Snowflake가 다른 어떤 기술보다 우리의 요구에 가장 잘 부합했습니다.