머신러닝 확장과 동시에 시간과 비용을 절약하는 S&P Global Market Intelligence

S&P Global은 필수 인텔리전스 제공 회사로서 정부와 기업은 물론 개인이 확신을 갖고 의사 결정을 내릴 수 있도록 올바른 데이터, 전문 지식 및 연결된 기술을 제공합니다. 고객의 신규 투자 평가를 지원하고 공급망 전반의 지속 가능성과 에너지 전환 여정을 안내하는 S&P Global은 전 세계를 위해 새로운 기회를 창출하고 문제점을 해결하며 발전을 가속화합니다. 글로벌 자본, 원자재 및 자동차 시장에서 신용 평가, 벤치마크, 분석 및 워크플로우 솔루션을 제공하는 S&P Global은 세계 유수의 기업들이 꾸준히 믿고 찾는 파트너입니다. S&P Global의 모든 솔루션은 세계 유수의 조직들이 당면 과제를 해결하고 미래를 계획할 수 있도록 지원합니다.

S&P Global의 주요 사업부 중 하나인 S&P Global Market Intelligence는 금융 및 산업 데이터, 분석, 연구 및 뉴스를 통합하여 기업이 위험과 보상 기회를 파악할 수 있도록 지원합니다. 일례로, 이 사업부의 대표적인 제품 중 하나인 RiskGauge™를 통해 고객은 거래 상대방에 대한 신용 위험 평가와 모니터링이 가능합니다. 이러한 인사이트는 특히 중소기업에 대한 익스포저가 있는 고객에게 매우 중요합니다. 중소기업은 대형 상장 기업과 달리 재무 정보 접근성이 낮아 재무 및 비즈니스 위험을 제대로 파악하기가 어렵기 때문입니다. 

S&P Global Market Intelligence는 수백만 개의 비상장 기업에 대한 방대한 양의 데이터를 저장, 마이닝, 선별하기 위해 Snowflake를 사용합니다. Snowpark를 기반으로 확장 가능한 ML 파이프라인을 구축함으로써 시기적절하고 신뢰할 수 있는 위험 보고서를 제공하고 더 많은 중소기업을 포괄하도록 커버리지를 확대할 수 있습니다.

S&P Global Market Intelligence는 위험 및 분석 보고서를 작성하기 위해 고급 ML 모델을 사용하여 수백만 개의 기업 웹 사이트에서 테라바이트 규모의 데이터를 수집합니다. 초기에는 원시 웹 크롤러 데이터를 오브젝트 스토리지에 저장하고 데이터 정리 및 모델 호스팅에는 여러 데이터 사이언스 기술을 사용했습니다. 그러나 얼마 지나지 않아, 데이터 이동, 런타임 성능, 인프라 비용, 복잡성 등에 대한 우려 때문에 이 접근 방식을 포기하기에 이르렀습니다. 

S&P Global Enterprise Data Organization의 데이터 사이언스 부문 AI 엔지니어링 및 아키텍처 책임자인 Ganesh Nagarathnam은 “주력 기술은 정말 뛰어난 성능을 발휘해야 한다”면서 이렇게 설명합니다. “데이터를 한 곳으로 이동시켜 컴퓨팅하고 결과는 별도의 공간에 저장하는 방식을 원하는 것이 아닙니다. 즉, 단일 통합 엔진이 필요합니다. 데이터 수집, 데이터 마이닝, 데이터 선별이 모두 단일 생태계에서 이루어지도록요.” 

S&P Global Market Intelligence 팀은 확장성을 위해 Snowflake를 선택했습니다. S&P Global Market Intelligence의 리스크 솔루션 부문 신제품 개발 책임자인 Moody Hadi는 “수집되는 정보의 규모가 워낙 방대해 며칠이 아니라 몇 시간 만에 마이닝을 완료할 수 있도록 데이터와 컴퓨팅을 통합하고 싶었다”면서 이렇게 설명합니다. “빅 데이터를 대량으로 처리하고 기업들이 일반적으로 자사의 공개 정보를 업데이트하는 방식과 동기화된 인사이트를 생성할 수 있는 확장성 때문에 Snowflake와 Snowpark를 선택했습니다.”

S&P Global Market Intelligence는 Snowflake를 통해 완전 관리형 서비스를 활용할 수 있게 되어 수동 구성이나 가동 중단 없이 리소스를 효율적으로 확장할 수 있었고, 데이터 처리 성능과 가용성도 향상되었습니다. “Snowflake는 코드를 변경하지 않고도 손쉽게 확장하거나 축소할 수 있는 통합 플랫폼을 제공하여 AI 관련 프로젝트에 필요한 속도를 유지하면서 컴퓨팅 비용을 예산 내에서 관리할 수 있도록 해주었다”고 Hadi는 말합니다.

S&P Global Market Intelligence는 이제 정형 및 비정형 웹 크롤링 데이터를 모두 Snowflake에 로드하고 Snowpark를 기반으로 구축된 비즈니스 속성 및 퍼모그래픽 마이닝 모델을 적용합니다. 그러면 이 AI 맞춤형 모델이 비즈니스 데이터를 선별하여 최종적으로 S&P Global Market Intelligence의 RiskGauge™ 보고서 내 신용 모델에 데이터를 제공합니다.

S&P Global Market Intelligence는 매주 테라바이트 규모의 데이터를 처리해야 했기에 대규모 데이터 세트를 효율적으로 처리할 수 있는 플랫폼이 필요했습니다. 이제는 Snowpark를 통해 데이터와 컴퓨팅을 더욱 쉽게 한 곳에 배치하여 맞춤형 모델, 자연어 도구 모음, 개체명 인식 등 여러 알고리즘과 데이터 마이닝 모델 간 병렬 처리를 더 빠르게 구현할 수 있습니다. 고급 ML 모델을 병렬로 실행하면 회사명, 비즈니스 활동 스니펫, 회사 위치 정보, 산업 분류, 공지 사항, 뉴스 감성 분석 등 다양한 조직 데이터의 추출 속도를 높일 수 있습니다.

Snowpark Container Services는 컴퓨팅 집약적인 사용 사례에 그래픽 처리 장치(GPU)를 선택적으로 사용하여 S&P Global의 데이터 비용을 최적화합니다. “Snowpark와 Snowflake는 서로 경합하는 15개의 대형 ML 모델을 포함한 모든 빅 데이터 처리를 손쉽게 수행한다”고 Hadi는 말합니다.

다른 데이터 사이언스 및 AI 플랫폼을 사용할 때는 상당한 오버헤드 비용과 처리 지연이 발생했지만, Snowflake로 전환한 후로는 팀의 전체 워크플로우가 간소화되고 스토리지와 컴퓨팅이 단일 환경으로 통합되었습니다. 또한 자동화된 플랫폼 관리와 원활한 업그레이드 덕분에 운영이 간소화되어 이제는 더 이상 복잡한 데이터 전송을 처리하지 않아도 됩니다. 이러한 개선 덕분에 가동 중지 시간, 수동 구성, 번거로운 유지 보수가 줄어들었고, 이와 동시에 성능을 개선하고 복잡성을 줄이며 인프라에 대한 통제력을 강화할 수 있게 되었습니다.  

S&P Global Market Intelligence의 데이터 마이닝 엔진은 Snowflake 환경에서 일관적으로 우수한 성능을 보여주고 있습니다. 예를 들어, 사업체 위치를 추출하는 패턴 기반 알고리즘은 수백만 개의 웹 페이지를 단 몇 분 만에 처리하고, 자연어 처리 모델은 불과 몇 분 만에 수백만 개의 URL에서 사업체 이름과 속성을 추출합니다. 

S&P Global Market Intelligence는 Snowflake를 활용하여 과거의 중요한 정보는 유지하면서 빠르게 변화하는 시장 데이터에 신속하게 대응하고 있습니다. Nagarathnam은 이렇게 말합니다. “Snowflake의 가장 큰 장점은 변경되거나 삭제된 데이터를 포함한 전체 감사 이력을 보존할 수 있다는 것입니다. 따라서 채무 불이행 점수를 이전 계산 결과와 비교할 수 있습니다.”

S&P Global Market Intelligence는 Snowflake를 사용하여 최소 2억 개의 웹 사이트 URL과 500만 개의 중소기업 데이터를 저장하고 마이닝하며 선별합니다. 연말까지 커버리지 규모를 두 배로 확대하면 기업 고객에게 더욱 풍부한 신용 분석 정보를 제공할 수 있습니다. Hadi는 “Snowflake는 확장성이 뛰어나기 때문에 기존에 구축한 것과 동일한 파이프라인으로 500만 개 기업의 데이터를 추가적으로 수집할 수 있다”면서 이렇게 덧붙입니다. “이는 미국의 모든 중소기업을 신용 분석 범위에 포함하겠다는 저희 목표를 달성하는 데 도움이 될 것입니다. 데이터의 진실성 수준이 서로 다른 여러 개체에 대해 S&P Global의 AI 역량을 결합하면 이들 개체에 대한 정보를 효율적인 방식으로 삼각 측량할 수 있습니다.”

웹 트래픽 및 기업 변화 데이터와 같은 추가적인 비즈니스 속성을 마이닝하고 이를 다른 데이터 세트와 결합함으로써 S&P Global Market Intelligence는 고객에게 더욱 풍부한 가치를 제공할 수 있습니다. Nagarathnam은 “저희는 웹 사이트에서 추출한 주요 정보를 보강하여 고객이 저희에게서 최고 품질의 데이터를 받고 있다는 사실을 확신시켜 드린다"면서 이것이 S&P Global의 핵심 차별화 요소”라고 강조합니다.