Legend와 Snowflake Native App으로 규정 준수 기반 데이터 협업을 실현한 Goldman Sachs

조직에는 다양한 출처에서 방대한 양의 데이터가 유입됩니다. 그렇다면 이 모든 데이터를 어떻게 이해하고 활용할 수 있을까요?

Goldman Sachs에서는 Legend 데이터 플랫폼과 Snowflake Native App Framework를 활용해 데이터를 이해하는 것을 넘어 변환, 거버넌스 적용, 공유 및 모델링까지 수행하고 있습니다. 이를 통해 적시에 데이터 기반 인사이트를 확보하고, 협업 기반 의사 결정을 강화하고 있습니다.

Goldman Sachs는 데이터 웨어하우징과 데이터 엔지니어링을 위해 Snowflake를 활용하고 있으며, 특히 Snowflake Secure Data Sharing은 공급업체, 판매자, 데이터 마켓플레이스 등으로부터 서드 파티 데이터를 확보하고 온보딩하는 데 중요한 역할을 합니다. 이 파트너십을 통해 신규 데이터 수집 과정은 개선되었지만, 데이터에 적용되는 디지털 권리와 액세스 제한을 어떻게 관리하고 그 데이터를 통해 인사이트를 어떻게 도출할 것인지가 새로운 과제로 떠올랐습니다. 과거에는 연구자들이 거버넌스를 유지하면서 내부 데이터와 서드 파티 데이터를 결합하기 위해 데이터 엔지니어와 협력해야 했습니다. 동시에 데이터 엔지니어는 연구자의 구체적인 요구 사항을 이해하여 적절한 변환과 프로세스를 적용해야 했습니다. 이러한 과정에는 병목 현상과 지연, 그리고 거버넌스 문제로 이어질 가능성이 항상 존재했습니다. 

Goldman Sachs의 Legend 플랫폼과 Snowflake Native App 기능을 결합함으로써 데이터 엔지니어는 복잡한 과정을 연구자와 비즈니스 사용자도 활용할 수 있도록 셀프서비스 환경으로 단순화했습니다. 

Goldman Sachs의 오픈소스 데이터 플랫폼인 Legend는 서로 다른 데이터 세트를 연결하고 데이터 모델 기반 인사이트를 생성하도록 지원합니다. 이를 통해 원시 상태의 분산된 데이터를 의사 결정을 위한 정리되고 구조화된 형태로 변환합니다. Snowflake Native App Framework는 애플리케이션 제공자가 고객의 데이터 환경으로 애플리케이션 코드를 가져올 수 있도록 지원하며, 데이터 클라우드에서 애플리케이션을 구축, 판매, 배포 및 유통하는 과정을 간소화합니다. 또한 Snowflake Native App은 고객 계정 내에서 배포되기 때문에 고객은 자신의 데이터를 직접 제어할 수 있으며, 동시에 데이터 공급자의 지식재산권(IP)도 보호할 수 있습니다. 이는 Goldman Sachs에게 특히 중요한 부분이었습니다.

Goldman Sachs 데이터 엔지니어링 부문의 매니징 디렉터인 Abhishek Narang은 다음과 같이 말합니다. “핵심 아이디어는 마찰을 줄이고 데이터를 가능한 한 빠르고 원활하게 사용자에게 전달하는 것입니다. 과거에는 비즈니스 팀이 방대한 데이터 테이블을 자신의 데이터베이스로 복제해 가져와야 했고, 그 안에서 인사이트를 도출하기가 쉽지 않았습니다. 새로운 모델에서는 거버넌스 모델을 내장해 최종 사용자가 데이터에 보다 의미 있게 접근할 수 있도록 했습니다.” 

Goldman Sachs의 데이터 파이프라인은 여러 구성 요소로 이루어져 있습니다. 서드 파티 데이터는 Snowflake Marketplace, Amazon Data Exchange, Crux 등 다양한 데이터 전달 채널을 통해 유입될 수 있습니다. Crux는 Goldman Sachs와 다른 공급업체 사이에서 프록시 역할을 하는 서드 파티 처리 에이전트로, Snowflake Secure Data Sharing을 통해 데이터를 전달할 수 있습니다. 

이러한 모든 서드 파티 데이터는 Narang의 팀을 통해 전달됩니다. 이 팀은 Legend에서 데이터를 모델링하고, 적절한 디지털 권리와 액세스 권한을 적용하며, 품질 기준을 충족하는지 확인하고, 데이터가 정제되고 적절히 버전 관리되도록 합니다. 이를 통해 비즈니스 부서는 며칠 안에 모델링과 액세스 제어가 적용된 데이터를 활용할 수 있으며, 해당 데이터는 연구 프로젝트나 알파 생성, 고객 지원을 위한 새로운 기회 발굴 등 다양한 목적에 사용됩니다.

Narang은 다음과 같이 설명합니다. “Legend에서 이러한 방식으로 데이터를 모델링하면 조직 내 역할에 관계없이 누구나 일상적인 데이터 활용 과정에서 공통된 언어로 소통할 수 있습니다. 데이터 모델은 가장 간결하면서도 정확한 기능 사양입니다.”

이 기능의 강력함을 보여주기 위해 Goldman Sachs는 Legend의 기능을 활용해 Snowflake Native App을 대폭 강화했습니다. 구체적으로는 API를 SQL로 변환해 네이티브 데이터베이스 성능을 확보하는 동시에 사용 권한 정책도 함께 적용되도록 했습니다. 

Narang은 이렇게 말합니다. “데이터 클라우드에서 Legend Snowflake Native App을 활용하면 모든 액세스 권한 정책과 모델 사양, 즉 우리의 IP를 하나의 패키지로 묶어 최종 사용자와 공유할 수 있습니다. 이는 기존 데이터 공유 방식 위에 거버넌스를 결합하는 것과 같습니다.”

Legend의 시맨틱 모델링, Snowflake Native App, Secure Data Sharing을 결합함으로써 Goldman Sachs는 규정 준수 기반 데이터 공유와 협업을 훨씬 단순화했습니다. 데이터 연결 방식과 액세스 권한을 정의하는 규칙이 앱 안에 패키징되며, 앱이 다시 공유될 때도 해당 규칙이 함께 유지됩니다. 이 접근 방식은 사업 부서별로 분산된 데이터 엔지니어링 환경에서 발생할 수 있는 위험을 줄여 줍니다. 예를 들어 액세스 권한과 거버넌스 적용 방식의 차이, 데이터와 작업의 중복, 비용 증가, 데이터에 대한 서로 다른 해석 등의 문제를 예방할 수 있습니다. 실제로 어떤 팀은 쿼리를 다른 방식으로 작성하거나, 한 데이터 세트가 다른 데이터 세트와 어떻게 결합되는지 잘못 이해하고 노트북에서 서로 다른 시맨틱 체계를 정의할 수도 있습니다. 

이러한 위험을 줄이고 셀프서비스 기반 인사이트를 지원하기 위해 Goldman Sachs는 다음 두 가지 조치를 취했습니다.

• 데이터 탐색 과정을 간소화: 사용자는 내부 단일 카탈로그에서 공급업체 데이터를 확인할 수 있으며, Legend를 통해 어떤 데이터가 제공되는지, 그리고 이를 사용할 수 있는 사업 부서를 쉽게 파악할 수 있습니다.
• 적절한 액세스 보장: 사용자가 어떤 데이터를 필요로 하는지 파악한 후에는 버튼 클릭 한 번으로 Snowflake Native App을 요청하고 사용할 수 있습니다. 사용자 입장에서는 일반적인 뷰나 테이블처럼 보이지만, 실제로는 사용자 정의 테이블 함수(UDTF)를 통해 공유되는 것이며, 그 안에는 모델 사양과 함께 적절한 거버넌스 정책이 포함되어 있습니다.

이 새로운 접근 방식의 효과는 매우 큽니다. 데이터 세트 온보딩과 액세스에 몇 주 또는 몇 달이 걸리던 것이 이제는 며칠로 단축되었습니다. 연구자, 퀀트, 데이터 사이언티스트는 이제 데이터 클라우드의 Legend Snowflake Native App을 활용해 필요한 데이터를 찾고, 분석하고, 변환하고, 공유할 수 있습니다. 더 이상 데이터 엔지니어를 찾아다닐 필요도 없고, 데이터 품질이나 거버넌스 문제를 걱정할 필요도 없습니다. 그 결과 데이터 엔지니어링 팀은 신규 데이터 세트 요청을 처리하는 운영 업무 대신 보다 전략적인 프로젝트에 집중할 수 있게 되었습니다.

Legend와 Snowflake Native App Framework는 Narang의 팀과 내부 사용자들이 시간과 노력을 절약하도록 돕는 동시에, 외부 고객 및 파트너와의 규정 준수 기반 데이터 공유에 대한 가능성도 열어 줍니다. 예를 들어 기관 투자 고객은 자신의 Snowflake 인스턴스를 활용해 데이터 클라우드의 Legend Snowflake Native App에서 제공되는 데이터와 자사의 데이터를 결합해 더 나은 투자 의사 결정을 내릴 수 있습니다.

Narang은 다음과 같이 말합니다. “데이터 엔지니어가 이러한 앱을 손쉽게 만들어 마켓플레이스, 프라이빗 배포, 자동 제공 기능 등을 통해 배포할 수 있고, 연구자와 다른 비즈니스 팀이 이를 간단하게 활용할 수 있다는 점이 매우 기대됩니다. 모두에게 이득이 되는 완벽한 사례입니다.” 

Snowflake Native App에 대해 더 알아보려면 여기를 확인해 보세요. Snowflake Marketplace에서도 Snowflake Native App을 체험하고 구매할 수 있습니다.