BMW Group, Snowflake의 AI 데이터 클라우드로 운영 데이터 워크로드 처리 능력 개선

BMW Group은 혁신성과 우수한 품질로 잘 알려져 있습니다. 이는 BMW Group에서 생산되는 자동차에만 해당되는 것이 아니라 BMW Group의 DNA에 깊이 뿌리내려져 있습니다. BMW Group의 데이터 팀은 2018년 클라우드 데이터 허브(Cloud Data Hub, CDH)라는 급진적인 프로그램에 착수하여 비즈니스 전반에서 데이터 중심 인사이트를 수집하기 시작했습니다.

CDH의 기본 원칙은 일관성과 품질을 유지하는 중앙 집중식 데이터 거버넌스 모델로 지원되는 동종 최고의 분산형 데이터 도구 세트를 제공하는 것입니다.

서비스, 제조, 판매 후 프로세스 등 15개 부문을 아우르는 약 6,000개의 데이터 세트와 제품에서 BMW Group이 수집하는 방대하고 다양한 데이터를 고려할 때, CDH에는 매달 이 데이터에 액세스하는 10,000명 이상의 사용자에게 서비스를 제공하기 위한 성능과 확장성이 필요했습니다. 

아울러, 대규모 운영 분석 워크로드 전반의 사용자에게 더 빠른 컴퓨팅 성능을 제공하면서 CDH 생태계 전반을 원활하게 통합할 수 있도록 엄격한 거버넌스 프레임워크 내에서 대규모 데이터 세트와 복잡한 워크로드를 처리할 수 있는 비용 효율적인 플랫폼이 필요했습니다. 그리고 Snowflake의 AI 데이터 클라우드에서 그 모든 해답을 찾을 수 있었습니다.

BMW Group은 CDH의 많은 사용 사례에서 AWS 인프라와 Apache Iceberg 테이블을 함께 사용하여 높은 성능과 유연성을 구현합니다. BMW Group의 클라우드 데이터 허브 부문 제품 관리 책임자인 Ruben Simon은 “Amazon Web Services와 강력한 파트너십을 맺고 있고, AWS 도구로도 사용 사례 대부분의 요구 사항을 충족할 수 있다”고 설명합니다. 

그러나 CDH 팀은 대규모 운영 데이터 세트와 관련된 사용 사례를 비롯한 일부 사용 사례의 경우 다른 데이터 접근 방식을 통해 이점을 얻을 수 있다는 점을 깨달았습니다. “운영 사용 사례의 경우 매우 빠른 컴퓨팅이 필요했고, Snowflake가 경쟁 제품보다 앞서 있었기 때문에 Snowflake를 CDH에 통합하기로 결정했습니다.”

이제 BMW Group은 AI 데이터 클라우드를 데이터 파운데이션의 키 컴포넌트로 활용하여 대규모 데이터 워크로드에 대해서도 높은 수준의 성능을 제공할 수 있습니다. 예를 들어, 지난 10년 간의 차량 서비스 및 수리 트랜잭션 데이터처럼 대규모 데이터 레이크에 보관되어 있던 회사의 서비스 데이터가 이제는 Snowflake에서 실행됩니다. Snowflake의 컴퓨팅 파워를 기반으로 대리점과 정비소는 고객의 서비스 이력을 거의 즉시 확인할 수 있습니다. 즉, 대리점 직원은 업무를 더욱 효율적으로 처리하고 필요한 정보를 더 빨리 얻을 수 있으며, 고객은 더욱 신속한 서비스와 수리를 받을 수 있게 되었습니다. 

CDH 팀은 Apache Iceberg가 단일 테이블을 사용하는 간단한 워크로드에서는 더 나은 비용 대비 효과를 제공하지만, 더 복잡한 워크로드에서는 Snowflake가 더욱 저렴한 비용으로 고성능을 제공할 수 있다는 사실을 금방 깨닫게 되었습니다. Ruben Simon은 “Snowflake가 프리미엄 컴퓨팅 리소스이기 때문에 비용이 더 많이 들 것이라고 생각했지만, 실제로는 컴퓨팅 작업으로 인해 많은 워크로드에서 비용이 절감되고 있다”고 말합니다. BMW Group은 Snowflake를 통해 서비스 데이터 워크로드에서 기존 플랫폼 대비 평균 비용을 25% 절감했습니다.

Snowflake는 또한 간단한 인터페이스를 제공하므로 사용자가 간편하게 구성할 수 있습니다. AWS 도구는 사용자가 역할을 구성해야 하지만, Snowflake 인스턴스는 단 몇 번의 클릭만으로 배포가 가능합니다. CDH 팀은 Snowflake와 긴밀하게 협력하여 AI 데이터 클라우드의 진입 장벽을 더욱 낮추고 사용자가 쉽게 시작할 수 있도록 지원했습니다. 이것이 바로 Snowflake 채택이 매우 빠르게 이루어지는 이유라 할 수 있습니다. 판매, 서비스부터 공급망까지 60건 이상의 CDH 사용 사례가 단 18개월 만에 Snowflake에서 실행되었습니다.

CDH에 통합되는 모든 도구는 BMW Group의 거버넌스 프레임워크와 데이터 저장 및 관리 방식에 대한 철학을 충족해야 합니다. Snowflake도 예외는 아니었습니다.

Khalid Al-Khalili는 “플랫폼의 모든 데이터는 데이터 거버넌스 프레임워크에 따라 투명하게 처리되어야 한다”면서 이렇게 설명합니다. “데이터 스튜어드가 한 시스템의 데이터 세트에 대한 액세스를 허용하면, 그 권한은 AWS든 Snowflake든 다른 플랫폼에도 적용되어야 합니다.”

이는 사실상, Snowflake가 CHD 전반에서 데이터를 읽고 쓸 수 있어야 하고 BMW Group 내부의 시스템과 AWS의 ID를 확인할 수 있어야 함을 의미합니다. 이렇게 전체 데이터 세트를 통합하는 작업은 어려운 일처럼 보일 수 있지만, BMW Group은 단 6명의 Snowflake 전담 전문가와 CDH 팀원들만으로 18개월 만에 Snowflake를 자사의 복잡한 다중 공급업체 생태계에 비교적 쉽게 도입할 수 있었습니다. 

Snowflake는 이들의 노력과 더불어, 다른 기술과 통합해 온 그간의 경험을 바탕으로 BMW Group에서 정기적으로 사용되는 여러 다른 도구들도 지원합니다. Ruben Simon은 “사용자 입장에서 모든 것이 원활해야 한다”고 말하면서 이렇게 설명합니다. “Snowflake의 컴퓨팅 성능 덕분에 이를 실현할 수 있었습니다. Snowflake가 훌륭한 파트너라고 생각하게 된 것도 바로 이 때문이었습니다. AWS, Apache Iceberg 등 어디에 데이터를 저장해도 Snowflake의 컴퓨팅 성능을 계속 누릴 수 있으니까요.”

BMW Group은 CDH를 계속 발전시킬 계획입니다. 즉, 정형 데이터와 비정형 데이터를 결합하고, 적절한 생성형 AI 사용 사례를 찾고, 오픈형 계보 구조로 전환하는 것을 목표로 하고 있습니다.

또한 모든 것이 데이터 거버넌스 프레임워크 내에서 작동하도록 보장하면서 CDH의 핵심에 멀티 클라우드 기능을 도입할 계획입니다. Snowflake의 원활한 통합 기능은 데이터가 어디에 저장되어 있든 BMW Group의 가장 집약적인 워크로드를 지원하는 데 중요한 역할을 할 것입니다.

Ruben Simon은 이렇게 말합니다. “저희는 항상 특정 공급업체에 종속되는 것을 피하고 싶었습니다. Snowflake는 저희의 오픈 소스 도구와 통합하는 데 있어서도 놀라운 능력을 보여주었습니다. 기존의 인프라 시스템에 대해서도 Snowflake는 유연하게 통합할 수 있는 능력을 보여줌으로써 그 가치를 입증했습니다.”