참고: 이 내용은 2022.1.24에 게시된 컨텐츠(Bagel Brands Simplifies Data Architecture with Snowflake Professional Services)에서 번역되었습니다.

Bagel Brands는 Einstein Bros. Bagels, Bruegger’s, Noah’s New York Bagels 및 Manhattan Bagel의 모회사입니다. 콜로라도주 덴버에 본부가 있는 이 회사는 16,000명 이상의 직원이 보조하는 11,00곳 이상의 국내 프랜차이즈 및 라이선스 위치에 서비스를 제공합니다.

자체적인 데이터 분석과 데이터 과학 이니셔티브를 추진하기 위해 Bagel Brands는 Azure에서 Snowflake를 주된 최신 데이터 플랫폼으로 선택했을 뿐만 아니라 Snowflake 멀티 클라우드 기능을 이용하고 동종 최고의 도구 및 데이터 세트를 활용하기 위해 AWS 인스턴스도 갖춰 뒀습니다. 또한, Snowflake 프로페셔널 서비스 팀을 통해 생산을 성공적으로 진행할 것을 보장하고 가치 실현 시간을 앞당기기 위해 상주 솔루션 설계자(RSA)를 확보했습니다. 

문제: 복잡한 데이터 아키텍처

내부 및 업계 규정을 준수하기 위해 운영 보고와 데이터 과학을 위해 개별 데이터 환경을 유지하는 것이 일반적입니다. Bagel Brands의 이전 데이터 아키텍처의 문제점은 데이터가 물리적으로 분리되어 있다는 것이었습니다. 데이터는 분석 계층에 도달하기 전에 여러 SQL Server 시스템을 거쳤고 매번 변환됐습니다. 이로 인해 조직 전반에 걸쳐 데이터가 사일로화되어 가시성을 제한했고 데이터 거버넌스가 어려웠습니다. 또한 빠르고 효율적으로 비즈니스 결정을 내릴 수 있는 능력에 한계가 있었습니다. 

이는 데이터 기반 조직을 추구했던 이 비즈니스의 목표에 영향을 미쳤을 뿐만 아니라 사일로를 가로질러 데이터를 이동시키기 위해 스토리지 비용을 지불하고 데이터 파이프라인을 더 많이 구축하기 위해 더 많은 리소스가 필요하도록 했습니다. 예를 들어 ETL 워크로드를 처리하는 데는 Databricks가 사용됐는데, 이 때문에 SQL Server에서 Snowflake 환경으로 데이터를 옮겨야 했고 월별 운영 비용이 추가적으로 들었습니다. 또한 SQL Server를 끌 수 없기에 Bagel Brands는 이를 사용하지 않을 때도 매달 항상 가동되는 컴퓨팅 때문에 수만 달러를 지불해야 했습니다.

솔루션: RSA가 포함된 Snowflake를 극대화하기 위한 이해 관계자의 협업

Bagel Brands의 데이터 과학 및 분석 이사인 Jessica Lee와 데이터 아키텍처 엔지니어링 이사인 Anu Vadrevu는 Snowflake를 Bagel Brands의 최신 데이터 플랫폼으로 삼아 새롭고 단순화된 데이터 아키텍처를 구축하기로 결정했습니다. 이는 기술적 결정을 내리는 IT 팀들의 지원하에, 비즈니스 가치를 도출하고자 하는 데이터 과학 및 분석 팀들의 협업을 초래했습니다. 

Jessica Lee는 “이 새로운 방향으로 처음부터 제대로 나아가야 했기에 저는 Snowflake RSA를 원했습니다. 당사의 팀은 소수이고 저는 우리 조직에 Snowflake를 확실히 빠르고 효율적으로 설정할 수 있도록 RSA와 함께 설계하기를 원했습니다. 이는 비용, 컴퓨팅, 모델링, 아키텍처 등 모든 방면에 있어서 최적화하는 것을 의미합니다.”라고 말했습니다.

중간 SQL 서버에서 추가적인 데이터 사일로가 생성되는 것을 방지하기 위해 원시 데이터는 데이터 소스에서 Azure 데이터 레이크 스토리지 랜딩 존으로 바로 불러옵니다. Snowpipe를 사용하여 데이터는 그 다음에 Bagel Brands Insights의 Snowflake 데이터 클라우드로 로드됩니다. 또한 Snowflake 데이터 마켓플레이스의 외부 데이터를 여기로 바로 가져올 수 있습니다. 관리와 통제를 위한 단일 진실 공급원을 통해 사용자는 Power BI 및 Thoughtspot과 같은 도구로 신뢰할 수 있는 데이터를 사용할 수 있습니다. 

결과: 성능 및 비용 절감과 더불어 단순화된 아키텍처

Snowflake 데이터 클라우드 배포 프레임워크는 다음과 같은 주요 원칙에 따라 만들어졌습니다. 

  • 데이터 사일로 완화와 안전한 엔터프라이즈 및 현지 데이터 자산 통제
  • 기업체 전반에 걸쳐 데이터 자산의 연합 개발 제공
  • 내부 및 규제 요구 사항을 충족하기 위한 기업 분리 지원
  • 민첩성, 확장성 및 쉬운 관리를 위한 반복 가능한 패턴 제공

Snowflake RSA에 대한 Scott Redding의 전략적인 조언을 통해 Bagel Brands는 체계적인 방식으로 Snowflake를 구현했습니다. 먼저 SQL Server를 제거하고 데이터 아키텍처를 단순화하여 데이터 환경을 물리적으로 분리할 필요가 없어졌습니다. Snowflake는 데이터베이스를 거의 무제한으로 생성할 수 있으며 확장 가능한 컴퓨팅을 모두에게 제공합니다. 데이터 과학 및 운영 보고 팀은 논리적으로 분리된 자체적인 데이터베이스를 가질 수 있으며 이를 데이터 이동 또는 복사 없이 데이터베이스 전반에 걸쳐 쉽게 사용할 수 있습니다. Snowflake를 사용하면 데이터가 사일로화되지 않고 모든 것을 한 장소에서 안전하게 데이터를 통제할 수 있는 능력을 갖추게 됩니다.

“Snowflake 압축과 더불어 SQL Server 제거를 통한 비용 절감으로 인해 Bagel Brands 전반에 걸쳐 데이터를 수집하기 위한 스토리지를 구축할 수 있었습니다. 모든 데이터를 가져오고 심층적으로 분석할 수 있어 비즈니스에서 아직 고려하지 않은 통찰력에 대한 해답을 데이터 과학자가 검토할 수 있도록 합니다.”

 —Jessica Lee, 데이터 과학 및 분석 이사, Bagel Brands

다음으로 Snowpipe 데이터 로드의 비용이 훨씬 더 적었기에 ETL 워크로드를 위한 Databricks 배포를 기존 ADF 및 ADLS 설정으로 대체했습니다. 성능에 있어서 Snowpipe 도입과 즉각적인 트리거는 시간 기반 트리거로 인한 지연을 감소시켰습니다.

결론

프로젝트 기반 조언을 넘어서서 Bagel Brands는 RSA로부터 배운 내용을 수집하여 조직 전반에 걸쳐 이를 공유했습니다. Jessica Lee는 “Scott은 소매 분야에 대해 적절한 업계 지식을 보유하고 있기에 당사는 그의 경험으로부터 배워 초기 위험을 피하는 데 큰 도움을 받았습니다.”라고 말했습니다.

“‘이것이 바로 당사의 비전이고 성취하고 싶은 것입니다.’라고 말하고 RSA가 이를 실현시킬 수 있도록 도울 수 있어 멋집니다.”

 —Jessica Lee, 데이터 과학 및 분석 이사, Bagel Brands