한때는 소매 상품 마스터 데이터가 실제 매장에서 직접 수집되었지만 Daltix의 상품 데이터 집계 플랫폼은 여러 데이터 세트를 결합하여 고객에게 단일 대시보드를 통해 지역 및 경쟁사의 최신 통찰력을 제공합니다. 파트너이자 Daltix의 CTO인 Simon Esprit는 그것이 어떻게 Snowflake 데이터 클라우드를 통해 작동되는지 설명했습니다.
브랜드들이 고객 충성도를 얻기 위해 서로 끊임없이 치열하게 경쟁하는 소매업계에서는 가격 및 프로모션에서부터 단위 크기와 영양 정보에 이르기까지 모든 면에서 상품을 제대로 이해하는 것이 성공에 필수적일 수 있습니다. 그리고 소매업체 외에도, 업계 데이터에 면밀한 주의를 기울여야 하는 곳이 또 있습니다. 일용 소비재(FMCG) 제조업체는 물론, 시장 조사 기관까지도 고객이 원하는 것을 정확히 얻을 수 있도록 즉시 이용할 수 있는 최신의 상품 마스터 데이터를 필요로 하는 일이 갈수록 더 많아지고 있습니다.
이것이 바로 Daltix가 등장한 이유입니다. Daltix의 기술은 여러 브랜드의 웹사이트에서 다양한 상품 데이터를 적극적으로 수집합니다. 그런 다음 이 정보는 신뢰할 수 있는 타사 데이터와(심지어 현장 데이터와도) 결합되어 고객이 여러 위치에서 경쟁업체와 더 넓은 시장에 대해 상품 가격 책정 및 포지셔닝 전략을 더욱 정확하게 수립할 수 있도록 지원합니다.
“고객들에게는 가격 책정 데이터에서 프로모션에 이르기까지 소매 시장을 추적하기 위한 고품질 데이터가 필요합니다.” 파트너이자 Daltix의 CTO인 Simon Esprit는 이렇게 말했습니다. “과거에는 매장을 방문하고 가격 책정 데이터를 기록하는 팀이 수동으로 그 데이터를 수집했습니다. 그렇게 하면 비용이 많이 들고, 속도가 느리고, 데이터를 부정확하게 할 수 있는 인적 오류가 발생할 위험이 있죠. 우리는 매일 업데이트되는 고품질의 소매 데이터를 인적 오류의 위험 부담 없이 온라인으로 제공하고 싶었습니다.”
Benelux의 전자 상거래 가격 책정 시장을 혁신하고 주도하기를 간절히 바랐던 Daltix는 간단한 PostgreSQL 데이터베이스로 시작했습니다. 하지만 회사 플랫폼이 매일 증가하는 양의 데이터를 수집하고 있었기 때문에 Esprit와 그의 팀은 다른 소매업체의 데이터에 액세스하는 것이 어렵다는 것을 알게 되었습니다. 그에 더해 Daltix는 비용 효율적으로 워크로드를 확장하고, 새로운 사용 사례를 위해 데이터에 액세스하고, 데이터 저장 방식을 변경하고, 충분한 데이터 분석 성능을 유지하는 것이 쉽지 않다는 사실도 알게 되었습니다.
“여러 컨설턴트와 논의한 후에 AWS에 데이터 레이크를 구축했지만 이는 데이터 엔지니어링 팀이 아닌 팀들에게는 비용이 많이 들고 너무 복잡했습니다.” Esprit는 이렇게 설명했습니다. “Amazon Redshift도 시도해 봤지만 여전히 사용하기 더 쉬운 무언가가 필요했죠. 다행히도 데이터 엔지니어 한 명이 Snowflake 데이터 클라우드를 제안했습니다. 이는 처음부터 확장 및 사용이 훨씬 쉬웠고, 안전하면서도 향상된 데이터 공유 기능을 제공했습니다. Redshift와 달리 Snowflake의 플랫폼의 경우 JSON 데이터를 지원하기 때문에 쿼리를 훨씬 더 쉽게 실행할 수 있습니다.”
데이터를 위한 탄력적인 단일 진실 공급원
Snowflake의 플랫폼에 거의 60TB의 데이터가 저장되고 매일 10GB 이상의 데이터가 처리되는 것을 보고 Daltix의 데이터 엔지니어와 데이터 과학자는 상당한 성능과 효율성 향상을 확인했습니다. 특히, 회사의 분석 팀은 더 이상 수집된 데이터를 수동으로 정리할 필요가 없습니다. 그 대신 Snowflake의 자동화된 데이터 정리 기능을 통해 그 어느 때보다 빠르게 고품질 데이터를 유지 관리합니다.
Esprit와 그의 팀은 또한 오류 위험을 줄이고 데이터 세트로 더 많은 실험을 할 수 있도록 Snowflake 플랫폼의 세분화된(nuanced) 데이터 처리 기능을 활용하고 있으며, 이는 궁극적으로 고객에게 이익이 됩니다. “우리는 탐지할 수 없는 실수를 피하기 위해 ‘타임 트래블’을 사용하는데, 이는 우리를 더 유연하게 해 주고, 더 많은 실험을 하게 해 주고, 더 빠르게 움직이게 해 줍니다.” Esprit는 이렇게 설명했습니다. “또한 우리는 실시간 데이터베이스의 조작 없이 빠른 테스트를 수행하기 위해 제로 카피 클론 생성을 사용합니다. 그렇게 하면 데이터베이스 전반의 테이블에 쉽게 액세스할 수 있고 개념 증명을 위해 고객과 데이터를 공유할 수 있습니다.”
지능형 데이터 처리를 통해 더 큰 규모로 신속한 통찰력을 제공
Daltix 작업의 상당 부분은 방대한 규모의 머신 러닝을 사용하는 것과 관련이 있습니다. 다른 타사 공급업체와 Snowflake 데이터 클라우드의 통합을 통해 Daltix는 이제 정교한 머신 러닝 알고리즘으로 데이터 세트를 보강할 수 있습니다. 다시 말해, 팀은 모델을 훈련하기 위해 더 이상 회사의 데이터 레이크를 수동으로 탐색할 필요가 없습니다.
“Snowflake의 데이터 클라우드는 머신 러닝을 위해 환경 간에 데이터를 아주 쉽게 전송할 수 있게 합니다.” Esprit는 이렇게 말했습니다. “이것은 우리 데이터의 품질이 더 우수하고 소매업체들의 경쟁에서 뒤떨어지지 않는다는 것을 의미합니다. 이 플랫폼은 또한 상품 전반에 걸쳐 카테고리와 EAN을 표준화하는 데 필요한 데이터의 수동 조작을 크게 줄입니다. 그뿐 아니라, 데이터 품질을 확인하고 완벽하게 제어할 수 있게 해 줍니다.”
더 나아가 Daltix는 대시보드 및 웹 애플리케이션에 맞추기 위해 데이터 클라우드 환경을 Looker와 통합했습니다.
단일 솔루션의 비용 효율성 및 성능
Snowflake의 데이터 클라우드를 사용하면서부터 Daltix의 분석가는 생산성을 두 배로 증가시켜 팀의 사기를 높였습니다. 그리고 관리해야 할 인프라가 없게 됐으므로 회사는 데이터 엔지니어를 불필요하게 추가로 고용하는 일도 피할 수 있었습니다.
Daltix가 고객 데이터를 저장하고 처리하는 방식은 시장에서 다소 독특한데, 업계의 다른 업체들보다 Snowflake 플랫폼의 규모의 장점을 유리하게 사용하기 때문입니다. Esprit는 다음과 같이 설명했습니다. “각 고객은 Snowflake의 격리된 데이터 웨어하우스로부터 이점을 얻습니다. 우리는 이를 통해 단일 SQL 명령으로 개별 클라이언트의 환경을 확장하고 새 환경을 생성할 수 있는 유연성을 제공받죠. 그 결과 우리는 훨씬 더 나은 관리 감독을 통해 고객당 비용을 개별화할 수 있습니다. 또 자동 일시 중단 덕분에 유휴 웨어하우스에 대한 비용을 지불하지 않으니 상시 가동 솔루션에 비해 고객당 비용이 반으로 절감됩니다. 그런데다 유지 관리도 필요 없어 상당한 리소스가 절약되는 거죠.”
Daltix의 고객은 이미 더 빠른 응답 시간과 더 우수한 분석 팀 생산성을 통한 성능 이점을 누리고 있으며 이는 더 나은 품질의 통찰력으로 이어집니다.
예를 들어, 거대 FMCG 기업인 Unilever는 Daltix와 협력함으로써 시장 진입 전략에 대한 더 빠른 분석을 달성해 왔습니다. 이제 Unilever는 Daltix의 플랫폼을 사용해 상품 이름 및 EAN과 같은 여러 데이터 필드를 추적해 매장에서 새로 출시되는 상품과 중요한 성능 통찰력을 받는 Unilever 사이의 격차를 해소할 수 있습니다.
무한에 가까운 확장성의 지원을 받는 야심 찬 성장 계획
Daltix는 고객들이 Daltix 플랫폼 데이터를 통해 이룬 성공에 고무되어 앞으로 다른 유럽 시장에도 진출하기 위해 범위를 독일 전체로 확장하고 있습니다. 또한 최신 데이터를 더 빠르게 제공하는 API를 사용해서, 모든 고객이 Snowflake의 데이터 클라우드에 있는 그들의 데이터에 액세스할 수 있게 하는 방법을 탐색하고 있습니다.
Esprit는 다음과 같이 말했습니다. “우리는 Snowflake가 미래 확장을 위한 생태계를 가지고 있다는 것을 확신하며 새로운 시장으로 사업을 확장하고 있습니다. 회사의 데이터 엔지니어들 대부분이 Snowflake를 처음 사용하지만 모두가 좋아합니다. 수동으로 데이터를 쿼리하는 많은 부분이 빠지면서 할 일이 줄었기 때문에 모두가 만족해하고 있죠. 우리는 다른 데이터 클라우드 옵션을 고려할 필요가 없습니다. Snowflake가 다 처리해 주니까요.”