발트루스트, 스노우플레이크로 대규모 데이터 관리 고도화 및 맞춤형 서비스 제공

발트루스트는 2013년 설립돼 브랜드의 디지털 전환을 지원하는 통합 IT서비스 제공기업이다. 고객사 전용 브랜드 앱 서비스, 소상공인 용 디지털 솔루션 등이 핵심 사업이다. 모바일 앱 빌딩 서비스형 소프트웨어(SaaS), 소프트웨어 개발, CRM 솔루션, 키오스크 하드웨어 및 소프트웨어 운영, POS 에이전트 시스템, 매장 운영 관리 솔루션 등을 주요 사업 영역으로 삼는다. F&B 식음료 분야에서 강세를 보이며 한국에서 가장 많은 커피 브랜드에 솔루션과 서비스를 제공하고 있다. 발트루스트 서비스 가맹 매장은 1만개 이상이며, 앱과 서비스 사용자 수는 1080만명 이상이다. 발트루스트를 이용하는 누적 결제액은 2500억원으로 하루 평균 70만건 이상의 주문 및 적립 데이터를 관리한다.

발트루스트는 앱 운영을 지원하는 MySQL 관계형데이터베이스서비스(아마존 RDS) 시스템과, 통계 분석을 지원하는 RDS를 별도로 운영하고 있었다. 모바일 앱, 키오스크, QR 코드, 테이블 등의 주문 데이터가 운영 서버 RDS에서 처리되고, 운영 데이터를 별도 ETL을 거쳐 통계분석 RDS로 이동시켜 활용했다. 통계분석 시 태블로, 마이크로스트레티지 등 서드파티 시각화 도구를 연동해 활용했다.

주문 데이터 양의 급증 때문에 발트루스트의 기존 데이터베이스 시스템은 한계에 부딪혔다. 여러 브랜드에서 수집된 데이터를 분산하다보니 관리와 분석이 어려워졌다. 체계적인 데이터 관리와 실시간 분석이 필요해진 상황에서 새 플랫폼에 투입돼야 하는 자원과 개발 시간도 늘어났다. 실시간 통계 분석은 운영 RDS 자원을 활용해야 했기 때문에 제한된 규모로만 수행할 수 있었다. 가용할 수 있는 RDS의 데이터 저장 용량도 부족해졌다. ETL을 새 데이터 추가 때마다 수동으로 업데이트하는 부담도 컸다. ETL 수작업은 데이터 활용 시간을 늦추고 실시간 분석을 하기 힘들게 만들었다. 써드파티 앱 연동도 안전한 데이터 공유에 많은 노력을 기울여야 했다.

발트루스트는 스노우플레이크 데이터 클라우드 플랫폼을 도입하면서 Dynamic Table, Streamlit, 데이터 매니지먼트 기능 등을 활용해 기존 환경의 문제점을 해결했다. 

Dynamic Table은 선언적 데이터 변환 파이프라인을 구축하게 해주는 구성요소다. 원천부터 타깃까지 연결하는 데이터 플로우 작업을 자동화해 데이터를 안정적이고 효율적으로 관리하게 해준다. Dynamic Table의 강력한 데이터 관리 기능으로 데이터 출처와 이동 경로를 명확히 파악할 수 있으며, 비즈니스 요구에 따라 데이터를 신속하게 조정할 수 있다. 단순한 쿼리로 데이터 파이프라인을 관리할 수 있다는 점은 발트루스트에게 가장 큰 장점으로 작용했다. 관계형 데이터베이스나 파이썬은 데이터 처리나 분석을 위해 복잡한 파티션 설정과 별도의 고급 SQL 문법이 필요하다. 스노우플레이크는 SQL 쿼리만 있어도 데이터 파이프라인을 쉽게 구축하고 관리할 수 있다. Dynamic Table은 실시간으로 테이블을 업데이트하고 관리하지만 별도의 서버나 유지보수 작업이 필요없고, 별도의 시스템 최적화 작업도 필요없다. 

발트루스트는 데이터 시각화에 스노우플레이크의 Streamlit을 적극 활용한다. 파이썬 시각화 라이브러리인 Streamlit을 활용해 대시보드를 빠르게 만들고 고객 맞춤형 동적 리포트도 생성할 수 있게 됐다. Streamlit은 파이썬 코드로 데이터를 시각화하는 오픈소스 라이브러리다. Streamlit은 스노우플레이크 데이터 클라우드 플랫폼에 통합돼 있어 데이터의 이동 없이 즉시 분석하고 시각화할 수 있다. 프론트엔드 개발을 따로 하지 않아도 되므로 실시간으로 데이터를 분석하고 활용하게 해준다. 

스노우플레이크 플랫폼에 내장된 ‘Auto Clustering’과 ‘Micro Partitioning’ 기능도 발트루스트의 운영 부담 감소에 큰 도움을 줬다. 두 기능은 인덱싱, 파티셔닝, 성능 최적화 등의 작업이 모두 자동화되므로 데이터 엔지니어링 부담을 대폭 줄여준다. 

Auto Clustering은 자동으로 데이터를 정리하고 최적화하는 기능이다. 인덱스 키를 자동 관리하고, 데이터를 별도로 재정렬하지 않아도 된다. 자주 사용하는 쿼리가 생기면 해당 쿼리에 대해서도 자동으로 최적화해 쿼리 성능을 향상시킨다. 범위 검색이나 특정 조건 데이터 찾는 쿼리에 최적화돼 대규모 데이터를 처리해야 하는 발트루스트에 큰 이점으로 작용하고 있다. 

Micro Partitioning은 자동으로 파티션 단위로 데이터를 분할하고 분리해 저장하는 기능이다. 스노우플레이크는 파티션을 자동으로 처리해 그 과정의 오류나 비효율성에 따른 문제 발생을 줄인다. 특정 쿼리는 특정 세그먼트에만 접근하므로 불필요한 데이터 접근을 최소화할 수 있다. 발트루스트는 이를 통해 대용량 데이터 처리에 큰 도움을 받고 있다. 데이터 구조 변경이나 신규 데이터 추가 시 파티션 관리를 자동화할 수 있어 데이터의 잦은 변화에도 더 유연하게 대응할 수 있게 됐다. 

스노우플레이크 플랫폼이 실시간 데이터 처리에 최적화된 만큼 발트루스트는 데이터 타입이나 인덱스를 따로 지정하지 않으면서도 유연하게 데이터를 수집하고 처리할 수 있게 됐다. 실시간 분석 상황에서도 개발과 유지보수 시간을 대폭 절감할 수 있게 됐다.

발트루스트는 운영 전용 RDS를 스노우플레이크 플랫폼과 실시간 미러링으로 동기화하는 형태로 아키텍처를 변경할 예정이다. 이는 운영 DB에서 실시간 분석 작업을 분리시켜 운영 DB가 본연의 역할에 집중하게 한다. 또한, 제한적으로 해야 했던 복잡한 분석과 동적 리포트 생성 등을 스노우플레이크에서 더 적극적으로 할 수 있게 된다. 데이터 분석과 시각화 도구로 Streamlit을 사용해 맞춤화 대시보드와 리포트를 신속하게 구축하고, 데이터 공유 편의성을 개선할 계획이다. 

발트루스트는 향후 실시간 데이터 로드 기능인 Snowpipe를 활용할 계획이다. Snowpipe는 데이터 생성 즉시 자동으로 스노우플레이크에 적재해 데이터 로딩 시간을 대폭 줄여준다. Materialized View 기능도 검토중이다. 반복적인 쿼리나 동적 리포트 생성 작업에 필요한 쿼리의 성능을 최적화해 전체 시스템 자원 사용 비용과 시간을 줄이고 응답시간을 향상시켜주는 기능이다. 무엇보다 스노우플레이크 마켓플레이스를 활용한 외부 데이터 접목에 주목하고 있다. 발트루스트가 보유한 앱 및 키오스크 주문 데이터와 스노우플레이크 마켓플레이스의 외부 데이터를 결합해 더 깊이있는 분석을 수행할 수 있을 것으로 기대하기 때문이다.

발트루스트는 수많은 주문 데이터와 멤버십 데이터를 손쉽게 통합하고, 실시간 분석 능력을 강화해 데이터 확장성과 유연성을 향상시킨다는 목표를 갖고 있다. 스노우플레이크의 유연한 데이터 관리 환경을 통해 데이터 통합 과정에 발생할 복잡성을 줄이고 새로운 데이터 소스를 쉽게 추가하는 환경을 구축하고, 정확한 의사결정을 지원할 수 있을 것으로 보고 있다. 전사적으로 스노우플레이크의 기능과 전문 SQL을 교육함으로써 분석 역량을 강화하고, 데이터 중심 문화를 구축해 작업 효율성을 극대화할 방침이다.