캐치테이블 단 두 명이 3개월 만에 데이터 플랫폼 전환한 비결 Snowflake 기반 통합 분석 플랫폼 고도화

캐치테이블은 음식점 예약, 웨이팅, 결제, 포스(POS) 등의 서비스를 B2B, B2C로 제공하는 회사다. 외식업 전문 통합 플랫폼 ‘캐치테이블’, 실시간 대기 서비스 ‘캐치테이블 웨이팅’, 외식업 전용 매장관리 솔루션 ‘캐치테이블 포스’와 ‘캐치테이블 픽업’ 서비스 등을 선보였다. 현재 월 활성 고객은 500만 명 이상, 가맹점은 1만 개 이상을 달성했으며, 예약과 웨이팅 부문에서 국내 1위를 차지하고 있다. 2020년 레스토랑 예약 서비스로 시작한 캐치테이블은 현재 외식업계 전반을 아우르는 외식업 전문 통합 솔루션 기업으로 자리매김하며 성장하고 있다.

캐치테이블이 처음 구축한 데이터 분석 플랫폼은 빅쿼리를 기반으로 했다. 트랜잭션 데이터와 구글 애널리틱스4(GA4) 데이터를 일 단위로 수집해 분석에 활용했다. 처음에는 이 구조가 잘 작동했고 비즈니스 확장에도 적지 않은 기여를 했다. 

하지만 서비스가 성장하면서 문제가 생기기 시작했다. 데이터가 늘어나고 고객의 요구 사항이 다양해지면서 기존 플랫폼은 한계점에 직면했다. 2년 동안 서비스를 운영하면서 데이터 규모가 100TB 이상으로 커졌고, 매일 약 1억 건 이상의 로그 데이터, 수천만 건 이상의 트랜잭션 데이터가 쌓였다. 사용자도 처음에는 분석가뿐이었는데, 비즈니스가 성장하면서 사업부서, 마케팅, 경영진 등으로부터도 분석 수요가 대폭 증가했다. 

그러다보니 성능과 동시성 저하 문제가 발생했다. 빅쿼리 기반에서는 데이터 증가가 곧바로 비용증가로 이어졌다. 비용 증가를 제어하기 위해 제한된 슬롯을 할당했더니 성능 및 동시성 저하로 이어졌다. 

이 외에도 스키마 변경, 쿼리 튜닝 등 운영 이슈에 많은 리소스를 쏟아야 했고, 보안 측면에서도 개인정보 접근 제어 및 권한 관리가 분산되어 있어 안정성을 확보하기 어려웠다. 특히 데이터 플랫폼 (GCP)과 서비스 운영 인프라(AWS)가 다르다 보니 관리 포인트가 늘어 효율적 운영이 어려웠다. 

캐치테이블은 이러한 문제들을 종합적으로 고려해 더 나은 아키텍처를 도입하기로 결정했고, 차세대 데이터 플랫폼으로 Snowflake 를 선택했다.

캐치테이블은 ▲데이터 분석 고도화 ▲운영 효율화 ▲보안 강화라는 목표 아래 4단계로 데이터 플랫폼 마이그레이션 프로젝트를 진행했다.

1단계의 목표는 플랫폼의 기반을 마련하는 것이었다. 기존 데이터 플랫폼의 문제점을 해결하고, 지속 가능하고 확장 가능한 아키텍처 로 전환하는 단계였다. 이 단계에서 AWS로 플랫폼 기반을 전환했고, SSO(싱글사인온)와 RBAC(역할 기반 접근 제어)을 적용하는 등 보안 체계를 구축했다. 또한 MSR(다중 소스 복제) 구성을 통해 데이터 수집 파이프라인의 효율성을 높이고, RPO(복구 지점 목표)를 고려한 장애 대응 체계를 구축했다.

2단계에서는 데이터 수집을 안정화하고, 실시간 데이터 분석 기반을 마련하는 조치를 취했다. Snowflake의 네이티브 커넥터를 활용 해 트랜잭션 데이터와 GA4 이벤트 데이터를 준실시간으로 수집하는 파이프라인을 만들었다. 트랜잭션 데이터는 자체 구성한 MSR과 MySQL 네이티브 커넥터를 사용했고, GA4 이벤트 데이터도 네이티브 커넥터를 통해 수집했다. 복잡한 중첩 데이터를 평탄화하는 작업도 함께 진행했다. 

3단계의 목표는 Snowflake 기반의 통합 분석 플랫폼을 고도화하는 것이었다. 다이나믹 테이블(Dynamic Tables)을 활용해 SQL 기반의 준실시간 데이터 파이프라인을 구축했다. 이를 통해 복잡했던 기존 CDC(변경 데이터 캡처) 파이프라인을 단순화해, 운영 부담을 줄이고 모니터링에 집중할 수 있게 되었다. 분석가들이 코드 레벨의 분석이 필요할 경우에는 Snowflake 노트북 환경을 제공해 더 빠르게 분석할 수 있게 했다. 

마지막 단계는 데이터 정확성 및 품질을 높이는 과정이었다. 데이터 품질을 높이기 위해 자체적인 기준과 목표를 설정했다. 정량적 모니터링을 통해 마이그레이션의 정확성을 보장했고, 검증 누락이나 수작업 검증 시간을 줄였다. 로우 데이터는 Snowflake 커넥터 로그 기반 대시보드로 모니터링했고, 마트 데이터는 주기적인 모니터링 팩으로 정확성을 자동 체크했다. 아울러 DBT(Data Build Tool)를 연계, 데이터 플랫폼 표준화를 추진함으로써 부서마다 다른 지표 문제를 해결하고자 했다.

캐치테이블은 Snowflake 도입을 통해 ▲데이터 분석의 고도화 ▲ 운영 효율화 ▲보안 및 통합된 거버넌스 체계 구축이라는 세 가지 효 과를 얻을 수 있었다. 

데이터 분석 고도화: Snowflake 네이티브 커넥터와 다이내믹 테이블을 활용하여 준실시간 데이터 파이프라인을 구성, 데이터 표준화 및 모듈화까지 플랫폼을 확장할 수 있었다. 또한, 데이터 표준화 및 모듈화를 통해 지표를 효율적으로 관리하고, 분석가들이 코드 수준의 데이터 분석을 할 수 있는 환경을 제공하여 비즈니스 분석에 더욱 집중할 수 있게 되었다. 

운영 효율화: AWS와 GCP로 분산되어 있던 환경을 일원화했다. 그 만큼 관리 포인트도 줄었고 적은 인원으로도 서비스 인프라와 분석 인프라를 안정적으로 운영할 수 있게 됐다. 스토리지와 컴퓨팅을 분리해 사용량 기반으로 탄력적인 조정이 가능해졌고, 월 비용을 예측 통제 가능한 범위 내에서 관리할 수 있게 되었다. 

또 기존의 복잡한 파이프라인 대신 다이내믹 테이블을 활용하여 단순화 함으로써 파이프라인의 복잡도를 획기적으로 줄였다. 스키마 변경, 쿼리 튜닝 등 반복적 운영 작업을 자동화해서 빅쿼리 대비 적은 인원으로도 늘어나는 데이터 및 분석 수요에 대응할 수 있게 되었다. 

보안 및 통합된 거버넌스 체계 구축: 데이터 접근 권한과 활동을 단일 플랫폼 내에서 추적하고 통제할 수 있게 되어, 보안 규정 준수 및 고객 데이터 보호 수준을 높일 수 있게 됐다. 이로써 분산된 권한 관리로 인해 안정성을 확보하기 어려웠던 기존의 문제점을 해결했다.