식신, 외식 메타 인덱스 플랫폼 구축 및 새로운 비즈니스 모델 개발

2010년 설립된 식신은 맛집 추천 서비스로 시작해 모바일 식권과 외식 데이터 서비스를 제공하는 푸드테크 전문기업이다. ‘All the information around me’ 라는 기업 비전에 따라 언제나 새롭고 인간 중심적인 서비스를 고민하며 세상 모든 사람들이 만족할 수 있는  서비스를 제공하기 위해 노력하고 있다.

식신에는 600만 건의 맛집 음식점에 대한 POI 데이터가 있다. POI 데이터 하나에 수많은 메타데이터가 달려있으니 식신이 보유한 데이터는 20억 건에 달한다. 

충분한 데이터를 보유하고 있지만 식신의 현업 서비스 담당자들은 이 데이터를 제대로 이용하지는 못했다. 24시간 운영되는 데이터에 직접 접근하는 것은 성능과 안정성 면에서 위험성이 있었기 때문에 간단한 데이터를 보려고 해도 IT 팀에 데이터를 요청해야 했다. 예를 들어 ‘강남구 10개 음식점 샘플링’ 같은 간단한 업무를 위해서도 IT 팀의 손길이 더해져야 했다. 

또 식신의 데이터는 주로 로컬 PC에서 처리됐다. 데이터가 많다 보니 간단한 작업에도 시간이 오래 걸렸다. 데이터 담당자들은 퇴근할 때 PC에 데이터 처리 작업을 걸어놓고 사무실을 나서곤 했다. 때로는 며칠씩 걸릴 때도 있었다.

데이터 성능의 문제는 사용자 경험에도 영향을 미쳤다. 이용자가 원하는 키워드로 검색이 잘 되지 않는 경우가 많았다. 이런 데이터 관련 애로사항을 해결하기 위해 식신은 새로운 데이터 플랫폼을 구축하기로 했다. 현업 담당자들이 직접 데이터를 핸들링할 수 있는 데이터 분석 환경을 만드는 것이 목표였고, 스노우플레이크를 선택했다.

하나의 음식점 데이터는 수많은 속성 데이터를 가지고 있다. 주소, 메뉴, 주차장, 별점, 소개글, 평가글, 반려견 출입여부, 예약 가능 여부, 홈페이지 주소 등 수십 개 이상의 속성 데이터가 있다. 식신은 이런 속성 데이터와 결제, POS, 신용, 상권분석, 여행숙박, 유동인구 등 외부의 이기종 데이터를 결합해서 처리하는 외식 메타 인덱스 플랫폼을 구축했다. 이를 위해 식신은 운영 서비스의 데이터를 일 배치(Daily Batch)로 스노우플레이크에 통합한다. 식신 서비스에서 나오는 데이터뿐 아니라 구글애널리틱스 데이터, 신용카드사의 데이터, 쿠팡 데이터 등 외부의 데이터까지 통합하도록 했다.

식신은 이 플랫폼을 통해 데이터의 특성을 찾아 워크플로우로 자동화하는 프로세스를 만들었다. 이를 위해 ‘피처 엔지니링’이라는 기법을 활용했다. 또 이기종 데이터를 결합, POI 데이터를 좀 더 비즈니스 모델링 쪽으로 가공을 했다. 

아울러 식신은 스노우플레이크에 담겨 있는 20억 건의 데이터 중에서 맥락적인 하나의 단어를 찾는 파이프라인을 구축했다. 이 파이프라인 구축에는 LLM 및 파인튜닝 등 최근 등장한 AI 기술이 사용된다.업종 분류와 같은 데이터 분류 과정에도 머신러닝 알고리즘이 사용된다. 

식신은 피처 엔지니어링을 통해 음식점의 메뉴 데이터를 표준화하는 작업을 먼저 하고, 표준화된 메뉴에 따른 레시피 및 식자재 데이터, 맛표현 데이터 등을 구축했다. 맛표현 데이터는 수천, 수억 건의 메타 데이터에서 필요한 한 개의 키워드를 찾아야 했기 때문에 LLM을 사용했다. 

식신은 또 다양한 데이터의 융합을 통해 새로운 가치를 만들어내고 있다. 예를 들어 음식점 데이터와 카드결제 데이터, 부동산 데이터, 여행 및 숙박 데이터, 교통 데이터 등을 융합해 마케팅 콘텐츠로 발전할 수 있는 데이터를 만들고 있다.

1. 데이터베이스의 메타 정보 및 수집 데이터를 클라우드로 통합했다.

2. 신용카드사의 금융 데이터나 쿠팡 등의 이커머스 데이터를 수집하기 위해 API 호출을 통한 데이터 수집이 필요했는데, 스노우플레이크는 API 호출을 통해 데이터를 수집하는 편의 기능을 제공하기에 어렵지 않게 데이터를 수집할 수 있었다.

3. 웹 분석 데이터 활용을 위해 구글 애널리틱스(GA) 데이터를 스노우플레이크로 가져올 필요가 있었다. 스노우플레이크가 제공하는 GA 커넥터를 사용해 GA 데이터를 손쉽게 동기화해서 가져올 수 있었다. 이를 통해 웹 방문자수와 페이지 조회수를 추적하고 페이지 이탈률을 분석하는 데 사용할 수 있었다.

4. 데이터를 통합하고 분석에서 활용하기 위해서는 데이터를 정제하는 작업이 필요했다. 스노우플레이크는 Task라는 기능을 제공해 순차적인 배치 작업을 등록하고 스케줄링 할 수 있었다.

5. 통합된 데이터를 지속적으로 생성형 AI 애플리케이션의 소스로 사용할 수 있도록 스노우플레이크와 아마존 베드록 간 스토리지 통합 작업을 수행하고, LLM 작업을 할 수 있는 노트북 환경을 스노우플레이크에 구성했다.

6. LLM과 연동되는 대시보드를 구현했다. 스노우플레이크에서 제공하는 Streamlit을 사용해 베드록 질의 결과를 실시간 보여준다.

식신은 이 데이터 플랫폼이 분석을 넘어 마케팅 콘텐츠를 생산하는 기반이 되도록 발전시켰다. 생산된 마케팅 콘텐츠는 B2B 비즈니스 확장에 사용된다. 대표적인 것이 랭킹 위젯이다. 식신은 스노우플레이크를 통한 데이터 분석 결과를 외부의 앱 개발사에 위젯 형태로 제공한다. 이 위젯을 탑재하면 ‘강남역 콜키지 핫플레이스’ ‘바디 프로필 식단 메뉴’ ‘새벽 드라이브 24 감성 카페’ 등의 랭킹을 콘텐츠를 제공받을 수 있다.

예를 들어, 전동 킥보드 공유 서비스 업체가 자신의 앱에 식신의 랭킹 위젯을 탑재한다면, 킥보드를 타기 위해 앱을 열었을 때 자신의 위치나 목적지의 맛집 목록이 소개될 수 있다. 원래는 킥보드 배차 신청할 때만 앱을 켰던 이들이, 나중에는 맛집을 찾기 위해서 킥보드 앱을 이용할 수도 있다. 식신은 스노우플레이크 기반으로 ‘외식 분석 대시보드’라는 상품도 개발했다. 상권 분석이나 메뉴 개발을 위한 데이터 분석 서비스다. 600만 건의 실제 매장의 데이터를 기반으로 메뉴 분석을 제공한다.

식신은 이 같은 새로운 비즈니스 모델 개발이 가능했던 배경으로 스노우플레이크의 API 생성 기능을 꼽는다. 이 기능 덕분에 스노우플레이크 상의 데이터 분석 결과를 상품화할 수 있었다.