펄스애드 폭증하는 데이터 처리 고민을 Snwoflake로 해결하여 제품 개발 속도 향상

펄스애드(PulseAd)는 온라인 쇼핑몰 내 광고 최적화 및 자동화 기술을 제공하는 리테일 미디어 전문 스타트업이다. 아마존, 월마트, 쿠팡, 컬리 등 이커머스 플랫폼에서 운영되는 광고를 한 곳에서 관리하고, AI 기반 실시간 입찰, 캠페인 자동 최적화, 실시간 애널리틱스 리포트 생성 등의 서비스를 제공해 브랜드가 최고의 광고 성과를 달성하도록 돕는다. 국내 최초의 아마존 광고 테크 파트너다.

리테일 미디어 광고 플랫폼 스타트업 펄스애드는 창업 초기부터 데이터 중심 전략을 강조해왔다. 때문에 일단 수집을 할 수 있는 데이 터는 모두 수집하고 보자는 접근법을 취했다. 고객의 비용을 최소화하고 광고 효과를 최대화하기 위해서는 데이터를 면밀히 분석하는 것이 필수적이기 때문이다. 

수집할 데이터는 충분했다. 아마존을 비롯해 틱톡, 구글, 메타, 스냅 챗 등 여러 광고 플랫폼에서 다양한 데이터를 제공하고 있기 때문이다. 특히 아마존은 1000개가 넘는 API를 통해 다양한 데이터를 수집할 수 있도록 하고 있다. 셀러들이 접하는 판매, 재고 데이터는 물론 리얼타임 데이터까지도 스트리밍으로 받아올 수 있다. 이외에 광고와는 직접적인 상관이 없어 보이는 비즈니스 인사이트나 트렌 드를 볼 수 있는 데이터들도 수집했다. 

펄스애드는 창업 초기부터 폭증하는 데이터를 효과적으로 처리하는 것을 핵심 과제로 삼았다. 펄스애드 창업팀은 창업 이전 다양한 기업에서 데이터 인프라를 운영해본 경험이 많아 데이터 폭증이 가져올 문제점을 명확히 인지하고 있었기 때문이다. 과거 AWS 서비스와 Airflow를 조합해 사용했던 시스템에서는 예측보다 많은 데이터로 과도한 비용이 발생하거나, 데이터 정의 변경으로 인하여 잦은 백필(backfill) 작업이 발생하는 등 여러 한계에 직면했었다. ETL 파이프라인의 복잡성 증가와 흐름 파악의 어려움, 가중되는 비용 부 담은 소규모 조직이 감당하기 어려운 수준이었다. 

이러한 경험을 바탕으로, 펄스애드는 창업과 동시에 엔지니어를 영입하는 대신 확장성과 관리 효율성이 뛰어난 단일 플랫폼에 투자하 기로 결정했다. 펄스애드의 선택은 Snowflake였다. 그 결과 과거에 경험했던 데이터 인프라 문제를 근본적으로 해결하고, 1인으로 도 방대한 데이터를 효율적으로 수집 및 분석하며 빠르게 제품을 개발할 수 있었다.

펄스애드는 Snowflake를 기반으로 데이터 파이프라인 구조를 효율적으로 구축했다. 가장 큰 포인트는 ETL 프로세스를 Snowflake 안으로 통합한 것이다. 

AWS S3에 데이터가 저장되면 Snowpipe를 통해 Snowflake로 데이터를 가져온다. 스노우파이프의 장점은 모니터링까지 가능하다는 점이다. 누락된 데이터, 중복 데이터, 오류 등을 쉽게 확인할 수 있다. 

모든 ETL 작업은 다이나믹 테이블로 수행한다. 다이나믹 테이블을 활용하니 ETL 작업을 쿼리로 간단하게 처리하게 됐다. 리소스가 적은 스타트업 입장에서는 가장 중요한 장점이었다. 다이나믹 테이블을 활용하면 백필(backfill)을 할 때 매우 유용했다. 중간에 멈추면 그 지점부터 다시 구동하면 되기 때문이다. 쿼리를 작성해 놓으면 그에 따라 나온 결과가 데이터에 자동으로 쌓이게 된다. 원본 테이블이 수정이 되면 타깃 테이블도 바뀐다. 아울러 데이터의 흐름(리니지)을 시각적으로 쉽게 파악할 수 있게 되어 관리 부담이 크게 줄었다. 

펄스애드는 초기에 Snowflake에 내장된 Streamlit 기능도 유용하게 활용했다. 내장되어 있기 때문에 따로 서버를 실행할 필요도 없다. 경영진이나 현업 사용자는 차트가 제공되어야 데이터에 대한 이해도가 높아지는데, 현업에서도 본인이 필요한 대시보드 작성이 가능했다.

Snowflake의 오토스케일링도 펄스애드 입장에서는 큰 도움이 됐다. 데이터가 늘어나고 시스템이 커지면 대부분 스케일업이나 스케 일아웃을 고민하게 되는데 Snowflake는 클릭 몇 번이면 모든 것이 가능하기 때문이다. 또 사용량 단위로 비용을 지불하기 때문에 시스템이 커지는 것에 대한 부담도 적었다. 

데이터 보안도 펄스애드가 Snowflake 도입으로 얻은 효과다. Snowflake에서는 데이터 마스킹을 쉽게 정의할 수 있다. 처음부터 민감 데이터에 마스킹이 가능하기 때문에 외부에 데이터가 노출될 가능성이 봉쇄된다. 

펄스애드는 Snowflake를 통해 비용에 대한 고민도 해결했다. 사용한만큼만 비용을 지불하는 구조라 첫발을 떼기 어렵지 않았고, 모 니터링 기능을 통해 지속적으로 비용을 최적화시킬 수 있었다. 어떤 쿼리, 어떤 작업에서 비용이 많이 드는지 실시간으로 확인해, 필 요한 경우 즉시 튜닝 작업에 들어갔다. 실제로 비용을 절반 이하로 줄인 사례가 존재한다. 시각적으로 즉시 확인이 가능한 비용 그래프 덕분에 그때그때 비용을 줄일 수 있었다. 

그 결과 Snowflake 도입으로 펄스애드 제품 개발에도 속도가 붙었다. 별도의 서버 없이 파이썬 코드로 차트를 만들어 데이터를 보여 주고 다운로드 할 수 있는 버튼을 제공했다.