MBC 미디어 콘텐츠의 AI 활용을 향한 데이터 여정 Snowflake로 빠르고 효율적인 데이터 플랫폼 구축

대한민국 공영방송 MBC는 콘텐츠 중심의 글로벌 미디어 그룹을 표방하고 있다. 공영방송사로서 공익적 역할을 수행하면서 다양한 미디어 사업을 병행하고 있다.

MBC의 조직 중 정보콘텐츠팀은 방송사의 주요 경영, 방송 업무 시스템을 개발, 운영, 관리한다. 사내·외 데이터를 수집, 처리, 활용하며 데이터 관리를 총괄한다.

콘텐츠 소비 방식의 변화, 새로운 콘텐츠 플랫폼 경쟁, TV 영향력 감소 등은 방송 콘텐츠 시장을 근본적으로 바꿨다. MBC는 변화하는 콘텐츠 시장에서 경쟁력을 유지하기 위해 데이터에 기반한 체계적이고 분석적인 의사결정을 갖춰야 했다. 콘텐츠의 기획부터 유통까지 모든 과정에서 데이터 기반 의사결정 체계를 만들자는 목표로 본격적으로 데이터 플랫폼 구축에 나섰다.

MBC 데이터 플랫폼은 데이터 수집, 데이터 표준화, 데이터 연계망 구축 등을 중심으로 진행됐다. 데이터 플랫폼 도입 과정에서 가장 큰 문제는 데이터 생성 출처였다. MBC는 내부뿐 아니라 시청률, 광고, 유통, 디지털 등 외부에서 생성된 다양한 데이터를 다루고 있어 일관적이면서 표준화된 통합 체계가 필요했다.

데이터 규모도 문제였다. 유튜브 데이터처럼 방대한 양의 데이터를 기존 구축형 데이터베이스에서 처리하기 힘들었고, 어렵게 저장한다 해도 빠르게 조회할 수 없었다.

데이터의 공유와 권한 관리도 난맥이었다. MBC 데이터 플랫폼은 투명한 데이터의 공유를 목표로 했지만, 보안과의 균형을 확보하려면 정교한 권한 관리 체계를 필수적으로 갖춰야 했다. 광고와 유통의 마케팅 영역, 제작 콘텐츠를 관리하는 제작 영역, 모든 콘텐츠와 지표를 종합적으로 판단하는 전략 부서 등이 누가, 어떤 데이터를, 어느 범위까지 볼 수 있나 정의하고 협의해야 했다.

MBC는 여러 솔루션을 검토하고 개념검증(POC)을 진행한 뒤 최종적으로 Snowflake를 선택했다. MBC는 소수의 인력으로 데이터 플랫폼 프로젝트를 진행할 수 있었다. 인프라나 세부적 기술을 Snowflake에서 제공받고, MBC는 비즈니스에 집중할 수 있었다.

Snowflake의 탄력적인 자원 할당, 초 단위 과금 모델, 대용량 데이터 처리, 비용 대비 속도 등이 선택의 주요 이유였다. Snowflake는 웨어하우스 크기 조정으로 원하는 속도를 쉽게 확보할 수 있게 했고, 가장 작은 단계인 X-Small로도 기존 데이터베이스에서 조회하지 못했던 대용량 데이터를 빠르게 조회할 수 있었다. Snowflake는 웨어하우스 사용 시간 단위로 과금하므로 쿼리 최적화로 동일 비용으로 업무를 더 빠르게 처리해 시간과 비용을 함께 단축할 수 있었다.

Snowflake는 SQL과 파이썬을 쉽게 활용할 수 있어 Spark보다 SQL에 익숙했던 MBC 정보콘텐츠팀의 기술 진입 장벽을 낮췄다. 계정 중심으로 유연하게 역할 기반 데이터 관리 체계를 갖추게 한다는 점도 선택 요인 중 하나였다. Snowflake는 계정 기반으로 롤을  부여해 테이블, 칼럼 단위까지 세밀하게 권한을 관리할 수 있었다.

MBC 데이터 플랫폼은 단순함을 아키텍처 철학으로 삼았다. 복잡한 구조보다 단순한 구조로 운영, 관리하기 쉽고, 데이터의 신뢰성과 정확성이 높은 아키텍처를 설계하자는 목표를 세웠다.

먼저 데이터 중간 가공 단계를 최소화해 데이터 변형과 오류 가능성을 줄이고, 공통된 기준에 따라 원천 시스템에서부터 데이터 정합성을 확보하는 데 집중했다. 수동 작업을 최소화해 표준화 과정에서 사람의 직접 매핑이나 연결을 없애는 자동화 설계를 도입해 휴먼에러를 방지했다.

데이터 플랫폼은 원천 시스템, Snowflake 적재, 데이터마트, 제공 시스템 연동 등 4단계로 설계됐다. 오라클 데이터베이스 기반의 사내 업무 시스템에서 명확한 기준으로 정제된 최종 데이터셋을 만들었고, 그밖의 다양한 형식의 데이터 소스를 표준화해 Snowflake로 수집되는 구조를 통일성 있게 설계했다. 기존 인프라 성능 한계로 활용하지 못했던 유튜브 로그 데이터와 파일 형태의 반정형 데이터도 표준화해 Snowflake에 적재한다.

업무 도메인에 최적화된 16개 분야의 데이터마트를 구축해 API 형식으로 데이터 포털과 각 업무 시스템에 제공하고 있다. Snowflake에 손쉽게 셀프 비즈니스인텔리전스(BI) 툴과 연동해 데이터를 제공한다. 데이터 포털은 역할과 계정 기반으로 접근 가능한 데이터를 구분해 사용자에게 표출한다. AI를 이용해 콘텐츠 리포트를 생성해 제공한다.

MBC는 새롭게 구축한 데이터 플랫폼을 통해 콘텐츠의 메타데이터와 경영 및 전략 관련 데이터를 결합해 더 정교하고 다양하게 분석할 수 있는 데이터 활용 구조를 만들 계획이다. 정성적 데이터를 정량화하는 작업을 통해 콘텐츠의 가치를 평가하는 지표도 구축한다. 데이터 플랫폼 구축에 따른 데이터 중요성 인식이 조직 전반으로 확산되고 있는 만큼, 각 부서별 데이터 정제 기준과 룰을 전사적으로 정의해 나갈 예정이다.

웹 기반 도구로 만들어진 데이터 포털의 접근 방식 개선도 검토 중이다. 특히 생성형 AI를 활용해 자연어를 SQL문으로 자동 변환하는 NL2SQL을 도입하고 대화형 데이터 조회 서비스를 구축하는 방안이 검토되고 있다. 또한 비디오나 오디오 등을 활용한 데이터 제공 방식도 고려하고 있다.