Grepp, 개발자의 성장을 데이터로 잇다. Snowflake로 실현한 데이터 민주화와 69%의 비용 혁신

그렙(Grepp)은 2014년 설립된 AI 기반 평가 플랫폼 기업이다. 온라인 시험 감독 솔루션 ‘모니토’와 개발자 역량 성장 플랫폼 ‘프로그래머스’를 운영 중이다. KDT 기반 개발자 교육, 자격·인증 사업, 글로벌 공인 영어 시험 iTEP, B2B 대상 AI·IT 교육까지 아우르며 채용·교육·자격· 시험 운영 전반에 걸친 디지털 평가 및 학습 인프라를 제공한다.

그렙의 기존 데이터 분석 환경은 Amazon Redshift 기반 데이터 웨어하우스(DW) 시스템이었다. 데이터 로딩 속도가 느리고, 소수 인원만 데이터 웨어하우스에 접근할 수 있는 문제가 있었다. 데이터 증가와 AWS 요 금제 변경에 따른 분석 비용 증가도 예상됐다. 

소스 데이터부터 분석에 이르는 파이프라인은 정형과 비정형, 로그 등으로 나뉘었고, 각 데이터를 Airflow로 이동하는 작업이 매우 복잡했다. 다중 파이프라인은 파편화된 인프라 운영과 유지보수 부담을 가중시켰다. Redshift뿐 아니라 Amazon Quick Sight와 EC2, Athena, S3 등의 비용 부담도 컸다. 데이터 보안과 접근 통제 측면에서도 구조적인 한계를 가지고 있었다

그렙은 데이터플랫폼의 확장성, 효율성, 비용 효율화, 성능 강화, 운영 편의성 개선, 분석 역량 강화를 목표로 했다. 다양한 구성요소를 Snowflake로 단일화함으로써 비용을 절감하고, 관리 포인트를 단일화해 관리 부담과 운영 편의성을 개선하고자 했다.

그렙은 Redshift, Quick Sight, Athena 등을 Snowflake로 통합했다. RDBMS와 로그 데이터 모두 Airflow로 S3에 저장한 뒤 Snowflake로 분석하는 단일 파이프라인 형태다. 구글 애널리틱스, 메일침프 등의 데이터 흐름은 제거했다. 로그 데이터는 정제 작업을 거쳐 한번에 Snowflake에 올리고, 대시보드나 스프레드시트 업데이트로 데이터를 활용하도록 변경했다.

전반적인 데이터 흐름은 Airflow Connection으로 연동하고, Snowflake Stage로 Amazon S3에 쉽게 연결했다. 이 과정에서 데이터 운영 자동화 요소를 Airflow 3.0.2로 업그레이드하고, Helm 커스텀 컨테이너 생성 및 Keycloak 연동으로 인프라 안정성을 확보했다. 대시보드 접근 제어를 위한 Amazon EC2 구성은 사라졌다. 대시보드를 포함, 모든 데이터 관련 기능을 Snowflake 환경 내에서 통합 운영하게 됐다. 데이터 이관 작업은 순조로웠다. 기존 Redshift 데이터를 Parquet 형태로 덤프해 Snowflake로 이관했다. 이관 작업은 2025년 10월 시작해 한 달 만에 완료됐다. Snowflake 기반으로 이전하면서 데이터 접근 권한 관리가 단일 계정 체계로 통합됐다. 대시보드와 Notebook 환경을 Snowflake에 서 이용하게 제공함으로써 Snowflake 계정 권한만으로 데이터에 접근하도록 했다.

그렙은 Snowflake 플랫폼 도입으로 ETL 프로세스와 대시보드를 포함한 전체 월 데이터하우스 비용이 이전 환경 대비 약 69% 감소 했다. Redshift, Athena, Quick Sight 비용이 사라지고, 구성요소 간소화로 AWS 비용이 줄었다. 

성능도 개선됐다. 데이터 흐름 간소화로 기존 수십 초 걸렸던 대시보드 로딩 시간은 수 초 내로 줄었다. 관리 포인트도 단일화됐다. 데이터 인프라 관리가 Snowflake로 통합되면서, 엔지니어는 단순 운영보다 가치 있는 ‘데이터 분석’에 집중하게 됐다.

현업부서는 개발자 도움없이 Snowflake 계정 권한만 받아 내장 대시보드에서 원하는 데이터를 직접 조회할 수 있게 됐다. 데이터 접근 권한 관리는 더 체계화됐다. Snowflake Horizon의 계층형 권한 관리 체계를 활용해 직군별·역할별로 데이터 접근 권한을 명확히 구분하게 됐으며, 권한 운영 부담 감소와 함께 데이터 보안 및 운영 안정성도 크게 향상됐다.

그렙은 비개발자의 데이터 접근성을 더욱 높이겠다는 계획이다. Snowflake Cortex AI 등 생성형 AI 기능을 통해 자연어 기반 쿼리 생성과 테이블 스키마 정보 자동 생성 등을 활용할 예정이다. 

기존의 주기적인 전체 데이터 덤프 방식에서 벗어나 변경 데이터 캡처(CDC) 기반 증분 적재 방식으로 전환해 데이터의 실시간성을 강화한다는 방침이다. 현재 매일 1회 운영 DB 데이터 전체를 Snowflake로 이관하고 있는데, 변경된 데이터만 이관해 실시간성을 높이고, 데이터 이동 작업을 효율화할 계획이다. 

아울러 RDBMS 테이블 구조 변경 시 반복적으로 Airflow DAG를 수정해야 했던 과정을 자동화해, 데이터 파이프라인 운영 효율을 더욱 높일 예정이다. 원천 테이블이나 컬럼의 변경 시 최신 데이터 시맨틱을 Snowflake에 자동으로 업데이트되도록 파이프라인을 설계할 계획이다.