금융 서비스 분야의 데이터 엔지니어는 대부분의 데이터 엔지니어와는 다른 종류의 압박 속에서 일합니다. 시장은 빠르게 움직입니다. 리스크 모델은 몇 분 전의 상황이 아니라 지금 이 순간 벌어지는 일을 반영해야 합니다. 이상 거래 탐지는 거래가 완료되기 전에 신호가 도착해야만 효과를 발휘합니다. 실시간 대시보드에는 실시간 데이터가 표시되어야 합니다.
문제는 대부분의 데이터 인프라가 이러한 긴급성을 염두에 두고 설계되지 않았다는 점입니다. 일정에 따라 실행되는 배치 파이프라인은 많은 워크로드에서 효과적이지만, 금융 워크로드에서는 감당하기 어려운 지연을 초래합니다. 이를 인식한 팀은 스트리밍 아키텍처를 구축하는 데 몇 주를 투자하지만, 실제 파이프라인 로직을 작성하기도 전에 복잡한 설정 과정에 발목이 잡히는 경우가 많습니다. 데이터 엔지니어가 인프라 기반을 마련하는 데 쓰는 시간은 정작 중요한 성과를 만드는 데 쓰지 못하는 시간입니다. 이러한 오버헤드는 시간이 지날수록 커집니다.
바로 이 문제를 해결하기 위해 Snowpipe Streaming High-Performance Architecture와 Snowflake CoCo가 설계되었습니다.
Snowflake로 실시간 데이터 수집
Snowpipe Streaming High-Performance Architecture는 Python SDK를 사용해 애플리케이션 코드에서 Snowflake로 데이터를 직접 기록할 수 있도록 지원하는 직접 수집 API입니다. 데이터는 초당 최대 10GB의 처리량으로 10초 이내에 적재되며, 즉시 쿼리할 수 있습니다. 스테이징 단계도, COPY INTO 명령도, 유지 관리해야 하는 파일 관리 계층도 필요하지 않습니다.
이는 특히 금융 워크로드에서 중요한 의미를 갖습니다. 시장 이벤트, 호가 업데이트, 거래 기록은 모두 신속하게 수집되어 분석가, 모델, 리스크 관리 시스템이 즉시 활용할 수 있어야 합니다. Snowpipe Streaming은 Snowflake 내부에서 네이티브로 실행되므로, 기록되는 모든 데이터에는 조직에서 이미 적용 중인 거버넌스, 액세스 제어 및 데이터 계보가 그대로 적용됩니다. 관리해야 할 스테이징 계층도 없고, 분석 플랫폼과 별도로 운영해야 하는 시스템도 필요하지 않습니다.
엔지니어의 시간이 실제로 소모되는 지점
API 자체가 어려운 것은 아닙니다. 실제로 사용할 수 있는 상태까지 도달하는 과정이 어렵습니다.
데이터가 한 행도 적재되기 전에 팀은 인증을 설정하고, 필요한 Snowflake 오브젝트와 권한을 프로비저닝하고, 개발 환경을 구성한 뒤, 파이프라인이 실행된 후 정상적으로 동작하는지 확인할 수 있는 환경까지 마련해야 합니다. 어느 하나 불필요한 작업은 아니지만, Snowpipe Streaming을 사용하기로 결정한 시점부터 실제로 활용하기까지는 상당한 준비 작업이 필요합니다. 또한 이것은 개념 검증(PoC) 파이프라인이 프로덕션 환경에 도달하기도 전에 멈춰 버리는 가장 큰 이유 중 하나이기도 합니다.
Snowpipe Streaming을 위한 CoCo skills
Snowflake CoCo는 Snowsight, CLI, 데스크탑에서 사용할 수 있는 데이터 네이티브 AI 코딩 에이전트입니다. CoCo는 Snowflake 환경과 그 안에 있는 오브젝트는 물론 Snowpipe Streaming과 같은 서비스의 구성 방식까지 이해합니다. 작업을 실행하기 전에 먼저 검토하고 승인할 수 있는 실행 계획을 제시하므로, 어떤 작업이 실행될지 직접 제어할 수 있습니다.
시작하기 위한 skill
GitHub의 SSv2-AI-Webinar 저장소를 통해 이를 실제로 구현하는 데 도움이 되는 두 가지 skill을 사용할 수 있습니다.
ssv2-quickstart skill은 전체 설정 절차를 실행합니다. 필요한 Snowflake 오브젝트를 생성하고 인증을 구성하며, Python 수집 스크립트를 작성하고, 파이프라인이 시작되는 즉시 데이터 흐름을 확인할 수 있도록 Streamlit 기반의 실시간 모니터링 대시보드까지 배포합니다. 일반적으로 문서와 설정을 오가며 몇 시간이 걸리는 작업을 CoCo는 단일 안내형 세션에서 처리합니다. 전체 과정은 단 몇 분이면 완료됩니다.
시작 프롬프트 예시: ssv2 quickstart 또는 try snowpipe streaming
ssv2-AI-webinar skill은 이 기반 위에서 확장됩니다. 실행 중인 Snowpipe Streaming 파이프라인을 Snowflake 내부의 Cortex AI Functions와 연결해 실시간 이벤트 분류, 엔터티 추출, 데이터 보강을 수행하는 방법을 보여줍니다. 몇 초 만에 수집되는 금융 데이터는 다른 플랫폼으로 이동할 필요 없이 동일한 플랫폼에서 분석하고 즉시 활용할 수 있습니다.
프롬프트 예시: ssv2 ai webinar 또는 ssv2 webinar demo
엔드투엔드 셀 타워 예지 정비 구축
SDK Examples에서 제공하는 skill을 사용하면 셀 타워 예지 정비를 위한 엔드투엔드 사용 사례를 구축할 수 있습니다. 이 워크플로우는 실행 중인 Snowpipe Streaming 파이프라인을 Snowflake 내의 Cortex AI Functions와 통합하여 이벤트 분류, 엔터티 추출과 같은 실시간 데이터 분석을 플랫폼 내에서 직접 수행하는 방법을 보여줍니다.
이 skill은 로컬 Kafka 클러스터와 Kafka 토픽에 데이터를 전송하는 프로듀서 애플리케이션을 설정하고, Snowpipe Streaming과 Snowflake AI Functions에 데이터를 기록하는 사용자 지정 Kafka Consumer를 구성합니다. 또한 타워 드롭률과 같은 주요 KPI를 예측할 수 있도록 지원합니다.
이 예제에서는 Snowpipe Streaming SDK를 사용해 사용자 지정 Kafka Consumer를 구축하는 방법과 함께 재시도 및 오류 처리 로직 구현에 대한 모범 사례도 제공합니다.
프롬프트 예시: snowpipe streaming kafka
워크플로우에서 CoCo가 수행하는 작업
파이프라인이 실행되면 실제 환경을 기반으로 CoCo에 질문할 수 있습니다. 처리량이 예상보다 낮다면 그 이유를 물어볼 수 있습니다. 데이터 변화에 따라 이벤트 스키마를 수정해야 한다면 필요한 내용을 설명하기만 하면 CoCo가 해당 테이블에 맞는 SQL을 생성합니다. 상위 시스템에서 잘못된 형식의 데이터가 전송되면 CoCo가 오류 처리 로직을 추가하고 제대로 동작하는지 테스트하는 작업까지 지원합니다.
CoCo는 세션 시작 시점부터 컨텍스트를 유지하므로, 문제가 생길 때마다 설정 내용을 다시 설명할 필요가 없습니다. 설명서와 CLI 도구, Snowflake 콘솔을 오가며 작업하는 대신 하나의 워크플로우 안에서 모든 작업을 이어갈 수 있습니다.
시작하기
SSv2-AI-Webinar repo와 SDK Examples를 클론한 뒤 ~/.snowflake/skills/에 복사하여 skills를 설치합니다. 그런 다음 CoCo를 열고 ssv2-quickstart 또는 custom-kafka-consumer로 시작합니다.
모든 설정 SQL과 Python 수집 스크립트가 포함된 전체 단계별 가이드를 읽어보세요. 아키텍처와 API를 더 자세히 살펴보려면 Snowpipe Streaming 문서에서 필요한 내용을 모두 확인할 수 있습니다.
