데이터 엔지니어의 하루는 단순히 Python 코드를 작성하는 것으로 끝나지 않습니다. 종속성을 패키징하고, 구성을 관리하고, 여러 도구를 오가며, 파이프라인을 프로덕션 환경에 배포하는 작업까지 수행해야 합니다. 이러한 컨텍스트 전환과 오버헤드는 실제 데이터 작업에 들어가기 훨씬 전부터 팀의 생산성을 저하시킵니다.
파이프라인이 로컬 환경에서 정상적으로 작동하더라도 프로덕션 환경에 이를 배포하는 과정에는 여전히 상당한 노력이 필요합니다. 저장 프로시저나 UDF를 실행 가능한 상태가 될 때까지 개발자는 프로젝트 파일을 구성하고, 배포 명령을 실행하며, 전체 과정을 엔드투엔드로 검증해야 합니다.
대부분의 범용 AI 코딩 어시스턴트가 한계를 보이는 지점도 바로 여기입니다. Python 코드 작성은 지원할 수 있지만, 실제로 동작하는 코드를 프로덕션 수준의 워크플로우로 전환하는 데 필요한 배포 맥락까지 이해하지는 못하는 경우가 많습니다. 로컬 개발에서 배포까지의 전체 경로, 즉 프로젝트 구조를 검증하고, 런타임 문제를 식별하며, 필요한 지원 파일을 생성하고, 빌드·배포·검증까지 수행하는 전체 과정을 안내하도록 설계된 것은 아닙니다.
반면 Snowpark는 데이터가 있는 곳에서 Python을 직접 실행할 수 있습니다. 데이터 이동(egress)이나 별도의 클러스터는 필요하지 않습니다. 여기에 더해 Snowpark는 강력한 장점을 제공합니다. 실제 프로덕션 사용 사례1를 기준으로 평균 5.1배 더 빠른 성능과 42% 낮은 비용을 제공하며, 모든 작업을 거버넌스와 보안이 적용된 하나의 플랫폼에서 수행할 수 있습니다.
Snowflake CoCo는 이를 한 단계 더 발전시킵니다. 현재 제공 중인 snowpark-python 스킬을 활용하면 개발자는 Python 코드 작성뿐만 아니라, 단 하나의 프롬프트만으로 로컬 Python 파일을 프로덕션 규모의 워크플로우로 배포할 수 있습니다.
snowpark-python 스킬 소개
Snowflake CoCo는 데이터 네이티브 AI 코딩 에이전트로, Snowsight는 물론 CLI, Desktop IDE, 확장 프로그램에서도 사용할 수 있습니다. snowpark-python 스킬은 CoCo의 핵심 내장형 기능 중 하나로, 다음 세 가지 영역을 지원합니다.
- 코드 작성(Authoring): Snowflake 환경에 최적화된 시맨틱 체계를 기반으로 DataFrame, UDF, 저장 프로시저 등 Snowpark 파이프라인을 자연스럽게 작성할 수 있습니다.
예시 프롬프트: "이 CSV를 수집하고, 유효하지 않은 트랜잭션을 필터링한 다음, 분기별 매출을 반환하는 Snowpark 스크립트를 작성해줘." - 배포 및 CI/CD: 저장 프로시저나 UDF를 검증, 구성, 빌드 및 배포하는 과정을 하나의 워크플로우에서 처리할 수 있습니다.
예시 프롬프트: "이 디렉터리에 있는 Python 파이프라인을 지정한 연결 정보와 웨어하우스를 사용해 Snowpark에 배포해줘." - 옵저버빌리티: 성능이 느린 UDF를 디버깅하고 파이프라인 성능을 최적화합니다.
예시 프롬프트: "Python UDF 실행이 느린데 근본 원인을 찾아줘."
이 스킬은 Snowpark, UDF, 저장 프로시저 또는 관련 키워드를 언급하면 자동으로 활성화되며, snowpark-python 명령으로 직접 호출할 수도 있습니다. 또한 프로덕션 환경에 영향을 주는 주요 의사결정 지점에서는 작업을 일시 중지하여 사용자가 최종 결정을 내릴 수 있도록 지원합니다.
실제 작동 사례 확인하기
snowpark-python 워크플로우의 강점은 모든 과정이 자연스럽게 이어진다는 점입니다. 아래 영상의 데모는 sales_pipeline.py라는 로컬 파일에서 시작합니다. 이 파일은 스테이지에 저장된 CSV 데이터를 읽고, 유효하지 않은 레코드를 제거한 뒤, 지역별 월간 매출을 계산하여 그 결과를 테이블에 저장합니다.
이후에는 간단한 프롬프트만 입력하면 됩니다. 지정한 연결 정보와 웨어하우스를 사용해 해당 파이프라인을 Snowpark에 배포해 달라고 CoCo에 요청하면 됩니다.
단 하나의 프롬프트만으로 로컬 Snowpark 파이프라인을 단 2분 만에 Snowflake에 배포할 수 있습니다.
자료 1: CoCo가 하나의 대화형 프롬프트를 통해 Snowpark 저장 프로시저를 검증, 구성, 빌드, 배포 및 테스트하는 전체 워크플로우.
개발자는 설명서, 구성 파일, CLI 명령어를 오갈 필요 없이 하나의 워크플로우 안에서 작업을 이어가고, CoCo는 프로덕션 규모의 파이프라인 운영에 필요한 단계를 대신 처리합니다.
CoCo가 백그라운드에서 수행하는 작업
설정 검증
CoCo는 Python 파이프라인이 Snowpark 요구 사항을 충족하는지 확인합니다. 프로젝트 구조를 검토하고 환경 변수 의존성과 같은 잠재적인 런타임 문제를 식별하여 코드가 Snowflake 환경에서 정상적으로 실행될 수 있는지 검증합니다.
프로젝트 구성
이후 배포를 위한 프로젝트 구조를 자동으로 구성합니다. 특히 CI/CD에 적합한 Snowflake CLI 방식을 선택하면 snowflake.yml, 핸들러 코드, requirements.txt와 같은 필수 파일을 자동으로 생성합니다.
배포 및 검증
마지막으로 CoCo는 저장 프로시저를 빌드하고 배포하며, 필요한 아티팩트를 업로드한 후 테스트를 실행해 배포 상태를 검증합니다. 데모에서는 저장 프로시저가 5,000건의 레코드를 성공적으로 처리하고, 유효하지 않은 트랜잭션을 제거한 뒤, 지역별 월간 매출을 집계하여 대상 테이블에 저장하는 모습을 확인할 수 있습니다.
결과적으로 설정에 드는 시간은 줄이고, 여러 도구를 오가는 번거로움은 최소화하며, Python 파이프라인을 Snowflake에서 더욱 빠르게 운영 환경에 배포할 수 있습니다.
지금 시작하기
snowpark-python 스킬은 CoCo에 기본 포함되어 있으며 별도의 설정이 필요하지 않습니다.
다음과 같이 사용해 보세요.
"내 Python 파이프라인이 [경로]에 있어. [연결 정보]와 [웨어하우스]를 사용해서 Snowpark에 배포해줘."
CoCo를 시작하려면 공식 설명서를 참조하세요.
1 2022년 11월부터 2026년 5월까지 Snowpark의 속도 및 비용을 비교한 고객 프로덕션 사용 사례와 개념 증명(PoC) 결과를 기반으로 합니다. 실제 성능 및 비용 개선 효과는 고객 환경과 워크로드 특성에 따라 달라질 수 있습니다.
