비디오
기능
dbt Projectson Snowflake
외부 오케스트레이션 없이 Snowflake에서 직접 dbt 파이프라인을 실행하세요. 런타임을 관리하고, dbt Core와의 호환성을 유지하면서 내장형 옵저버빌리티, 컬럼 수준 계보 및 에이전틱 AI 워크플로우를 활용할 수 있습니다.
dbt 인프라 관리 부담 경감
dbt 프로젝트를 업로드하기만 하면 컴퓨팅 리소스 프로비저닝부터 업그레이드 관리, 실행까지 Snowflake가 모두 처리합니다.
Snowflake Tasks를 활용한 dbt 모델 스케줄링
별도의 도구로 전환하거나 cron 작업을 관리할 필요 없이, 기존에 운영하던 Snowflake Tasks를 그대로 활용해 dbt 모델 파이프라인을 구축하고 스케줄링할 수 있습니다.
컬럼 수준 계보를 포함한 모든 데이터 변환 모니터링
모든 dbt 모델과 Snowflake 오브젝트 간의 데이터 흐름을 추적합니다. 컬럼 수준 계보를 통해 각 모델에서 데이터를 읽고 쓰는 컬럼을 정확하게 파악할 수 있습니다.
에이전틱 작성
Snowflake CoCo로 AI에 바로 활용 가능한 dbt 파이프라인 구축
자연어를 사용해 dbt 모델, 테스트 및 문서를 작성하세요. 모델링 태스크를 설명하면 Snowflake CoCo가 YAML, Jinja 매크로 및 테스트 스캐폴딩을 생성합니다. 파이프라인은 처음부터 다운스트림 AI 활용에 적합한 구조로 구성됩니다.
네이티브 스케줄링
Snowflake Tasks를 통한 dbt 모델 스케줄링
Snowflake Tasks는 일정에 따라 또는 업스트림 데이터가 도착하면 dbt 모델을 실행합니다. 서드 파티 스케줄러나 추가 인프라가 필요하지 않습니다. dbt DAG는 기존의 다른 Snowflake 워크로드와 동일한 컴퓨팅 및 스케줄링 시스템에서 실행됩니다.
컬럼 수준 계보
모든 dbt 모델 실행을 컬럼 수준까지 추적
모델 실행이 실패하거나 파이프라인을 감사해야 하는 경우 Snowflake Horizon을 통해 어떤 컬럼이 어디로 이동했는지 확인할 수 있습니다. 원시 테이블에서 각 모델을 거쳐 마트와 뷰로 이어지는 데이터 흐름은 물론, 각 모델이 읽고 쓰는 컬럼까지 추적할 수 있습니다
최신 버전
팀이 원하는 dbt 버전으로 온보딩
dbt Core 버전 전반에서 일관된 실행 환경을 제공하므로 동일한 dbt 코드를 수정 없이 로컬과 Snowflake에서 모두 실행할 수 있습니다. dbt Fusion 지원도 포함되어 있어 추가 라이선스가 필요하지 않습니다.
dbt Projects onSnowflake 작동 방식
프로젝트 빌드 및 테스트
기존 dbt 프로젝트를 Snowflake Workspaces로 가져오거나 Snowflake CoCo를 사용해 새 프로젝트를 구축할 수 있습니다.
프로젝트 배포
Snowflake가 컴퓨팅 프로비저닝, 런타임 관리 및 버전 업그레이드를 처리합니다. 팀은 모델을 작성하고, 관리는 Snowflake가 담당합니다.
Tasks로 스케줄링
Snowflake Tasks를 사용해 일정에 따라 dbt 모델 실행을 오케스트레이션하거나 데이터 도착을 기준으로 실행을 트리거할 수 있습니다.
Horizon으로 모니터링
Snowflake Horizon은 컬럼 수준의 데이터 흐름과 옵저버빌리티 데이터를 자동으로 수집하여 모든 파이프라인을 한눈에 확인할 수 있도록 합니다. 또한 Snowflake CoCo를 사용해 프로덕션 환경의 문제를 분석하고 디버깅합니다.
dbt Projects on Snowflake
자주 묻는질문
오픈소스 dbt Core와의 차이점을 비롯해 dbt Projects on Snowflake에 대해 자주 묻는 질문과 답변을 확인하세요.
dbt Projects on Snowflake란 무엇이며 dbt Core와 어떻게 다른가요?
dbt Projects on Snowflake는 Snowflake에 직접 내장된 네이티브 dbt 환경입니다. 사용자가 직접 관리해야 하는 dbt Core와 달리, dbt Projects on Snowflake는 Snowflake 인프라에서 실행됩니다. Snowflake가 런타임을 관리하고, 버전별 지원을 제공하며, 데이터 변환을 내장된 옵저버빌리티, 계보 및 태스크 스케줄링 기능과 연결합니다.
Snowflake에서 dbt 프로젝트 실행은 어떻게 스케줄링하나요?
dbt Projects on Snowflake는 Snowflake Tasks와 네이티브로 통합됩니다. 외부 오케스트레이터 없이 표준 Snowflake Task DDL을 사용해 전체 프로젝트 실행을 스케줄링하거나 특정 모델만 실행하도록 지정할 수 있습니다. 따라서 데이터와 계보는 물론 파이프라인 스케줄링까지 Snowflake 내에서 관리할 수 있습니다.
어떤 버전의 dbt Core가 지원되나요?
dbt Projects on Snowflake는 dbt Core 버전 전반에서 일관된 실행 환경을 제공합니다. 동일한 dbt 코드를 수정 없이 로컬과 Snowflake에서 모두 실행할 수 있습니다.
기존 dbt Core 프로젝트를 dbt Projects on Snowflake에서도 사용할 수 있나요?
예. dbt Projects on Snowflake는 기존에 dbt Core 또는 dbt Cloud를 사용하고 있는 팀을 위해 설계되었습니다. 기존 프로젝트를 Snowflake에 바로 업로드할 수 있으며, 대부분의 경우 모델, 테스트 또는 매크로를 수정할 필요가 없습니다.
dbt Projects on Snowflake에서는 옵저버빌리티가 어떻게 제공되나요?
Snowflake 내에서 dbt 모델을 실행할 때마다 계보 데이터가 Snowflake Horizon에 직접 전달됩니다. 별도의 구성 없이 테이블 및 컬럼 수준의 계보를 자동으로 확인할 수 있으며, Snowsight에서는 실행 상태, 소요 시간 및 오류를 모니터링할 수 있습니다.
dbt Projects on Snowflake는 dbt Fusion 엔진을 지원하나요?
예. dbt Fusion 엔진은 dbt Projects on Snowflake에서 사용할 수 있습니다. Fusion은 새로운 컴파일 아키텍처를 사용하여 대규모 dbt 프로젝트의 빌드 시간을 크게 단축할 수 있습니다.
