오늘 Snowflake는 Snowflake CoCo 기반 Snowpipe 자동 설정 기능의 GA를 발표합니다. 이에 따라 팀은 단 한 번의 자연어 대화만으로 클라우드 스토리지에 도착하는 원시 파일을 표준 Snowflake 테이블 또는 Snowflake 관리형 Apache Iceberg™ 테이블에 지속적으로 로드할 수 있습니다. CoCo는 파일을 자동으로 샘플링하고 스키마를 추론하며 파이프라인을 구축한 뒤 데이터가 예상대로 로드되는지 확인합니다. 따라서 새로운 소스가 데이터 엔지니어링 대기열에서 기다릴 필요가 없습니다. 자세히 알아보거나 시작하려면 Snowpipe 자동 설정 기능 설명서를 참조하세요.
조직에서는 AI 애플리케이션과 에이전트가 새 데이터가 생성되는 즉시 이를 활용해야 하는 경우가 점점 늘고 있습니다. 하지만 어떤 데이터든 사용하려면 먼저 새 소스마다 연결 작업을 거쳐야 합니다. 새 애플리케이션을 출시하는 모바일 팀을 예로 들어보겠습니다. 출시 후 처음 며칠간의 사용량 데이터가 가장 중요한 경우가 많습니다. 이 데이터는 사용자가 새로운 기능을 잘 찾아내는지, 다음 빌드 전에 무엇을 수정해야 하는지를 보여 줍니다. 데이터는 즉시 도착하기 시작합니다. 몇 분마다 Amazon S3 버킷에 저장되는 클릭스트림 파일 형태입니다. 애플리케이션 로그를 통해 인시던트를 추적하는 보안 팀, 신규 생산 라인의 센서 데이터를 모니터링하는 제조업체, 파트너의 일일 내보내기 파일을 온보딩하는 재무 팀도 똑같이 시간에 쫓깁니다. 이러한 피드는 모두 클라우드 스토리지의 파일로 저장되며, 그 가치는 얼마나 빨리 쿼리할 수 있느냐에 달려 있습니다.
Snowflake의 지속적 로드 서비스인 Snowpipe는 바로 이러한 데이터를 위해 설계되었습니다. Snowpipe는 일반적으로 파일이 클라우드 스토리지에 도착한 후 몇 분 안에 Snowflake가 관리하는 서버리스 컴퓨팅에서 새 파일을 처리합니다. 팀의 속도를 늦추는 것은 대개 첫 로드 전에 필요한 준비 작업입니다. 누군가는 파일을 검토해 형식 옵션을 선택한 뒤 스토리지 통합, 스테이지, 테이블, 파이프를 생성해야 합니다. 클라우드 팀도 IAM 역할, 신뢰 정책, 파일 도착을 Snowpipe에 알리는 이벤트 알림을 설정해야 합니다. 이 단계들이 완료될 때까지 가장 중요한 며칠은 아무도 쿼리할 수 없는 버킷에 데이터가 머무른 채 지나갑니다.
Snowsight, CoCo Desktop, CoCo CLI에서 사용할 수 있는 자동화된 Snowpipe 설정은 적절한 권한을 가진 누구나 데이터 엔지니어를 기다리지 않고 새 소스를 직접 연결할 수 있게 합니다. 기본적으로 CoCo는 변경 사항을 적용하기 전에 명시적인 승인을 요청하며, 설정이 완료되면 CoCo 세션이 종료된 뒤에도 Snowpipe가 데이터가 계속 유입되도록 합니다.
“AI 에이전트가 팀이 데이터를 다루는 방식을 바꾸고 있지만, 모든 프로젝트는 여전히 새로운 데이터를 연결하는 데서 시작합니다. Snowflake CoCo와 Snowpipe는 새로운 소스를 하나씩 연결하는 까다로운 작업을 대신 처리합니다. 덕분에 팀은 더 많은 아이디어를 실제로 작동하는 애플리케이션으로 구현하고, 새 파일이 도착할 때마다 최신 상태로 유지할 수 있습니다. AWS와의 파트너십 덕분에 Amazon S3를 사용하는 고객은 이 과정을 더욱 간편하게 진행할 수 있습니다.”
Saptarshi Mukherjee
Senior Director of Product Management, Snowflake
이번 출시로 가능한 작업은 다음과 같습니다.
- 클라우드 스토리지 경로에서 시작: CoCo에 Amazon S3, Azure Blob Storage 또는 Google Cloud Storage의 파일을 지정하면 CoCo가 형식을 감지하고 스키마를 제안합니다.
- AWS 설정을 Snowflake가 처리: 시간 제한이 있는 AWS IAM 임시 위임 요청을 한 번 승인하면 Snowflake가 스토리지 역할, 신뢰 정책, 버킷 알림을 생성합니다. 공유해야 할 AWS 액세스 키는 없습니다.
- 어떤 클라우드에서도 코드형 인프라 유지: CoCo는 Iceberg 테이블을 포함한 전체 파이프라인의 Terraform을 작성하므로, 팀은 평소 검토 절차를 그대로 적용할 수 있습니다.
- 개방형 Apache Iceberg 테이블에 데이터 적재: Iceberg 테이블을 선택하면 Snowflake와 모든 Iceberg 호환 엔진이 동일한 데이터를 읽을 수 있습니다.
- 파이프라인 작동 확인: CoCo는 파일이 테이블에 도달하는지 확인하고 로드 오류가 있으면 표시합니다.
“AWS를 사용하는 Snowflake 고객은 액세스 통제를 느슨하게 하지 않으면서도 Amazon S3 데이터를 더 빠르게 활용하고 싶어 합니다. Snowflake CoCo는 AWS IAM 임시 위임을 활용해, 고객이 AWS 콘솔에서 제한적이고 기한이 정해진 액세스를 승인하면 Snowflake가 Snowpipe 설정을 처리하도록 합니다. 이는 AWS와 Snowflake가 협력해 고객이 설정에 쓰는 시간은 줄이고 데이터를 활용하는 데 더 많은 시간을 쓸 수 있도록 돕는 좋은 사례입니다.”
Chris Spandikow
Director of Engineering, AWS
CoCo에 클라우드 스토리지 경로 지정
모바일 팀은 프롬프트 한 문장으로 설정을 시작합니다
Continuously ingest data from s3://my-bucket/clickstream/Snowsight에서는 Set up Snowpipe with CoCo를 선택해 Ingestion » Add Data에서 시작할 수도 있습니다. 어느 방식이든 CoCo는 데이터가 어디에 적재되어야 하는지, 그리고 네 가지 설정 옵션 중 팀에 맞는 방식이 무엇인지 묻습니다. 옵션은 Amazon S3의 임시 액세스, 전체 파이프라인을 위한 Terraform, 기존 클라우드 액세스, 또는 Snowflake 오브젝트와 클라우드 설정 파일의 조합입니다.
그다음 CoCo는 파일을 샘플링해 CSV, JSON, Parquet, Avro, ORC, XML 같은 형식을 감지하고 컬럼 이름과 데이터 유형을 제안합니다.
CoCo는 호환되는 스토리지 통합, 스테이지, 파일 형식을 재사용합니다. 동일한 파일을 이미 처리하는 파이프가 있으면 CoCo가 이를 표시하고 사용자의 판단을 기다리므로 데이터가 중복 로드되지 않습니다. 모든 SQL 문은 사용자의 활성 Snowflake 역할로 실행되며, 기본적으로 CoCo는 Snowflake 오브젝트를 생성하거나 변경하기 전에 SQL을 보여주고 승인을 요청합니다.
파이프가 만들어지기 전에 도착한 파일도 누락되지 않습니다. CoCo는 최근 7일분을 즉시 로드하도록 제안하며, 그보다 오래된 파일에 대해서는 일회성 로드를 실행할 수 있습니다. 앱이 새 필드를 보내기 시작하면 CoCo는 스키마 진화를 활성화해 해당 필드가 새 컬럼이 되도록 할 수 있으며, 기존 테이블에서는 먼저 확인을 요청합니다.
Snowflake로 AWS 클라우드 설정 자동화
모바일 팀의 버킷은 Amazon S3에 있으므로 AWS IAM 임시 위임을 사용해 Snowflake에 설정에 필요한 범위로 한정되고 기한이 정해진 권한을 부여합니다.
- CoCo가 요청 준비: CoCo는 설정에 필요한 항목만 요청합니다. 하나의 버킷에 대한 알림 액세스, Snowpipe가 사용하는 스토리지 역할을 생성하거나 업데이트할 권한, 그리고 해당 역할이 수행할 수 있는 범위를 제한하는 권한 경계입니다.
- AWS 관리 콘솔에서 직접 결정: 요청된 모든 권한을 검토한 뒤 허용하거나 거부하거나, 승인을 위해 AWS 관리자에게 전달할 수 있습니다.
- 승인된 항목을 Snowflake가 설정: Snowflake는 스토리지 역할과 신뢰 정책을 생성합니다. CoCo가 사용자가 승인한 SQL로 파이프를 생성하면 Snowflake는 파이프의 알림 규칙을 추가하고 버킷의 기존 규칙은 그대로 유지합니다.
AWS CloudTrail은 Snowflake가 위임된 역할에서 수행하는 모든 설정 작업을 기록하고, Snowflake 쿼리 기록은 CoCo가 사용자 계정과 역할로 실행한 각 문을 보여줍니다.
파이프라인은 코드로 유지하거나 원하는 방식으로 배포
코드로 클라우드 리소스를 배포하는 팀은 AWS, Azure, Google Cloud에서 CoCo가 설정을 코드로 준비하도록 할 수 있습니다. 표준 테이블과 Iceberg 테이블의 경우 CoCo는 샘플링된 파일을 기반으로 Snowflake 오브젝트와 클라우드 리소스를 모두 포함하는 전체 파이프라인의 Terraform을 작성합니다. AWS에서는 Terraform이 버킷의 기존 알림 규칙을 유지합니다. 팀은 평소처럼 풀 리퀘스트에서 이를 검토하고 배포합니다. CoCo는 두 가지 추가 설정 옵션도 제공합니다.
- 기존 클라우드 액세스 재사용: 이미 사용 중인 스토리지 통합과 IAM 역할을 유지하면서 CoCo의 안내에 따라 알림 설정을 진행할 수 있습니다.
- Snowflake 오브젝트 생성 및 클라우드 설정 파일 작성: CoCo는 사용자가 승인한 SQL로 Snowflake 오브젝트를 생성하고, 클라우드 팀이 배포할 Terraform, CloudFormation 또는 ARM 템플릿을 만들어 줍니다.
예를 들면 다음과 같습니다.
Generate complete Snowpipe Terraform for gcs://my-bucket/events/. My team will deploy it.CoCo Desktop과 CoCo CLI는 사용자 머신의 클라우드 자격 증명을 사용해 Terraform과 클라우드 설정 파일을 직접 적용할 수 있으며, 적용할 때마다 먼저 확인을 요청합니다. 배포를 팀에 맡길 수도 있습니다. Snowsight에서 CoCo는 워크스페이스의 snowpipe 폴더에 파일을 저장합니다.
동일한 데이터를 개방형 Apache Iceberg 테이블로 로드
데이터 사이언스 팀이 동일한 클릭스트림 데이터를 Apache Spark™에서 사용하려면 Iceberg 테이블을 요청하면 됩니다.
Continuously ingest s3://my-bucket/clickstream/ into an Iceberg table.CoCo는 Snowflake 관리형 Iceberg 테이블과 이 테이블에 데이터를 공급하는 파이프를 설정합니다. Snowpipe는 데이터를 Parquet로 기록하고, 다른 형식은 로드 시 변환합니다. Snowflake가 Iceberg 메타데이터를 유지 관리하므로 Spark와 기타 Iceberg 호환 엔진이 해당 테이블을 읽을 수 있습니다. Snowflake는 Snowflake 관리형 Iceberg 테이블의 테이블 유지 보수도 처리합니다. Iceberg 파이프라인을 Terraform으로 생성할 수도 있습니다.
CoCo로 첫 파일 로드 확인
액세스와 배포가 완료되면 CoCo는 파이프 상태, 알림 전달, 로드 기록을 확인한 뒤 로드 오류가 있으면 보고합니다. SYSTEM$PIPE_STATUS 또는 COPY_HISTORY를 직접 쿼리할 필요가 없습니다. 아직 새 파일이 도착하지 않았다면 CoCo가 테스트 파일로 확인하는 과정을 안내할 수 있습니다.
모바일 팀의 경우 출시일 이후의 클릭스트림이 이미 테이블에 적재되어 있어, 사용자가 어떤 새 기능을 사용하는지와 다음 빌드 전에 무엇을 수정해야 하는지를 보여줍니다. 동일한 최신 데이터는 이를 필요로 하는 AI 애플리케이션과 에이전트에서도 바로 사용할 수 있습니다.
CoCo로 일회성 로드 실행
CoCo를 사용한 대량 로드도 오늘 GA로 제공됩니다. 백필, 마이그레이션, 온디맨드 전달처럼 파일이 이미 준비되어 있다면 CoCo에 일회성 로드를 요청하면 됩니다. CoCo는 파일 형식과 테이블을 준비하고, 웨어하우스에서 COPY INTO를 실행한 뒤 결과를 확인합니다. 요청만으로 일회성 로드와 지속적 로드 중 무엇을 원하는지 알 수 없으면 CoCo가 먼저 확인합니다.
지금 시작하기
Snowpipe 자동 설정 기능 설명서에서 사전 요구 사항과 필요한 권한을 확인한 뒤 다음 단계를 진행하세요.
- Snowsight, CoCo Desktop 또는 CoCo CLI에서 CoCo를 엽니다. Snowsight에서는 Ingestion » Add Data 페이지에서 Set up Snowpipe with CoCo를 선택할 수도 있습니다.
- 소스를 설명합니다. 예시:
s3://your-bucket/path/에서 데이터를 지속적으로 수집 - 설정 옵션을 선택하고 CoCo가 준비한 내용을 승인합니다.
- CoCo가 첫 로드를 확인하도록 합니다.
Snowpipe 및 CoCo 리소스
설정 후 Snowpipe는 서버리스 컴퓨팅에서 파일을 로드하며, Snowpipe 사용량으로 과금됩니다. 자세한 내용은 CoCo 사용 요금 및 Snowpipe 비용을 참조하세요. Snowflake가 처음이신 경우에는 무료 Trial로 시작해 보세요. 자세히 알아보려면 다음을 참조하세요.
CoCo에 다음 데이터 소스를 지정하고 Snowpipe가 계속 로드하도록 하세요.
참고: AWS IAM 임시 위임은 AWS GovCloud(US) 또는 중국 리전에서 사용할 수 없습니다. 클라우드 승인과 권한 전파는 설정 시간에 영향을 줄 수 있습니다.
