사용 사례
스트리밍과배치 사일로 해소하기
스트리밍 및 배치 파이프라인을 더 이상 분리하지 않아도 됩니다. 하나의 시스템에서 통합된 수집과 변환을 실현하세요.
하나의 시스템에서 데이터 파이프라인 단순화
하나의 아키텍처에서 스트림과 배치 수집, 처리 파이프라인을 통합하고, 과거 데이터가 있는 곳에서 낮은 지연 시간으로 데이터를 스트리밍하고 처리하세요. Snowflake Openflow를 통해 사전 구축된 스트리밍 커넥터로 데이터를 쉽게 수집할 수 있습니다. 또한, Dynamic Table로 많은 사용 사례에 대한 스트리밍 데이터를 처리하기 위해 SQL을 사용할 수도 있습니다.
낭비되는 컴퓨팅 없이 비용 최적화 실현
행 집합에 대한 스트리밍 수집은 같은 볼륨의 파일 수집 대비 최대 50% 저렴합니다. Dynamic Table은 증분형 또는 전체 새로 고침을 통해 더 효율적인 변환을 위한 성능 가이드를 제공하여 컴퓨팅 리소스 낭비를 방지하는 데 도움이 됩니다.
AI 데이터 클라우드의 이점 활용
스트리밍 기능이 AI 데이터 클라우드와 밀접하게 통합되어 있으므로 Snowflake Horizon을 통해 활용해 왔던 보안 및 거버넌스 기능을 계속해서 사용하실 수 있습니다.
고처리량 및저지연 스트리밍 데이터
- Snowflake Openflow는 Apache Kafka†와 Amazon Kinesis† 등의 스트리밍 소스에 직접 연결되고, Kafka Sink*를 통해 스트리밍 데이터가 Snowflake로 이동한 후 다시 스트리밍 시스템으로 돌아갑니다.
- Openflow를 통한 새로운 Snowpipe Streaming 통합† 덕분에 스트리밍 수집은 5초의 쿼리 지연 시간 및 인라인 변환으로 10GB/s 처리량을 달성할 수 있습니다.
단일 파라미터 변경을 통해지연 시간 조정
- Dynamic Table을 사용하면 SQL이나 Python으로 데이터 변환을 선언적으로 정의할 수 있습니다. Snowflake는 종속성을 관리하고 데이터 최신성 목표에 따라 결과를 자동으로 구체화합니다. Dynamic Table은 마지막 새로 고침 이후에 변경된 데이터에 대해서만 작동합니다. 따라서 대량의 데이터와 복잡한 파이프라인을 단순화하고 비용 효율성을 높일 수 있습니다.
- 비즈니스 요구 사항에 변화가 발생하더라도 지연 시간 파라미터 하나만 변경하면 배치 파이프라인을 스트리밍 파이프라인으로 전환하여 쉽게 적응할 수 있습니다.
개방형 레이크하우스에스트리밍 적용
- Snowflake의 스트리밍 기능은 Apache Iceberg 형식과 함께 작동하므로 다양한 처리 옵션을 통해 개방형 레이크하우스 아키텍처를 쉽게 구축할 수 있도록 지원합니다.
- Snowflake Openflow는 Apache Iceberg 형식으로 데이터를 유지하며, Apache Polaris 기반 카탈로그를 지원합니다. 그런 다음 Snowflake 관리형 및 비관리형* Apache Iceberg 테이블 모두에 대해 Dynamic Table로 낮은 지연 시간의 선언적 처리를 구현합니다.
개발자 리소스
Snowflake의 Quickstart 튜토리얼을 살펴보거나 앞으로 열릴 웨비나에 참여하여 Snowflake Dynamic Table을 경험해 보세요.
