Snowflake Openflow, AI와 상호운용성을 위한 데이터 이동 혁신

엔터프라이즈 AI는 실현하기 어려운 만큼 그 성과가 매력적입니다. 생성형 AI를 초기에 채택한 많은 기업들은 이미 효율성 측면에서 상당한 개선을 보이고 있으며 '생성형 AI의 파격적인 ROI' 보고서에 따르면 평균 41%의 투자 수익률을 기록한 것으로 설문조사 결과 나타났습니다. 하지만 ROI에 도달하려면 데이터 준비, 데이터 관리 및 데이터 품질 등과 관련된 과제가 많습니다. 반응성, 확장성 및 멀티 모달 데이터 처리 관련한 지속적인 문제는 생산성을 저해할 뿐만 아니라, 궁극적으로 AI 실용화를 더욱 어렵게 만듭니다.

레거시 통합 파이프라인은 유연성이 부족하고 적응, 확장 및 규모 조정이 어려운 데다 관리하는 데 많은 도구가 필요하며, 유지관리에도 많은 노력이 요구됩니다. 데이터는 결국, 파편화되고 미로처럼 얽혀 있는 파이프라인을 거쳐 이동하기 때문에, 다양한 소스 및 형식의 데이터를 통합하려면 정교한 엔지니어링이 필요합니다. 하지만 파이프라인만으로는 부족할 수 있습니다.

최신 데이터 엔지니어에게는 근본적인 해결책이 필요합니다. 즉, 모든 데이터 통합 요구 사항을 충족하는 적응 및 확장 가능하면서도 관리 및 제어가 간단한 플랫폼이 필요합니다.

그리고 그 근본적인 해결책이 마침내 등장했습니다. 그 주인공은 바로 Snowflake Openflow로, 데이터 소스와 목적지 간의 데이터 이동을 손쉽게 만들어주는 개방적이고 확장 가능한 관리형 멀티 모달 데이터 통합 서비스입니다. 정형 및 비정형, 배치 및 스트리밍을 포함한 모든 데이터 유형을 지원하는 Openflow는 엔터프라이즈 AI 실현의 핵심 열쇠를 쥐고 있으며, Snowflake 내에서 원활한 ETL을 지원하고 데이터 이동을 완전히 혁신합니다. 

모든 데이터 통합은 단일 플랫폼으로 통합되며, 어떤 데이터 소스와도 연결할 수 있는 무한한 확장성과 상호운용성을 제공합니다. Openflow는 엔터프라이즈급 안정성과 거버넌스를 통해 모든 데이터 아키텍처를 지원하므로, 기업은 통합 요구 사항을 자신 있게 확장할 수 있습니다. Snowflake Openflow는 현재 Bring Your Own(BYOU) 클라우드 배포를 통해 모든 AWS 상용 리전에서 GA로 제공됩니다.

Snowflake Openflow를 위한 포괄적인 프레임워크

이러한 비전을 실현하기 위해 Openflow는 다음과 같은 최신 데이터 통합을 위한 강력한 기반과 핵심 구성 요소를 바탕으로 구축되었습니다.

• 오픈 소스 Apache NiFi: Openflow는 수천 곳의 엔터프라이즈 고객들의 신뢰를 받는 OSS Apache NiFi 데이터 통합 프레임워크를 기반으로 구동되며, 엔터프라이즈급 거버넌스, 보안, 배포 유연성 및 옵저버빌리티를 통해 Apache NiFi의 성능을 극대화합니다. 

• 배포 및 런타임: 고객은 Openflow 배포 환경에서 Openflow 커넥터와 파이프라인을 실행합니다. 고객은 AWS에 GA로 제공 중인 Bring Your Own Cloud(BYOC)를 통해 자체 VPC에서나, Snowflake가 통합 서비스를 관리하는 Snowflake Snowpark Container Service(SPCS)(PrPr로 제공)에서 실행 가능합니다. 고객은 여러 배포 환경을 제어 영역에 연결하여 각기 다른 사용 사례에 활용할 수 있습니다. 각 배포 환경 내에서 런타임은 수평적 확장을 실행할 수 있으며, 멀티 노드 및 멀티 클러스터 배포를 지원하고 재해 복구의 회복탄력성을 설정할 수 있습니다.

• Openflow 서비스 및 API: Snowflake에서 관리형 서비스로 실행되는 Openflow 서비스와 API는 고객이 직관적인 UI로 데이터 파이프라인을 손쉽게 프로비저닝하고 관리할 수 있도록 지원합니다. 이를 통해 고객은 실시간 모니터링 및 알림, DAG 시각화, 새로 고침 이력 정보 등 심층적인 옵저버빌리티를 갖춘 통합 사용자 경험을 누릴 수 있습니다.

• Openflow 커넥터: Openflow 커넥터는 큐레이팅되고 관리되며 보안 및 거버넌스가 적용됩니다. Snowflake 설명서를 참조하여 정식 출시되었거나 미리보기 단계에 있는 커넥터를 확인하세요. 또한, Openflow 커넥터는 쉽게 확장 및 사용자 정의가 가능하며, Openflow 파워 유저는 프로세서 구성 요소를 활용하여 자체 흐름을 구축할 수 있습니다.

데이터를 자유롭게 통합하는 무한한 가능성 실현

관리형 서비스인 Openflow는 통합 구축 프로세스에 사용 편의성, 편리성 및 보안을 제공합니다. 이를 통해 다음과 같은 통합 활용 사례가 가능해집니다. 

• AI를 위한 ETL 가속화: Openflow는 모델이나 에이전트의 위치에 상관없이, 실시간에 가까운 양방향 데이터 흐름을 통해 엔터프라이즈 데이터를 AI에 연결합니다. 특정 경쟁업체들의 경우, 비정형 데이터 연결이 불가능하여 AI 에이전트와 검색 증강 생성(RAG)을 구현할 수 없습니다. Openflow는 다양한 데이터 구조와 요구 사항을 지원하며, 데이터 소스에서 타깃으로 이동할 때 일관된 사용자 권한을 유지합니다. 소스 시스템 액세스 제어 목록(ACL)을 준수하는 Openflow는 소스와 일관된 사용자 권한을 유지합니다. 또한, Snowflake에 쓰기 전에 비정형 파일을 구문 분석하고 사전 처리할 수 있는 내장형 기능이 포함되어 있으며, 모든 Snowflake Cortex AI 기능을 단일 플랫폼에서 네이티브로 활용할 수 있습니다. 

• 데이터 자산 전반에 걸친 하이브리드 배포 Openflow는 Snowflake의 관리형 인프라 또는 BYOC를 통해 파이프라인을 배포할 수 있는 유연성을 제공합니다. 이에 따라 고객은 파이프라인 실행 위치에 대한 완전한 제어가 가능합니다. 또한 이 두가지 옵션은 모두 관리형 서비스이므로 운영 부담을 덜어줍니다. 이제 고객은 더 이상 사용 편의성이나 제어 권한을 희생할 필요가 없습니다. 

• 대량 처리, 저지연 스트리밍 데이터: Openflow는 Apache Kafka, Amazon Kinesis, Kafka Sink 등의 스트리밍 소스로 직접 연결하여, 스트리밍 데이터가 Snowflake로 유입되게 하고 다시 스트리밍 시스템으로 이동할 수 있도록 지원합니다. Snowpipe Streaming과 Openflow의 새로운 통합(미리보기 단계) 덕분에 스트리밍 수집은 이제 5초 이내 쿼리 지연 시간, 인라인 변환 및 10GB/s의 처리량을 제공합니다. 

• 개방형 아키텍처 촉진: 레거시 데이터 플랫폼은 통합 서비스를 제공할 수 있지만, 대개 블랙박스 방식으로 공급업체 종속이 요구됩니다. 이런 경우, 데이터 통합 파이프라인을 확장하거나 다른 데이터 플랫폼과 연동하기가 어렵습니다. 반면에 Openflow는 상호 연결성을 중심으로 설계되어 상호운용 가능한 개방형 아키텍처를 지원합니다. 사용자는 데이터를 원하는 데이터 레이크 및 레이크하우스로 이동하고 Apache Iceberg와 같은 새로운 산업 표준에도 쉽게 적응할 수 있습니다. 

Openflow는 수백 개의 기본 제공 커넥터와 쉽게 확장 가능한 사용자 정의 기능을 통해 자유로운 데이터 이동을 지원하여, 다양한 데이터를 단일 플랫폼으로 통합하는 과정을 간소화합니다. Openflow가 지원하는 광범위한 데이터 소스로는 Box, Google Ads, Microsoft Dataverse, Microsoft SharePoint, Oracle, Proofpoint, Salesforce, ServiceNow, Slack, Workday, Zendesk 등이 있습니다. 특히, Snowflake는 Oracle 데이터베이스에서 Snowflake로 변경 데이터 캡처(CDC)를 복제하기 위해, Oracle과 협력하여 확장 가능하며 비용 효율적인 고성능 솔루션을 구축하고 있습니다.  

Openflow는 상호운용성 및 확장성을 중심으로 구축되어 모든 사용 사례, 특히 AI를 지원하는 사용 사례와 함께 성장할 준비가 되어 있습니다. 마지막으로, Openflow는 단순성, 제어 기능, 옵저버빌리티, 엔터프라이즈급 보안 및 거버넌스 기능을 갖추고 있습니다.

Workwave의 데이터 및 분석 부문 SVP 및 GM인 David Libesman은 이렇게 말했습니다. “저희 목표는 고객에게 원활한 데이터 중심 경험을 제공하는 것이며, Snowflake Openflow는 이를 실현하는 데 근본적인 토대입니다. 특히 저희는 수백 개의 SQL Server 데이터베이스를 가지고 있는데, Openflow는 여러 클라우드와 리전 간의 데이터 복제를 용이하게 해줄 것입니다. 또한 Openflow가 AI에 무엇을 제공할 수 있을지, 그리고 미래를 준비하는 데 어떤 역할을 해줄지에 대해서도 기대가 됩니다. Openflow는 한마디로, 차세대 제품과 서비스를 지원하는 ETL 솔루션이 될 것입니다."

Snowflake의 혁신적인 파트너들이 Openflow의 강력한 기능을 활용할 채비를 마치면서 앞으로 펼쳐질 무한한 가능성에 전율이 느껴집니다. 전 세계 30곳 이상의 출시 파트너와 함께 광범위한 생태계에 대한 기대감을 함께 나누게 되어 무척 자랑스럽게 생각합니다. Snowflake와 파트너들은 Openflow가 고객에게 가져다줄 엄청난 기회와 가치를 제공할 준비가 되어 있습니다. 

지금 바로 Snowflake Openflow를 시작해 보세요

Snowflake는 전 세계의 구현 파트너와 협력하여 고객들이 Snowflake Openflow를 원활하게 시작하고 운영할 수 있도록 지원하고 있습니다.

Snowflake Openflow에 대해 자세히 알아보거나 지금 바로 체험해 보세요. 더 많은 데모와 Openflow에 대한 보다 자세한 정보는 2025년 7월 29일에 열리는 Data Engineering Connect 이벤트에서 만나보실 수 있습니다. 관심 있으신 분은 여기에서 신청하세요. 

미래 전망 진술

이 페이지에는 당사의 향후 제품 제공에 대한 미래 전망 진술이 포함되어 있으며, 이는 제품 제공에 대한 보장이 아닙니다. 실제 결과 및 제공 내용은 다를 수 있으며, 알려지거나 알려지지 않은 위험 및 불확실성에 영향을 받을 수 있습니다. 자세한 내용은 최신 10-Q를 참조하세요.