엔터프라이즈 데이터 통합 간소화: Snowflake Openflow의 BYOC 배포 자세히 알아보기

기업들은 분석, 머신러닝, 검색 등 어떤 방식을 통해서든 가치 있는 데이터 기반 인사이트를 도출하기 위해 방대한 양의 정보를 관리할 수 있는 더 나은 방법을 끊임없이 모색합니다. 그러나 이는 말처럼 쉬운 일이 아닙니다. 실제로는 복잡한 통합 파이프라인을 구축하고 유지 관리도 해야 하는데, 비용이 많이 드는 것은 물론이고 순식간에 번거로워집니다. 

적용 가능하고 확장 가능하며, 동시에 관리 및 제어가 쉬운 데이터 통합 서비스는 그저 꿈만 같은 일처럼 느껴질 수도 있겠지만, 이제 Snowflake Openflow를 통해 그 꿈을 실현할 수 있게 되었습니다. Openflow는 두 가지 배포 옵션을 제공합니다. 바로 Snowflake 호스팅과 고객 호스팅입니다. 고객 자체 클라우드(Bring Your Own Cloud, BYOC) 배포를 기반으로 하는 고객 호스팅 옵션은 이제 모든 AWS 상용 리전에서 사용할 수 있습니다. 이러한 배포 옵션을 통해 Openflow는 운영 단순성을 유지하면서 개인정보 보호나 보안을 침해하지 않고 고객 데이터가 어디에 있든 데이터 흐름을 실행 수 있는 유연성을 제공합니다.

이 블로그 게시물은 2부로 구성된 블로그 시리즈의 첫 번째 편으로, BYOC의 정의, 팀에 제공하는 이점 그리고 사용하는 시점에 대해 자세히 살펴보겠습니다. 그리고 다음 편에서는 고객 호스팅과 Snowflake 호스팅 옵션에 대해 설명해 드리도록 하겠습니다. 

BYOC의 장점

데이터 이동 및 네트워킹 경우 기업은 일반적으로 두 가지 유형의 배포, 즉 완전 관리형 SaaS 옵션 또는 자체 호스팅 대안 중에 선택해야 하며, 각 방식은 저마다 장단점이 있습니다. 관리형 SaaS 솔루션은 설정 및 유지 관리가 쉽지만 유연성이 부족한 경우가 많은 반면 자체 호스팅은 더 많은 제어와 사용자 설정을 구현할 수 있지만, 초기 단계에서 훨씬 더 많은 작업이 필요합니다. 

그러나 BYOC 옵션은 각 방식의 이점이 적절히 균형 잡힌 이른바 ‘골디락스 솔루션'이라고 해도 과언이 아닙니다.즉, 편리하고 확장 가능할 뿐만 아니라 유연성과 제어 기능도 제공합니다. 기업들은 BYOC를 통해 기존에 사용하고 있는 클라우드 인프라에서 관리형 서비스 경험을 누릴 수 있습니다. 조직의 클라우드 환경이라는 안전한 경계 내에서 퍼블릭 시스템과 프라이빗 시스템을 안전하게 연결하고 민감한 데이터의 전처리를 로컬에서 수행할 수 있습니다. 대기업의 경우 BYOC는 기존 클라우드 인프라 계약에서 받을 수 있는 우대 요금 책정을 활용할 수 있는 기회를 제공하기 때문에 수익 개선에 도움이 됩니다. BYOC 모델은 바로 이러한 이유 등으로 인해 최근 인기를 얻고 있습니다.

데이터 흐름의 유연성

Snowflake Openflow의 BYOC 배포는 고객의 데이터가 있는 곳에서 고객의 요구를 충족하도록 설계되었습니다. 이는 데이터 주권을 보호하고 다양한 시스템 전반의 연속성을 유지하면서도 정교한 데이터 엔지니어링 기능을 제공합니다. Snowflake는 BYOC를 통해 고객 인프라애 호스팅되는 Openflow 배포 및 런타임 관리라는 번거로운 작업을 처리합니다. Snowflake는 단일 관리 창을 통해 파이프라인의 옵저버빌리티나 오케스트레이션 같은 측면을 간소화하여사용 편의성과 유연성을 결합합니다.

Snowflake BYOC 배포를 통해 다음을 관리할 수 있습니다.

• 설치 복잡성: 특정 클라우드 환경의 세부 사항을 이해한 다음 클라우드 플랫폼 팀과 쉽게 공유할 수 있는 코드형 인프라(IaC) 자산을 생성하여 배포를 크게 간소화합니다. 

• 통합 옵저버빌리티: 상세한 DAG 뷰 및 계보를 통해 통합 파이프라인을 시각적으로 파악하도록 지원합니다. 

• 보안: 인증, 세분화된 권한 부여, 전송 중 암호화, 비밀 관리, AWS PrivateLink 및 Tri-Secret Secure 등 고급 보안 기능을 제공합니다. 

하지만 Openflow BYOC 배포의 가장 큰 이점은 Snowflake가 제공하는 유연성입니다. 이를 통해 기업은 기존 아키텍처 및 네트워크 설계에 가장 적합한 방식으로 파이프라인을 안전하게 배포할 수 있습니다. 또한, 기업의 니즈에 따라 새로운 인프라나 기존 인프라를 자유롭게 사용하여 모든 소스에서 모든 대상으로 데이터를 이동할 수 있습니다. Openflow는 데이터가 경직되고 정해진 경로를 따르도록 강요하거나, 매번 복잡하고 비용이 많이 드는 해법을 찾을 필요가 없는, 강력하면서도 유연한 파이프라인을 구축하도록 설계되었습니다. 

보안 모델 및 필요한 권한부터 가이드 배포 마법사에서 제공하는 유연한 네트워킹 옵션에 이르기까지 BYOC 배포에 필요한 사항에 대한 자세한 설명은 Openflow 설명서를 참조하세요.

어디서나 가능한 Openflow

Snowflake는 기업이 중요한 데이터 시스템과 가까운 곳에서 데이터 흐름을 실행해야 한다고 믿습니다. 데이터가 어디에 있는 상관없이 말이죠. Openflow는 Snowflake 내에서 완전 관리형으로 실행되든(Snowpark Container Service를 통해), 아니면 기업이 외부 관리형 Apache Iceberg^TM 테이블에 데이터를 기록하도록 돕든 상관없이 사용자의 선택 권한을 부여합니다. 

데이터 엔지니어는 Openflow를 통해 유연한 컴퓨팅을 배포함으로써 런타임(웨어하우스와 유사한 컴퓨팅 클러스터)을 셀프서비스 방식으로 프로비저닝할 수 있습니다. 이러한 런타임은 흐름 작성(flow authorship)을 위한 UI와 흐름 실행에 필요한 컴퓨팅을 모두 내장하고 있습니다. 따라서 데이터 유형이 무엇이든(정형, 비정형, 배치, 스트리밍 등) 상관없이 Openflow는 조직이 데이터 수집 아키텍처를 현대화하는 데 필요한 모든 것을 제공합니다. Openflow는 엔터프라이즈 AI의 핵심 열쇠를 쥐고 있으며, 원활한 ETL을 지원하고 Snowflake 내부와 외부에서 데이터 이동을 완전히 혁신합니다.

Openflow의 BYOC 배포를 시작하려면 시작 가이드를 참조하십시오. 

아울러, 7월 29일에 열리는 Data Engineering Connect: ZeroOps를 활용한 데이터 파이프라인 워크플로우 간소화 웨비나에도 참여하여, 데이터 엔지니어가 운영 오버헤드에서 벗어나 가장 중요한 것에 집중할 수 있도록 Snowflake가 파이프라인 자동화를 어떻게 지원하는지 알아보시기 바랍니다.

*현재 AWS 및 Azure에서 PrPr로 제공 중