모든 엔터프라이즈는 두 개의 세계에서 운영됩니다. 한쪽에서는 앱이 주문을 처리하고, 이벤트를 추적하며, 고객에게 실시간으로 서비스를 제공합니다. 다른 한쪽에서는 분석 플랫폼이 인사이트를 도출하고, 모델을 학습시키며, AI를 구동합니다. 그리고 이 두 환경 사이에는 ETL 파이프라인, 배치 작업, 서드 파티 도구가 복잡하게 얽혀 있으며, 이를 유지하는 데 상당한 비용과 노력이 필요합니다.
하지만 이제 Snowflake Postgres가 그 간극을 해소합니다. Snowflake Summit에서는 다음과 같은 새로운 기능이 발표됐습니다.
데이터 미러링: Postgres와 Snowflake 간 상시 복제 기능(퍼블릭 프리뷰 예정)
데이터 레이크용 Postgres: Iceberg와 같은 개방형 형식을 활용해 Postgres와 분석 환경을 더욱 유연하게 동기화하는 방식(GA 예정)
이 기능들은 복잡한 파이프라인 없이도 트랜잭션 데이터와 분석 데이터 간의 원활한 연결을 제공합니다.
인프라의 최대 난제 해결
고객들은 온라인 트랜잭션 처리(OLTP) 데이터베이스와 온라인 분석 처리(OLAP) 데이터베이스 간 데이터 이동이 데이터 자산 환경에서 가장 고통스러운 인프라 작업이라고 일관되게 이야기합니다. ETL 라이선스 비용, 파이프라인 컴퓨팅 비용, 커넥터 사용료처럼 눈에 보이는 비용은 빙산의 일각에 불과합니다. 그 이면에는 데이터 불일치, 거버넌스 리스크, 유지 보수에 소모되는 엔지니어링 리소스, 그리고 최신성이 떨어지는 데이터로 인해 발생하는 의사 결정 지연이 숨어 있습니다.
AI 에이전트와 실시간 애플리케이션 시대에는 이러한 접근 방식이 기업을 항상 한 발 뒤처지게 만듭니다. 전날 밤 배치 처리된 데이터만으로는 오늘의 위협을 탐지할 수 없으며 6시간 전 데이터로는 가격 최적화 엔진이 효과적으로 작동할 수 없습니다.
Snowflake Postgres는 Postgres와 Snowflake를 함께 활용하는 방식을 근본적으로 바꾸고, 훨씬 단순한 접근 방식을 제공합니다.
데이터를 연결하는 두 가지 새로운 방식: 상시 데이터 미러링과 개방형 형식 데이터 레이크 통합
오픈소스 pg_lake 확장을 기반으로 이제 사용자는 상시 데이터 미러링과 유연한 개방형 형식 데이터 레이크 통합 중 원하는 방식을 선택해 트랜잭션 데이터와 분석 데이터를 원활하게 연결할 수 있습니다.
1. 데이터 미러링: 한 번 설정하면 자동으로 유지되는 데이터 복제
데이터 미러링은 Postgres와 Snowflake 간의 저지연 복제를 제공합니다. 미러를 생성하면 Snowflake는 소스 테이블의 현재 상태를 반영하는 대상 테이블을 자동으로 유지합니다. 여기에는 스키마 변경 사항은 물론, 미러링된 스키마 내에 새로 생성되는 테이블도 포함됩니다.
설정도 간단합니다. Snowflake CoCo, Snowsight UI 또는 단일 SQL 명령을 통해 몇 번의 클릭만으로 구성할 수 있습니다. 그 이후에는 별도의 작업이 필요 없습니다. 데이터가 필요한 곳으로 자동으로 전달됩니다. 자세한 내용은 다음 데모에서 확인해 보세요.
데이터 미러링의 주요 이점은 다음과 같습니다.
별도의 인프라 관리 불필요: 미러는 전적으로 Snowflake 내부에서 실행됩니다. 별도의 CDC 서비스를 배포할 필요도 없고, 커넥터 프로세스를 관리하거나 추가 공급업체를 운영할 필요도 없습니다.
항상 최신 상태의 데이터 조회: 모든 미러링된 테이블에는 이미 적용된 데이터와 진행 중인 변경 사항을 결합하는
$live뷰가 포함됩니다. 따라서 사용자는 커밋된 모든 소스 변경 사항을 수초 내에 확인할 수 있습니다.트랜잭션 일관성: 단일 소스 트랜잭션의 변경 사항은 대상 시스템에도 함께 반영됩니다. 외래 키와 같은 테이블 간 관계가 그대로 유지되므로 다운스트림 조인 작업과 보고서의 정확성이 유지됩니다.
내장형 변경 이력: 모든 미러링 테이블에는 삽입, 업데이트, 삭제 내역을 확인할 수 있는 7일간의 변경 이력 피드(
$changes)가 자동으로 생성되며, Snowflake와 Postgres 양쪽에서 쿼리할 수 있습니다.어떤 규모에서도 높은 처리 성능: 복제는 전체 테이블 스캔과 같은 비용이 큰 작업을 생략하는 최적화된 적용 방식을 사용합니다. 따라서 데이터 규모가 증가하더라도 성능을 안정적으로 유지할 수 있습니다.
데이터 미러링은 데이터 이동 자체를 신경 쓰고 싶지 않은 팀에 특히 유용합니다. 한 번만 설정하면 OLTP와 OLAP 환경이 자동으로, 지속적으로, 그리고 안정적으로 동기화됩니다. 또한 데이터 미러링은 곧 반대 방향으로도 지원될 예정입니다. 올해 말에는 Snowflake-to-Postgres 미러링이 추가되어 트랜잭션 환경과 분석 환경을 완전히 연결하는 진정한 양방향 데이터 브리지가 제공될 예정입니다.
2. 데이터 레이크용 Postgres: 데이터 이동을 위한 만능 도구
모든 사용 사례에 지속적인 동기화가 필요한 것은 아닙니다. 때로는 더 높은 유연성이 필요합니다. 예를 들어 특정 파일만 이동하거나, 공유 가능한 개방형 형식의 테이블을 만들거나, 데이터가 Snowflake로 이동하는 과정에서 변환을 적용해야 할 수 있습니다.
데이터 레이크용 Postgres는 바로 이러한 유연성을 제공합니다.
파일 이동: Snowflake 내부 스테이지 또는 외부 오브젝트 스토리지를 통해 Postgres와 Snowflake 간에 파일을 푸시하고 가져올 수 있습니다.
공유 Apache Iceberg™ 테이블: Postgres와 Snowflake가 모두 읽을 수 있는 개방형 형식의 Iceberg 테이블을 생성합니다. 즉, 두 시스템이 하나의 테이블을 공유하며 데이터 복제는 필요하지 않습니다.
이동 중 데이터 변환: 데이터가 Postgres와 Snowflake 사이를 이동하는 동안 필터, 조인, 집계와 같은 SQL 변환 작업을 적용할 수 있습니다.
이를 통해 개발자는 익숙한 Postgres 사용 경험을 그대로 누리면서 Iceberg, Parquet 같은 개방형 표준과의 네이티브 상호운용성까지 확보할 수 있습니다. 데이터 레이크용 Postgres는 어떤 데이터를 언제, 어떤 방식으로 이동할지에 대해 더 세밀한 제어가 필요한 팀을 위한 기능입니다.
결과: 단일 플랫폼, 제로 파이프라인
이러한 기능을 함께 활용하면 각 워크로드에 가장 적합한 접근 방식을 선택할 수 있습니다.
데이터 미러링 |
데이터 레이크용 Postgres |
|
최적 사용 사례 |
지속적이고 자동화된 동기화 |
유연하고 제어 가능한 이동 |
지연 시간 |
초 단위 |
온디맨드 |
설정 |
단일 명령 또는 몇 번의 클릭 |
SQL + pg_lake + pg_cron(선택 사항) |
방향 |
Postgres → Snowflake(현재 지원) |
오브젝트 스토리지를 통한 양방향 지원 |
형식 |
Snowflake 네이티브 테이블 |
Catalog Integration, 스토리지 통합 또는 스테이지를 통한 Iceberg, Parquet, CSV, JSON |
실제 사례: 이미 파이프라인을 제거하고 있는 기업들
Ericsson: 48시간 지연을 몇 분 단위로 단축
Ericsson의 파운데이션 데이터 팀은 전 세계 모든 고객 네트워크에서 생성되는 소프트웨어, 하드웨어, 라이선스 데이터를 수집합니다. AI 팀부터 고객 지원 조직에 이르기까지 여러 다운스트림 팀이 이 데이터를 활용합니다. 기존에는 데이터가 네 개의 레거시 데이터베이스에 분산되어 있었고, 이를 연결하는 파이프라인은 동기화에 최대 40일이 걸렸습니다.
Ericsson은 Snowflake Postgres로 통합하면서 이러한 파이프라인을 완전히 제거했습니다. 현장 배포 현황을 정확히 파악해야 티켓을 생성할 수 있는 고객 지원 플랫폼은 엔드투엔드 기준으로 각각 48시간과 12시간이었던 데이터 지연 시간과 처리 시간을 모두 1시간 미만으로 단축했습니다. 이제 모든 팀은 Snowflake의 데이터 공유 계층을 통해 신뢰할 수 있는 동일한 데이터에 접근할 수 있습니다.
“Snowflake Postgres는 별도의 데이터 플레인이 필요했던 마지막 이유마저 없애주었습니다. 트랜잭션 워크로드와 분석 워크로드를 하나의 플랫폼으로 통합하면서 네 개의 레거시 데이터베이스를 하나로 통합했고, 데이터 동기화 파이프라인과 서로 다른 데이터 소스, 그리고 추가 인프라를 모두 제거할 수 있었습니다.”
Dean Soc
SimCorp: 데이터 동기화 속도 10배 향상
SimCorp는 세계 유수 금융기관에 투자 소프트웨어를 제공하며, 40년 이상 축적된 방대한 금융 상품 데이터를 관리합니다. 이를 지원하기 위해 SimCorp는 Postgres와 Snowflake 환경을 별도로 운영했고, 두 시스템 간 데이터를 동기화하기 위해 수시간이 소요되는 맞춤형 데이터 정합성 검증 프로세스를 운영해야 했습니다.
하지만 Snowflake Postgres를 도입한 이후 이러한 복잡성은 사라졌습니다. Snowflake Postgres는 별도의 정합성 검증 코드를 필요없게 만들었으며, 운영을 간소화하고 오버헤드를 줄였습니다.
그 효과는 분명했습니다. 거래소 코드를 표준화해 일관된 추적과 보고를 보장하는 SimCorp의 시장 ID 서비스는 동기화 시간을 수 시간에서 20분 미만으로 줄여 성능을 10배 향상시켰습니다. 동시에 투자팀이 시장 리스크를 정량화할 수 있도록 지원하는 미션 크리티컬 리스크 모델과 크레딧 스프레드 곡선 역시 AI와 데이터 공유를 통해 전 세계 고객에게 즉시 제공할 수 있게 되었습니다.
앞으로 SimCorp는 이 기반을 바탕으로 데이터 플랫폼을 통해 Postgres와 Snowflake 간 지능형 로드 밸런싱을 구현할 계획입니다. 이러한 진화는 통합된 트랜잭션 데이터와 분석 데이터를 기반으로 하는 차세대 애플리케이션의 길을 열고 있으며, 더 빠른 인사이트 확보, 향상된 확장성, 그리고 전 세계 고객을 위한 더욱 강력한 성과로 이어질 것입니다.
“초기 테스트 결과, 디스크 작업 성능이 기존 관리형 Postgres 솔루션 대비 최대 10배 향상된 것으로 나타났습니다. 이를 통해 대규모 트랜잭션 업데이트와 복잡한 애플리케이션 워크플로우를 훨씬 더 높은 속도와 안정성으로 지원할 수 있게 되었으며, 이는 매우 큰 도약이라고 생각합니다.”
Mike Willett
Snowflake Postgres가 다른 이유
대부분의 데이터 복제 도구는 데이터베이스와 웨어하우스 사이에 별도 서비스를 끼워 넣는 방식으로 작동합니다. 이 경우 사용자는 추가 시스템을 모니터링해야 하고, 또 다른 공급업체를 관리해야 합니다. 즉, 데이터 이동을 인프라 위에 덧붙인 외부 문제로 취급합니다.
반면 Snowflake Postgres는 데이터 이동을 네이티브 기능으로 제공합니다. 데이터 이동은 Postgres가 오브젝트 스토리지에 직접 데이터를 기록할 수 있도록 지원하는 Snowflake의 오픈소스 Postgres 확장 기능인 pg_lake를 기반으로 합니다. 별도의 중간 계층이 필요하지 않습니다. Postgres와 Snowflake가 네이티브 방식으로 직접 연동되는 것입니다.
이는 다음과 같은 이점으로 이어집니다.
추가 공급업체 없음: 추가로 평가하거나 비용을 지불하고 관리해야 할 공급업체가 없음
추가 인프라 없음: 새롭게 구축하거나 모니터링해야할 인프라가 없음
새로 배울 기술 없음: 오픈 표준 기반의 표준 Postgres와 표준 Snowflake 활용
데이터 지연 없음 : AI 에이전트와 실시간 앱의 성능을 저해하는 데이터 지연이 없음
또한 이미 Snowflake를 사용하고 있는 고객이라면 별도의 계약 없이 기존 약정 금액 범위 내에서 트랜잭션 워크로드를 운영할 수 있습니다.
트랜잭션 데이터와 분석 데이터가 하나로 통합되면 AI와 애플리케이션은 신뢰할 수 있는 최신 데이터를 기반으로 동작할 수 있습니다. 에이전트는 최신 트랜잭션을 준실시간으로 파악합니다. 가격 모델은 최신 데이터를 기반으로 실행됩니다. 사기 감지 시스템은 위협이 발생하는 즉시 탐지할 수 있고, 대시보드는 어제의 데이터가 아닌 현재의 상황을 반영합니다.
지금 시작하기
Postgres에서 Snowflake로의 데이터 미러링 기능은 곧 퍼블릭 프리뷰로 제공될 예정이며, 데이터 레이크용 Postgres는 곧 GA로 제공됩니다. 시작하려면 다음 리소스를 확인하세요.
미래 전망 진술: 본 게시물에는 향후 제품 제공 계획에 관한 미래 예측 진술이 포함되어 있으며, 이는 제품 제공을 보장하거나 약속하는 것이 아닙니다. 실제 결과는 달라질 수 있습니다. 보다 자세한 내용은 최신 10-Q를 참조하세요.
