근본 원리에서 출발한 Snowflake: 그 핵심 아이디어와 앞으로의 방향

Snowflake를 공동 설립한 팀의 일원으로서, 10여 년 전 우리가 구상했던 비전이 이제 에이전틱 엔터프라이즈의 기반으로 자리 잡았다는 사실은 매우 인상적입니다. 2016년, 우리는 클라우드에서 기술과 데이터 세계가 어떻게 변화할 수 있는지에 대한 대담한 비전을 담은 논문을 발표했습니다. 10년이 지난 지금, 이 연구가 2026년 SIGMOD Test-of-Time Award를 받게 되어 영광입니다. 이를 통해 해당 논문을 다시 돌아보고 당시의 설계 철학이 오늘날의 Snowflake를 어떻게 어떻게 만들어왔는지와 앞으로의 방향을 되짚어볼 수 있게 되었습니다.

논문에서 우리는 Snowflake의 탄생을 이끈 세 가지 핵심 원칙을 제시했습니다.

• 모든 데이터를 하나로 통합하기: 우리는 정형 데이터(전통적인 데이터 웨어하우스)와 Hadoop 등 빅데이터 환경의 페타바이트 규모 반정형 데이터를 단일 플랫폼에 통합하고, SQL 중심 설계, 트랜잭션 무결성, 실시간 액세스라는 핵심 데이터베이스 원칙을 유지하면서 원활한 분석을 가능하게 하는 플랫폼을 구축하고자 했습니다.

• 클라우드의 탄력성과 확장성 활용: 온디맨드 컴퓨팅과 사실상 무제한에 가까운 확장성을 활용해, Snowflake는 모든 데이터와 워크로드를 처리할 수 있었고, 전통적인 데이터 사일로를 근본적으로 제거할 수 있었습니다.

• 단순성과 사용성 강화: 완전 관리형 클라우드 서비스로 제공함으로써 데이터 인프라 운영의 복잡성을 제거하고, 사용자가 유지 보수가 아닌 인사이트에 집중할 수 있는 환경을 구현하는 데 중점을 두었습니다.

2012년 Snowflake를 창립했을 당시 이러한 아이디어는 대담한 시도였지만, 이후 수년간 이어진 혁신과 기술 발전의 토대를 마련했습니다.

데이터 플랫폼을 다시 정의한 전환점

2012년 우리는 데이터 플랫폼 아키텍처를 처음부터 다시 설계하는 것에서 출발했습니다.

기존 시스템은 클라우드 환경에서는 더 이상 타당하지 않은 가정들에 의해 제약을 받고 있었습니다. 당시 소프트웨어는 구동되는 하드웨어에 종속되어 있었고, 컴퓨팅과 스토리지를 긴밀하게 결합한 구조는 성능, 동시성, 비용 간의 트레이드오프를 초래했습니다. 클라우드 아키텍처는 이러한 제약에서 벗어날 수 있는 길을 열었습니다.

당시 Snowflake는 컴퓨팅과 스토리지를 완전하게 분리하는 전략적 결정을 내렸습니다.

이는 단순한 아키텍처 선택을 넘어선 것이었습니다. 수십 년 동안 데이터 시스템을 규정해 온 트레이드오프를 근본적으로 제거한 결정이었습니다. 컴퓨팅과 스토리지를 분리함으로써 리소스 경합이 제약 요인으로 작용하지 않도록 했습니다. 컴퓨팅은 독립적으로 확장할 수 있고, 격리된 상태를 유지하며, 동일한 데이터에 대해 여러 워크로드가 동시에 간섭 없이 실행되도록 지원할 수 있습니다. 이전에는 제약이었던 것이 순식간에 경쟁 우위로 전환된 것입니다.

또한 설계 초기부터 클라우드 네이티브로 구축하고, 클라우드 오브젝트 스토리지를 그 기반으로 삼았습니다. JSON과 같은 반정형 데이터 형식의 중요성이 커지면서, 제한적인 지원으로는 비효율이 지속된다는 점이 명확해졌습니다. SQL을 통해 이러한 데이터에 완전히 접근할 수 있도록 하는 것은 단순한 유연성을 넘어 더 많은 사람이 데이터를 활용할 수 있도록 범위를 확장하는 데 필수적이었습니다. 이는 결국 의미 있는 방식으로 접근성을 민주화하는 것이었습니다.

마지막으로 우리는 온디맨드로 확장되는 탄력적이고 독립적인 컴퓨팅 클러스터인 가상 웨어하우스를 도입했고, 이는 전체 모델을 완전히 바꾸어 놓았습니다. 팀이 고정된 인프라에 맞춰 워크로드를 설계하는 대신, 이제는 인프라가 비즈니스 요구에 맞춰 실시간으로 적응할 수 있게 된 것입니다.

공동 창립자인 Thierry Cruanes는 자주 이렇게 말하곤 했습니다. “시스템은 워크로드에 적응해야 하며, 그 반대가 되어서는 안 됩니다.”

이는 단순한 최적화가 아니라 시스템을 규정하는 아키텍처적 결정이었습니다.

아키텍처를 성과로 전환하기

아이디어는 쉬운 부분입니다. 어려운 것은 실행입니다.

초기에는 단순히 플랫폼을 구축하는 것뿐만 아니라, 그것이 왜 중요한지 시장이 이해하도록 돕는 것이 과제였습니다. 많은 사용자들은 고정 용량을 기준으로 시스템을 튜닝하고 리소스 경합을 불가피한 요소로 관리하는 데 익숙했지만, Snowflake는 이러한 제약이 기존 설계의 한계에서 비롯된 것이라고 보았습니다.

우리의 접근 방식을 입증하려면 일관성이 필요했습니다. 

• 성능은 예측 가능해야 했습니다 

• 확장은 자동으로 작동해야 했습니다 

• 사용자는 시스템을 신뢰할 수 있어야 했습니다

그리고 모든 것이 사용하기 쉽게 느껴져야 했습니다. 기능은 언제든 추가할 수 있지만, 복잡성을 제거하려면 규율이 필요합니다. 결국 단순성에 대한 과감한 집중이 Snowflake 시스템의 접근성을 높였고, 이는 폭넓은 채택으로 이어졌습니다.

시간이 지나면서 고객의 사용 방식은 진화했습니다. 리포팅과 분석에서 시작해 데이터 공유, 협업, 지속적 파이프라인, 머신러닝, AI 워크로드로 확장되었습니다. 처음에 분석 워크로드를 위해 Snowflake를 사용하던 조직들은 이제는 2016년에 제시된 아키텍처와 원칙을 기반으로 플랫폼 위에서 직접 애플리케이션을 구축하고 있습니다.

에이전틱 엔터프라이즈를 구동하는 기반  

AI가 모든 비즈니스에 내재되면서, 다음 아키텍처 전환점인 에이전틱 엔터프라이즈 시대로 진입하고 있습니다.

지난 10년 동안 Snowflake는 조직이 단일 플랫폼에서 데이터를 하나로 통합할 수 있도록 지원해 왔습니다.

한때는 파격적으로 여겨졌던 Snowflake의 아키텍처 결정들이 이제는 업계 전반에서 표준적인 요구 사항으로 자리 잡았습니다. 컴퓨팅과 스토리지의 분리, 탄력적 확장, 반정형 데이터에 대한 네이티브 지원은 더 이상 차별화 요소가 아니라 현대 시스템의 기본 요구 사항입니다. 

미션은 계속됩니다. 이제 시스템은 더 복잡한 작업을 수행하며, 데이터 플랫폼의 역할도 확장되었습니다. 안전한 데이터 공유를 지원하고, 애플리케이션을 구동하며, 더 이상 데이터 저장과 질의에만 국한되지 않는 점점 더 지능적인 시스템의 기반 역할을 합니다.

오늘날 데이터는 중심에 있습니다. 기업들은 데이터의 전체 가치를 극대화하는 데 집중하고 있으며, AI는 데이터가 활용되고, 접근되며, 실행으로 이어지는 방식을 가속화하고 있습니다. 

AI 에이전트는 이미 고객 지원, 재무, 영업 및 운영 전반에 걸쳐 배포되고 있습니다. 도입이 가속화되면서 익숙한 과제가 다시 나타나고 있습니다. 이러한 시스템은 대개 사일로 형태로 구축되어 공유 컨텍스트, 일관된 거버넌스 및 조정 메커니즘 없이 운영되며, 그 결과 분절화, 신뢰도 저하 및 영향력 제한으로 이어집니다.

이러한 과제들이 다음으로 해결해야 할 장벽입니다.

오늘날 기업에는 새로운 아키텍처 계층이 필요합니다. 즉, 인텔리전스를 엔터프라이즈 데이터에 연결하고, 공유된 맥락을 제공하며, 거버넌스를 적용하고, 시스템 전반의 행동을 조율하는 제어 영역이 필요합니다.

여러 측면에서 이는 Snowflake가 초기부터 설계하고자 했던 방향이 자연스럽게 진화한 결과라고 볼 수 있습니다. 자율 시스템 환경에서는 데이터가 단일 진실 공급원으로서 갖는 중요성이 더욱 커지고 있습니다. 이제 중요한 것은 단순히 컴퓨팅과 스토리지를 분리하는 일이 아닙니다. 핵심은 데이터, 인텔리전스, 행동을 조율된 방식으로 연결하는 데 있습니다.

다음 단계는 에이전틱 엔터프라이즈를 현실로 구현하고, 데이터, 인텔리전스 및 실행을 엔터프라이즈 규모에서 원활하게 연결하는 것입니다.

이러한 결과는 단일 아이디어나 특정 팀 하나에 의해 만들어진 것이 아닙니다.

이번 수상은 엔지니어링, 제품, 시장 진출 교차 기능 팀의 장기간에 걸친 노력과, 시스템을 꾸준히 새로운 방향으로 진화시켜 온 고객과의 협업이 반영된 결과입니다.

처음부터 고객 중심성은 Snowflake의 핵심 가치였으며, 앞으로도 그 방향을 이끄는 원칙이 될 것입니다. 고객은 더 쉽게 사용하고 더 효율적으로 운영할 수 있는 시스템을 어떻게 구축할지를 결정합니다. Snowflake는 이를 바탕으로 데이터에서 탁월한 가치를 이끌어내 고객의 성공을 지원합니다.

이번 작업에 핵심적으로 기여했고 이번 수상에서도 함께 인정받은 뛰어난 공동 저자들을 언급하지 않는다면 온당하지 않을 것입니다. Vadim Antonov, Artin Avanes, Jon Bock, Jonathan Claybaugh, Daniel Engovatov, Martin Hentschel, Jiansheng Huang, Allison W. Lee, Ashish Motivala, Abdul Q. Munir, Steven Pelley, Peter Povinec, Greg Rahn, Spyridon Triantafyllis, Phillipp Unterbrunner, Marcin Zukowski. 협업에 감사드립니다. 

지난 10년을 돌아보면, 세상이 변했다는 점은 분명합니다. AI는 가능성의 범위를 재정의하고, 구축과 운영 방식 전반을 재편하고 있습니다. 환경은 계속 진화하고 있지만, 혁신과 고객에 대한 우리의 약속은 변함이 없습니다. 앞으로 펼쳐질 미래가 그 어느 때보다 기대됩니다.