Blog/AI & ML/데이터 이동의 숨겨진 비용과 이를 없애는 방법
2026년 11월 12일/5분 읽음AI & ML

데이터 이동의 숨겨진 비용과 이를 없애는 방법

아키텍트나 CIO라면 이사회로부터 서로 모순되는 두 가지 지시를 받아본 적이 있을 것입니다.

“올해 안에 AI를 도입하세요.”라는 지시와 “먼저 데이터를 정비하세요. 마이그레이션하세요. 중앙화하세요. 거버넌스를 적용하세요. 그다음에 AI를 도입하세요.”라는 지시입니다. 

보통은 데이터부터 중앙화된 플랫폼으로 옮기기 시작합니다. 하지만 여기서 문제가 생깁니다. 데이터를 옮길 때마다 비용과 위험이 늘어납니다. 최고 경영진이 이 점을 놓치고 있다면 큰 문제입니다.

오랫동안 데이터 이동은 어떤 분석이든 수행하기 위해 치러야 하는 대가였습니다. 데이터를 쿼리하려면 해당 데이터를 보유한 시스템의 독점 컴퓨팅을 거쳐야 했습니다. Oracle에 있는 데이터에는 Oracle이 필요했습니다. Teradata에 있는 데이터에는 Teradata가 필요했습니다. 시스템 간 분석을 하려면 먼저 데이터를 물리적으로 한곳에 모아야 했기 때문에 중앙화는 AI를 포함한 모든 후속 작업의 전제 조건이 됐습니다.

이런 순서는 10~20년 전에는 타당했지만 더 이상 기술적 필수 조건이 아닙니다.

시퀀스를 뛰어넘는 AI(Break the Sequence)는 지난 몇 년간의 아키텍처 변화로 현대화를 별도로 진행하면서 현재 보유한 데이터로 AI를 도입할 수 있게 된 이유를 설명하는 자료입니다.

데이터 활용의 경제성을 바꾼 개방형 형식

오픈 테이블 형식, 그중에서도 Apache Iceberg™는 데이터와 이를 저장하는 시스템 사이의 종속성을 깨뜨렸습니다. 호환되는 모든 컴퓨팅 엔진이 Iceberg 형식의 데이터를 읽을 수 있어 스토리지와 컴퓨팅이 분리됩니다.

Iceberg는 기술 간 상호 운용성을 크게 확대했습니다. Salesforce, SAP, Workday에서 데이터 제품을 게시하고, 복사나 복잡한 파이프라인 구축 없이 그때 사용하는 기술에서 이를 활용할 수 있습니다.

운영 데이터가 전사적 자원 관리(ERP) 시스템과 수많은 다른 시스템에 분산된 제조 기업은 이제 이러한 소스를 하나의 통합 자산으로 쿼리할 수 있습니다. 고객 관계 관리(CRM) 시스템의 고객 데이터, 판매 시점 관리 시스템의 거래 데이터, 공급망 플랫폼의 재고 데이터를 보유한 리테일 기업에도 마찬가지입니다. 데이터는 원래 위치에 그대로 남습니다. AI 워크로드는 데이터가 있는 곳에서 실행됩니다.

이것이 바로 도약 전략의 실제 모습입니다. 현대화를 별도로 진행하면서 현재 보유한 데이터로 AI를 도입할 수 있습니다. 기존 투자를 포기하지 않고도 AI와 마이그레이션 일정을 각각 독립적으로 진행할 수 있습니다.

개방형 형식이므로 데이터의 소유권은 온전히 조직에 남습니다. Iceberg 테이블은 조직의 클라우드 스토리지에 Parquet 파일로 저장할 수 있으며, 다른 Iceberg 호환 엔진에서도 읽을 수 있습니다. 양방향 읽기와 쓰기가 가능하므로 데이터를 중복 저장하지 않고도 활용할 수 있습니다.

데이터와 함께 적용되는 거버넌스

기존 모델에서는 거버넌스가 데이터 위치에 종속됐습니다. 일관된 거버넌스를 적용하려면 먼저 데이터를 중앙화해야 했으므로, 거버넌스 요구 사항 하나하나가 마이그레이션을 먼저 끝내야 할 이유가 되었습니다.

이러한 종속성도 해소되었습니다. Snowflake Horizon Catalog는 플랫폼 안팎의 데이터, 데이터 제품, 앱, 모델, 에이전트 및 기타 자산에 동일한 정책을 적용합니다. Snowflake를 통해 액세스하는 데이터에는 위치에 관계없이 세분화된 역할 기반 액세스 제어, 마스킹 및 행 액세스 정책, 컬럼 수준 계보와 액세스 기록 등 동일한 거버넌스가 적용됩니다.

이제 Horizon Catalog는 Snowflake의 행 액세스 및 마스킹 정책을 Apache Spark, Trino, PyIceberg 같은 외부 엔진까지 확장하는 기능을 퍼블릭 프리뷰로 제공합니다. Horizon은 각 스캔을 계획할 때 정책을 적용하므로 엔진은 사용자가 볼 수 있는 데이터만 받으며, 각 작업은 Snowflake의 액세스 기록에 저장됩니다.

Horizon이 이러한 정책을 중앙에서 적용하므로, 분석가든 비즈니스 인텔리전스(BI) 도구든 AI 에이전트든 모든 호출자에게 정책이 자동으로 적용됩니다.

AI에 더 엄격한 제어가 필요할 때 Snowflake의 Agent identity 기능을 사용하면 관리자가 에이전트를 호출한 사용자와 별개로 에이전트가 액세스할 수 있는 데이터를 정의할 수 있습니다. 마스킹 및 행 액세스 정책은 에이전트 세션을 직접 대상으로 지정할 수도 있습니다. 작업에는 사용자와 이를 수행한 에이전트가 함께 기록되므로, 규정 준수 팀은 AI가 언제 무엇에 액세스했는지 감사 추적을 확보할 수 있습니다.

유럽 기업의 입장에서 이러한 거버넌스는 그저 사소한 규정 준수 항목이 아닙니다. 아키텍처의 근간입니다. GDPR, 데이터 레지던시 요구 사항, EU AI법에 따라 데이터를 어디에 둘지, 누가 액세스할 수 있는지, AI 의사 결정을 어떻게 감사할지는 이제 설계 단계에서 선택하고 책임져야 할 중대 사안이 되었습니다.

데이터가 있는 곳에서 거버넌스를 적용하도록 설계된 아키텍처는 정책을 일관되게 적용하고 데이터 계보를 처음부터 끝까지 추적할 수 있어, 단일 리전이나 시스템으로 강제 통합하지 않고도 조직이 이러한 요건을 충족하도록 지원할 수 있습니다.

아키텍처 구성

Snowflake를 사용하면 데이터를 현재 위치에서 바로 활용할 수 있습니다. 컴퓨팅, 카탈로그, 스토리지를 아우르는 단일 거버넌스 계층을 통해, 리플랫폼 이후가 아니라 현재 데이터로 바로 AI를 실행할 수 있습니다. 이것이 바로 도약 전략의 실제 모습입니다. 즉, AI 일정과 마이그레이션 일정이 서로 분리됩니다.

컴퓨팅 및 AI: Snowflake든 외부 엔진이든 가장 적합한 곳에서 워크로드를 실행합니다.

카탈로그: 개방형 데이터와 Snowflake 관리형 데이터 전반에 단일 거버넌스 계층을 적용합니다.

데이터 및 스토리지: 데이터를 먼저 복사할 필요 없이 원래 위치에서 바로 쿼리합니다.

에이전틱 컨트롤 플레인: 에이전트도 다른 모든 요소와 동일한 거버넌스 경계 안에서 작동합니다.

Snowflake Horizon Catalog Architecture

글로벌 IT 자산 연결

AI, 디지털 비즈니스 및 기술 서비스 분야의 글로벌 선도 기업인 NTT DATA는 세계에서 가장 크고 복잡한 기술 환경 중 하나를 운영하며 모든 주요 산업의 고객에게 서비스를 제공합니다. 하지만 수십 년간 축적된 여러 시스템에 데이터가 흩어져 있는 상황에서, 필요한 것은 더 많은 투자가 아니라 수년이 걸리는 통합 프로그램을 또다시 착수하지 않고도 기존 투자를 연계해 제대로 활용하는 방법이었습니다.

“Snowflake와의 파트너십은 단순히 더 많은 데이터를 새로운 플랫폼에 옮기는 것 이상의 의미가 있습니다. 복잡한 글로벌 기술 환경 전반에서 데이터에 더 쉽게 액세스하고, 거버넌스를 적용하고, 활용할 수 있게 만드는 것이 핵심입니다. 이를 통해 NTT DATA는 AI와 혁신, 트랜스포메이션을 뒷받침하는 고성능의 민첩한 데이터 기반을 구축하고 있습니다. 동시에 복잡성을 더하지 않고도 기술 환경을 발전시켜 나갈 수 있는 유연성을 유지하고 있습니다.”

Nick Cheesman
CIO, NTT DATA, Inc.

무질서한 AI 도입 방지

아키텍처 없는 속도전은 도시 계획 없이 건설된 도시처럼 그 자체로 문제를 일으킵니다.

무언가를 서둘러 제공하려다 보면 조직에 각종 AI 도구가 무질서하게 도입될 수 있습니다. 그 결과 솔루션이 파편화되고 산출물이 일관성을 잃어 AI 결과에 대한 신뢰가 약화됩니다. 해답은 기존 거버넌스 프레임워크가 아직 완성되지 않았더라도 첫날부터 그 안에서 AI 워크로드를 구축하는 것입니다. 새로운 사용 사례는 데이터 전략과 아키텍처를 발전시키는 데 필요한 인사이트를 제공하는 시험대가 됩니다.

현대화는 여전히 중요하며 AI는 이를 가속화하는 데 도움이 될 수 있습니다. AI가 많은 수고가 드는 작업을 처리하면 마이그레이션 속도를 높일 수 있습니다. AI는 현대화의 결과물이자 현대화를 진전시키는 도구가 될 수 있습니다.

시작하는 방법

데이터 환경은 결코 완성되지 않으므로, 데이터가 언제 준비될지 묻는 대신 한 분기를 더 기다리는 데 드는 비용이 얼마인지 물어야 합니다. 실질적인 출발점은 범위를 좁힌 파일럿 프로젝트입니다. 가치를 빠르게 입증하고 더 나아갈 수 있도록 조직 내 신뢰를 쌓을 수 있는 사용 사례에 우선순위를 두세요.

‘Break the Sequence’는 도약 전략을 뒷받침하는 아키텍처를 더 깊이 있게 살펴봅니다. AI 워크로드와 현대화가 거버넌스가 적용된 단일 개방형 기반을 공유해 오늘의 작업을 나중에 완료할 작업과 연결하는 방법도 설명합니다. eBook 다운로드

eBook

시퀀스를 뛰어넘는 AI

완벽한 데이터 자산 환경을 기다리지 않고 AI와 현대화를 병행하기 위한 플레이북 전체를 확인해 보세요.
이 게시물 공유하기

Subscribe to our blog newsletter

Get the best, coolest and latest delivered to your inbox each week