데이터 프로비넌스 vs. 데이터 리니지: 차이 이해하기

‘데이터 프로비넌스’와 ‘데이터 리니지'라는 용어는 같은 의미처럼 사용되는 경우가 많지만, 실제로는 서로 다른 질문에 답합니다. 데이터 리니지(혹은 데이터 계보)는 데이터가 소스에서 목적지까지 거치는 전체 여정을 설명합니다. 프로비넌스는 데이터의 출처 및 관리 이력을 의미하며 데이터가 생성된 위치, 처리 및 관리 주체, 그리고 데이터의 신뢰성을 뒷받침하는 근거를 추적할 수 있도록 합니다. 계보가 일반적으로 더 기술적이고 운영적인 성격이 강한 반면, 프로비넌스는 거버넌스와 규정 준수에 더 초점을 둡니다.

이 가이드에서는 데이터 프로비넌스와 데이터 리니지의 차이점을 자세히 살펴보고, 이러한 구분이 실제 업무에서 왜 중요한지 설명합니다. 또한 AI 거버넌스로 인해 프로비넌스의 중요성이 더욱 커지고 있는 이유를 설명합니다.

두 개념을 거버넌스, 규정 준수, AI에서 특히 중요한 차원을 기준으로 비교하면 다음과 같습니다.

두 개념을 구분하는 가장 쉬운 방법은 이렇습니다. 리니지는 흐름을, 프로비넌스는 증거를 다룹니다. 작업이 실패하거나 지표가 바뀌거나 마이그레이션의 범위 지정이 진행될 때 엔지니어가 확인하는 것이 계보입니다. 프로비넌스는 단순히 데이터가 어떻게 이동했는지가 아니라, 데이터의 출처와 처리 과정이 의사결정, 감사 또는 모델 릴리스에 요구되는 기준을 충족하는지 여부가 중요할 때 더욱 중요해집니다.

물론 두 개념은 겹치는 부분도 있습니다. 둘 다 시간의 흐름에 따라 데이터에 어떤 일이 일어났는지를 설명합니다. 다만 그 기록을 구성하는 방식이 다릅니다. 리니지는 시스템과 변환을 거치는 경로로 이력을 구성하는 반면, 프로비넌스는 출처, 관리 이력, 컨텍스트 및 신뢰성 신호에 대한 기록으로 이력을 구성합니다.

리니지 그래프는 모델 피처가 궁극적으로 세 개의 업스트림 테이블에서 생성됐음을 보여줄 수 있습니다. 프로비넌스 기록은 해당 테이블이 사용되기 전에 승인된 데이터로 구축됐는지, 허용 가능한 조건에서 수집됐는지, 편향 검토를 거쳤는지, 올바르게 태그 지정이 이루어졌는지를 보여줄 수 있습니다.

이러한 구분이 지금 더욱 중요해진 이유는 AI 시스템이 모호성으로 인한 비용을 증가시키고 있기 때문입니다. McKinsey가 2025년에 실시한 글로벌 설문조사에 따르면, 응답자의 47%가 자신의 조직이 생성형 AI 사용으로 인해 최소 한 건 이상의 부정적인 결과를 경험했다고 답했습니다. 이에 따라 조직들은 AI 관련 문제에 대응하기 위해 AI 거버넌스를 강화하고 위험 관리 및 데이터 거버넌스 기능을 중앙 집중화하고 있습니다. AI가 프로덕션 워크플로우에 도입됨에 따라, 팀은 AI 시스템이 사용하는 데이터에 대해 변환 경로와 신뢰 이력을 모두 확보해야 합니다.

팀은 일반적으로 파이프라인 전반의 종속성을 추적하거나, 데이터가 보고서나 모델에 어떻게 반영되었는지 파악하거나, 스키마, 로직 또는 플랫폼 변경이 다운스트림에 미치는 영향을 평가해야 할 때 계보를 활용합니다. 다음 사용 사례를 살펴보겠습니다.

팀이 소스 테이블을 변경하거나 필드를 폐기하거나 변환을 다시 작성하기 전에, 계보는 해당 결정과 연결된 다운스트림 오브젝트를 보여줍니다. 계보는 오브젝트 간 관계를 이해하고 영향 분석을 지원하는 방법으로, 프로덕션에 반영되기 전에 변경의 영향 범위를 파악하려는 팀에 꼭 필요한 기능입니다.

보고서에 문제가 있을 경우 계보를 통해 데이터 스택을 따라 원인을 역추적할 수 있습니다. 예를 들어 새로 고침이 중단된 업스트림 테이블, 로직이 변경된 뷰 또는 의도하지 않은 영향을 초래한 데이터 형 변환이나 필터를 도입한 변환 작업을 찾을 수 있습니다. 계보는 데이터 이동과 종속성을 모두 캡처하므로, 구체화된 경로와 참조된 오브젝트 양쪽에서 오류를 추적하는 데 유용합니다.

마이그레이션 작업은 종속성이 부분적으로만 파악된 상태에서 리스크가 커집니다. 데이터 웨어하우스 현대화 프로그램, 플랫폼 통합 또는 시맨틱 계층 재설계는 어떤 오브젝트가 어떤 결과물에 데이터를 제공하는지, 그 사이에 어떤 변환이 존재하는지, 그리고 어떤 다운스트림 소비자가 여전히 기존 경로에 의존하고 있는지를 파악하는 데 달려 있습니다. 우수한 계보 솔루션은 여러 플랫폼과 도구 전반의 가시성을 제공하며, 이는 아키텍처가 단일 플랫폼을 넘어 확장될 때 특히 중요합니다.

데이터 이동 경로를 입증해야 하는 컴플라이언스 사례에서도 계보는 중요합니다. 조직이 GDPR 또는 CCPA와 같은 규정을 준수하기 위해 개인 데이터 또는 민감 데이터가 시스템 간에 어떻게 이동하는지 입증해야 하는 경우, 계보는 해당 경로를 추적하고 관리 대상 소스와 연결된 다운스트림 자산을 식별할 수 있는 체계적인 방법을 제공합니다. 이는 데이터의 적법성을 입증하는 것과는 다르지만, 데이터 노출 범위, 전파 경로 및 운영 범위를 이해하는 데 필수적입니다.

자동화된 데이터 계보 추적이 시스템 전반에서 데이터를 어떻게 매핑하고 거버넌스 및 규정 준수를 어떻게 강화하는지 자세히 알아보려면 데이터 리니지 추적: 작동 방식을 읽어보세요.

팀은 데이터 세트의 출처, 생성자 또는 수정자, 적용되는 통제 정책, 그리고 해당 데이터가 감사, 검토 또는 모델 검증을 견딜 수 있는지를 확인해야 할 때 프로비넌스를 활용합니다.

프로비넌스는 데이터가 새로운 용도로 활용될 때마다 중요하지만, 특히 중요한 의사결정에 사용되는 경우 그 중요성이 더욱 커집니다. 프로비넌스는 해당 데이터가 적절한 주체에 의해, 적절한 조건에서, 필요한 동의 또는 승인을 바탕으로 수집되었는지, 그리고 현재의 활용 목적에 사용하기에 적절한지를 판단하는 데 도움을 줍니다. 액세스 이력, 정책 정보 및 상속된 거버넌스 메타데이터는 모두 이러한 판단의 근거를 제공합니다.

바로 이 지점에서 프로비넌스의 중요성이 더욱 커집니다. 책임 있는 AI 프레임워크는 모두 프로비넌스 메타데이터에 의존하며, EU 인공지능법 제10조는 고위험 AI 시스템의 학습, 검증 및 테스트 데이터 세트가 해당 시스템의 의도된 목적에 적합한 데이터 거버넌스 및 데이터 관리 관행의 적용을 받아야 한다고 규정하고 있습니다.

프로비넌스는 EU에만 국한된 이슈가 아닙니다. 다만 EU 인공지능법은 많은 조직의 내부 AI 거버넌스 프로그램이 이미 필요로 하고 있던 사항을 명문화했습니다. 즉, 학습 데이터의 출처와 준비 과정, 그리고 적절한 통제하에 검토되었는지를 입증할 수 있는 근거가 필요하다는 것입니다.

부실한 프로비넌스는 빠르게 실질적인 문제로 이어질 수 있습니다. 팀이 학습 데이터의 출처와 처리 이력을 검증할 수 없으면 모델은 오래되었거나 편향되었거나 품질이 낮거나 부적절하게 수집된 데이터를 기반으로 결과를 생성할 가능성이 높아집니다. 또한 모델이 고객 의사 결정, 내부 승인 절차 또는 규제 대상 비즈니스 프로세스에 영향을 미치기 시작하면, 부실한 프로비넌스는 중대한 위험 요인이 됩니다.

민감한 데이터가 예상치 못한 위치에서 발견되거나 정책 위반 또는 보안 인시던트 발생 시 어떤 일이 있었는지 재구성해야 하는 경우, 프로비넌스는 데이터의 관리 이력을 확립하는 데 도움이 됩니다. 이때 액세스 이력이 유용합니다. 액세스 이력은 규정 준수 감사를 지원하도록 설계된 방식으로 사용자, 쿼리, 액세스된 오브젝트, 수정된 오브젝트, 참조된 정책을 연결하기 때문입니다.

연구, 임상 및 과학 분야에서는 단순한 파이프라인 가시성뿐 아니라 재현 가능성과 방어 가능한 관리 이력이 필요한 경우가 많습니다. 계보 맵은 데이터 세트가 올바른 시스템 순서를 거쳐 이동했음을 보여줄 수 있습니다. 반면 프로비넌스는 더 어려운 질문에 답합니다. 즉, 기반 데이터가 결과에 대한 신뢰를 뒷받침할 수 있는 방식으로 생성, 수집, 검토 및 관리되었는지를 보여줍니다.

두 기능은 경쟁 관계가 아니라 상호 보완 관계입니다. 프로비넌스 없이 리니지만으로는 데이터가 어떻게 이동했는지는 알 수 있지만, 데이터의 출처가 적절했는지 또는 신뢰할 수 있는지는 알 수 없습니다. 반대로 리니지 없이 프로비넌스만으로는 데이터 출처의 신뢰성은 확인할 수 있지만, 데이터가 플랫폼에 유입된 이후 어떤 과정을 거쳤는지는 알 수 없습니다. 성숙한 데이터 거버넌스 체계에는 이 두 가지가 모두 필요합니다.

예를 들어 은행이 신용 리스크 워크플로우에서 고객 데이터를 활용한다고 가정해 보겠습니다. 프로비넌스는 원본 데이터가 승인된 채널을 통해 수집되었고 적절한 거버넌스 아래 관리되었음을 입증하는 데 도움을 줍니다. 계보는 이어서 해당 데이터가 변환, 피처 엔지니어링, 모델 및 다운스트림 보고서 전반에서 어떻게 이동했는지를 보여줍니다. 이 두 가지 관점이 모두 없다면 조직은 엔지니어링 관점 또는 신뢰성 관점 중 하나만 확보한 불완전한 상태에 머물게 됩니다.

이 때문에 AI 거버넌스는 리니지와 프로비넌스를 더욱 긴밀하게 연결하고 있습니다. 모델 개발 팀은 어떤 피처 뷰, 데이터 세트 및 모델 버전이 서로 연결되어 있는지를 추적하기 위해 계보가 필요할 수 있습니다. 동시에 기반 학습 데이터의 출처, 적용된 통제 절차, 그리고 해당 데이터 세트가 의도된 용도에 적합했는지를 설명하기 위해 프로비넌스가 필요할 수 있습니다.

데이터 리니지 솔루션을 선택할 때 고려해야 할 사항에 대해 자세히 알아보려면 데이터 리니지 도구: 기능과 적합한 도구 선택 방법을 살펴보세요.

AI 거버넌스는 조직이 데이터 기록에 요구하는 사항을 변화시키고 있습니다. AI 모델이 중요한 운영이나 의사결정에 영향을 미치기 시작하면 프로비넌스는 필수 요소가 됩니다. 모델 출력에 대한 의문이 제기되면 문제는 모델 아키텍처나 프롬프트 설계에만 머물지 않습니다. 종종 데이터 자체로 거슬러 올라가게 됩니다. 즉, 데이터가 적절하게 수집되었는지, 올바른 모집단 또는 비즈니스 맥락을 반영하고 있는지, 적절한 통제 절차에 따라 검토되었는지, 그리고 이러한 의사결정이 기술팀, 감사 담당자 또는 거버넌스 책임자가 나중에 재구성할 수 있도록 문서화되었는지가 문제가 됩니다.

EU 인공지능법은 이러한 변화를 보여주는 대표적인 사례이지만, 그 배경에 있는 압력은 특정 규제 하나에 국한되지 않습니다. 전 세계 조직은 모델 입력 데이터가 적절하게 관리되었는지, 또는 모델 출력 결과를 설명하고 정당화할 수 있는지에 대한 요구에 직면하고 있습니다. 내부 검토 팀, 고객, 감사 담당자 및 비즈니스 이해관계자는 모두 모델의 기반이 되는 데이터가 의도된 용도를 뒷받침할 수 있는 방식으로 관리되었다는 근거를 요구할 수 있습니다.

이러한 기록이 없으면 학습 데이터의 문제는 부정확한 출력, 편향된 추천 또는 잘못된 의사결정과 같은 형태로 뒤늦게 드러나는 경우가 많습니다. 프로비넌스는 AI 시스템이 의존하는 데이터의 전체 수명 주기에 걸쳐 출처, 처리 이력 및 거버넌스에 대한 보다 명확한 기록을 제공함으로써 모델의 동작과 데이터 이력 간의 연관성을 파악할 수 있도록 지원합니다.

실제로 조직은 계보와 프로비넌스 중 하나를 선택할 수 없습니다. 데이터가 파이프라인, 모델 및 다운스트림 자산을 통해 어떻게 이동했는지 추적하기 위해서는 계보가 필요하며, 해당 데이터의 출처와 처리 과정이 현재의 활용 목적을 뒷받침하는지 이해하기 위해서는 프로비넌스가 필요합니다. AI 거버넌스, 감사 요구 사항 및 부서 간 검토가 더욱 강화됨에 따라, 조직의 과제는 이 두 가지 가시성을 모두 활용 가능한 최신 상태로 유지하는 것입니다.

Snowflake에서는 상호 연결된 기능 집합을 통해 계보 및 프로비넌스 관련 정보를 제공합니다. 오브젝트와 컬럼 수준에서 오브젝트 간 관계를 추적하며, 액세스 이력, 태그 계보, ML 계보는 데이터가 어떻게 사용되고, 거버넌스가 적용되며, 다운스트림 AI 자산과 연결되는지에 대한 추가 컨텍스트를 제공합니다. Snowflake Horizon은 더 넓은 디스커버리 및 거버넌스 계층을 제공해, 팀이 환경 전반에서 이러한 컨텍스트를 활용해 작업할 수 있도록 지원합니다.

프로비넌스 관점의 가시성을 위해 액세스 이력(ACCESS_HISTORY)은 쿼리가 언제 데이터를 읽거나 썼는지 기록하고, 사용자, 쿼리, 오브젝트, 컬럼 및 참조된 정책을 연결하여 감사 활동을 지원합니다. Snowflake는 TAG_REFERENCES_WITH_LINEAGE를 통해 태그 계보 메타데이터도 제공합니다. 이를 통해 팀은 거버넌스 태그가 관련 오브젝트에 직접 적용됐는지, 아니면 상속됐는지 이해할 수 있습니다.

Snowflake는 네이티브 오브젝트를 넘어 계보를 확장합니다. 외부 계보는 OpenLineage 호환 이벤트를 사용해 외부 ETL 도구와 소스 데이터베이스의 계보 정보를 기본 계보 그래프로 가져와, 더 넓은 데이터 생태계 전반의 데이터 이동 경로를 통합적으로 보여줍니다.

AI 및 머신러닝 워크플로우의 경우, ML 계보는 소스 테이블, 피처 뷰, 데이터 세트, 등록된 모델, 배포된 모델 서비스 간의 관계를 추적합니다. 이를 통해 팀은 전통적인 계보 요구 사항과 어떤 데이터가 어떤 모델 아티팩트에 사용되었는지에 대한 프로비넌스 관점의 질문을 연결할 수 있습니다.