AI 투명성: 의미와 요구사항

AI 투명성은 종종 모델 복잡성의 문제, 즉 시스템의 내부 메커니즘을 과연 명확히 이해할 수 있게 만들 수 있는가에 대한 의문인 '블랙박스'에 대한 우려로 이어집니다. 하지만 조직에 가장 큰 부담을 주는 투명성 실패는 대개 그렇게 정교한 문제가 아닙니다. 이러한 문제는 어떤 모델 버전이 프로덕션에서 실행 중인지 팀이 식별하지 못하거나, 학습 데이터 프로비넌스가 문서화되지 않았거나, 기록이 남아 있지 않아 인시던트 대응 팀이 당시 상황을 재구성할 수 없을 때 발생합니다.

투명성 문제를 해결하려면 설명서를 시스템 자체에 연결해야 합니다. 모델의 의도된 사용처와 알려진 한계를 명시한 모델 카드, 학습 데이터의 출처와 남은 공백을 설명하는 데이터 시트, 생성형 애플리케이션이 어떤 방식으로 동작하도록 지시받았는지 보여주는 시스템 프롬프트 또는 가드레일 기록, 런타임에 어떤 사용자, 서비스 또는 애플리케이션이 어떤 데이터, 프롬프트 또는 출력에 액세스했는지 기록하는 감사 로그가 필요합니다.

AI 투명성이 모든 사용자에게 각 파라미터, 임베딩 또는 피처 상호작용을 이해하라고 요구하는 것은 아닙니다. 다만 개발자, 비즈니스 책임자, 규제 기관, 영향을 받는 사용자가 AI 시스템이 무엇을 해야 하는지, 어떻게 구축되었는지, 언제 사용해서는 안 되는지, 문제가 발생했을 때 어떤 증거가 남아 있는지 이해할 수 있을 만큼의 컨텍스트는 필요합니다.

AI 투명성은 인공지능 시스템의 입력, 작동 방식, 의도된 사용, 한계를 그 영향을 받는 사람들이 얼마나 이해하고 접근할 수 있는지를 의미합니다. 여기에는 개발자, 사용자, 규제 기관, 대중이 포함됩니다.

실무에서 투명성은 시스템 수준의 관리 원칙입니다. 다음과 같은 질문에 답합니다. 이 시스템은 무엇인가? 어떤 모델을 사용하는가? 어떤 데이터가 이 시스템을 형성했는가? 어떤 작업을 위해 설계되었는가? 범위 밖의 사용 사례는 무엇인가? 사용자가 출력에 의존하기 전에 어떤 고지를 확인해야 하는가? 감사인, 스튜어드 또는 인시던트 대응 팀이 당시 상황을 재구성해야 할 때 어떤 기록이 존재하는가?

AI 투명성은 설명 가능성과 다릅니다. 설명 가능성은 일반적으로 의사결정 수준에서 작동합니다. 이 모델은 왜 이런 점수, 순위, 분류 또는 응답을 생성했는가? 투명성은 그보다 한 단계 높은 수준에서 작동합니다. 시스템의 목적, 설계 컨텍스트, 설명서, 런타임 동작, 거버넌스 경계를 설명합니다.

투명한 AI 시스템에는 일반적으로 모델 카드, 데이터 시트, 시스템 프롬프트 설명서, 의도된 사용 범위 설명, 범위 밖 사용 설명, 고지문, 감사 로그, 계보 기록과 같은 Artifacts가 포함됩니다. 이러한 Artifacts는 팀이 AI 시스템 자체와 그 출력 결과를 신뢰할 수 있는 조건을 함께 이해하도록 돕습니다.

AI 투명성이 중요한 이유는 AI 시스템이 의사결정, 워크플로, 상호작용에 점점 더 깊이 관여하고 있으며, 그 영향을 받는 사람이 시스템을 만든 사람과 다를 수 있기 때문입니다.

규제 환경은 이러한 맥락을 더 이상 선택 사항으로 보기 어렵게 만들고 있습니다. EU 인공지능법 제13조는 고위험 AI 시스템이 배포자가 출력 결과를 해석하고 시스템을 적절히 사용할 수 있도록 설계 및 개발되어야 한다고 규정하며, 사용 지침에는 시스템의 기능, 한계, 예상 정확도 수준이 포함되어야 합니다. 제50조는 특정 AI 시스템에 대한 투명성 의무를 정하고 있으며, 일부 맥락에서 사람들이 AI 시스템과 상호작용하고 있음을 알리고 특정 합성 또는 조작 콘텐츠를 공개하거나 레이블 표시하도록 요구합니다.

범용 AI 모델 제공자에 대해서도 EU 인공지능법은 설명서 관련 의무를 도입했습니다. 제53조는 기술 설명서를 유지하고 다운스트림 제공자에게 관련 정보를 제공해야 한다는 요건을 포함하며, 유럽연합 집행위원회 자료는 범용 AI 모델의 학습 콘텐츠에 대한 공개 요약을 설명합니다.

하지만 투명성은 단순한 규정 준수 과제가 아닙니다. 조직이 AI를 프로덕션에서 실제로 활용할 수 있게 만드는 핵심 조건이기도 합니다. 예를 들어 영업 팀은 추천 시스템의 범위와 한계를 이해할 때 그 시스템을 더 적극적으로 사용할 가능성이 높습니다. 리스크 팀은 예상치 못한 출력 결과를 모델 버전, 프롬프트 템플릿, 데이터 소스 또는 정책 변경까지 추적할 수 있을 때 더 빠르게 대응할 수 있습니다. 데이터 사이언스 팀은 릴리스 시점에 기록된 가정과 현재 성능을 비교할 수 있을 때 모델을 더 안전하게 개선할 수 있습니다.

AI 투명성은 실제 현장에서 모델, 데이터 세트, 프롬프트, 애플리케이션, 런타임 이벤트에 연결된 구체적인 Artifacts로 나타납니다. 목표는 이해 가능성입니다. 즉 적절한 담당자가 배포 전에 시스템을 평가하고, 사용 컨텍스트에 맞게 활용하며, 이후 조사할 수 있을 만큼 충분한 컨텍스트를 제공하는 것입니다.

이러한 Artifacts는 책임 있는 AI의 운영 기반을 이루는 핵심 양식이기도 합니다. 공정성, 안전성, 책임성과 같은 원칙은 설명서, 공개, 감사 가능성이 뒷받침될 때 실제로 실행될 수 있습니다. 이러한 기록이 없으면 책임 있는 AI는 실행 가능한 체계가 아니라 지향점에 머물게 됩니다.

모델 카드

모델 카드는 모델의 의도된 사용, 학습 컨텍스트, 성능 특성, 한계, 공정성 고려 사항을 설명하는 구조화된 문서입니다. 초기의 모델 카드 프레임워크는 투명한 모델 보고를 지원하기 위해 제안되었습니다. 특히 집계 정확도가 집단이나 상황별 성능 편차를 가릴 수 있는 고영향 영역의 시스템에서 중요합니다.

엔터프라이즈 AI 팀에게 모델 카드는 최소 요건에 해당하는 투명성 아티팩트인 경우가 많습니다. 모델 카드에는 모델명, 모델 버전, 소유자, 의도된 사용 범위, 범위 밖 사용, 평가 지표, 테스트 데이터, 알려진 한계, 승인 상태, 모니터링 기대 사항이 명시되어야 합니다. 생성형 AI의 경우 프롬프트 전략, 검색 컨텍스트, 안전성 평가, 예상 실패 양상에 대한 정보도 포함될 수 있습니다.

유용한 모델 카드가 독점 구현 세부 정보를 공개할 필요는 없지만, 개발자, 검토자, 다운스트림 팀이 해당 모델이 특정 워크로드에 적합한지 판단할 수 있을 만큼 충분한 컨텍스트를 제공해야 합니다.

데이터 세트용 데이터 시트

모델의 동작은 모델을 형성한 데이터에 좌우됩니다. 데이터 세트용 데이터 시트는 데이터 세트의 프로비넌스, 구성, 수집 프로세스, 전처리 단계, 권장 사용 방식, 알려진 한계를 기록합니다. 이 개념은 데이터 세트 생성자와 데이터 세트 소비자 간 커뮤니케이션을 개선하기 위해 제안되었습니다. 특히 데이터가 처음 수집된 맥락을 벗어나 이후 다른 용도로 재사용될 수 있는 경우에 중요합니다.

AI 데이터 거버넌스와 투명성 프로그램에서 데이터 시트는 모델 설명서만으로는 답하기 어려운 질문에 답할 수 있게 합니다. 학습 데이터에 현재 배포와 관련된 인구 집단, 지역 또는 기간이 포함되어 있었습니까? 민감한 속성이 제거, 변환 또는 평가에 사용되었습니까? 레이블은 사람, 다른 모델 또는 서드 파티 제공자가 만들었습니까? 어떤 전처리 단계가 원본 데이터를 변경했습니까?

이러한 세부 정보는 모델이 여러 팀에서 재사용될 때 특히 중요합니다. 예를 들어 테이블이 새 기능을 위해 재활용되거나, 데이터 소스의 소유권이 변경되거나, 한때 합리적인 프록시 역할을 했던 필드가 더 이상 원래 표현하려던 비즈니스 개념과 맞지 않게 되는 경우입니다. 데이터 세트 설명서가 없으면 이러한 변화는 성능이 저하되거나 사용자가 출력 결과에 이의를 제기한 뒤에야 드러나는 경우가 많습니다.

시스템 프롬프트와 가드레일 설명서

생성형 AI 거버넌스에서 투명성은 모델을 둘러싼 애플리케이션 계층에도 좌우됩니다. 시스템 프롬프트는 어시스턴트의 역할, 응답 스타일, 검색 동작, 거부 규칙, 에스컬레이션 경로, 도구 사용 제약 조건을 정의할 수 있습니다. 가드레일은 시스템이 무엇을 차단하고, 수정 표시하며, 검토 대상으로 라우팅하고, 감사용으로 기록해야 하는지 정의할 수 있습니다.

이러한 제어 항목을 기록해 두면 팀은 모델 동작과 애플리케이션 동작을 구분할 수 있습니다. 고객 지원 어시스턴트가 정책을 벗어난 답변을 제공했다면 문제는 기반 모델, 검색 소스, 시스템 프롬프트, 가드레일 구성 또는 도구를 선택한 오케스트레이션 로직에 있을 수 있습니다. 투명성 기록은 검토에 필요한 수준으로 이러한 계층을 드러내야 합니다.

고지 요건도 이 계층에 적용됩니다. 사용자 대상 고지는 누군가가 시스템의 결과에 의존하기 전에 시스템의 동작을 명확히 알려야 합니다. 여기에는 AI와 상호작용하고 있는지, 콘텐츠가 AI로 생성되었는지, 민감한 특성이 사용되고 있는지, 사람이 검토할 수 있는 경로가 있는지가 포함됩니다.

사용자 대상 고지

일부 투명성 Artifacts는 내부용이지만, 다른 일부는 사용자에게 직접 전달되어야 합니다. 고지는 사용자가 챗봇과 상호작용하고 있다는 사실, 이미지나 동영상이 AI로 생성 또는 변경되었다는 사실, 또는 시스템이 감정 인식이나 생체 인식 분류를 사용한다는 사실을 알려줄 수 있습니다.

생성된 미디어에는 눈에 보이는 레이블과 기계 판독 가능한 프로비넌스를 함께 적용할 수 있습니다. Coalition for Content Provenance and Authenticity(C2PA)는 디지털 콘텐츠의 출처와 편집 이력을 확립하기 위한 개방형 기술 표준을 제공하며, Content Credentials 접근 방식은 프로비넌스 정보를 암호화 방식으로 결합된 구조에 기록합니다.

고지는 마지막에 덧붙이는 요소가 아니라 시스템 설계 단계부터 내장되어야 합니다. 챗봇 고지, 합성 콘텐츠 레이블, 고위험 의사결정 고지는 각각 다른 대상을 위해 존재하며, 해당 정보가 시스템 해석 방식에 영향을 미치는 바로 그 시점에 제시되어야 합니다.

학습 데이터 요약

범용 AI 모델 제공자를 대상으로 학습 데이터 투명성 요구가 점차 공식화되고 있습니다. EU 인공지능법은 범용 AI 모델 제공자에게 기술 설명서 유지를 요구하며, 유럽연합 집행위원회는 제53조에 따라 범용 AI 모델 학습 콘텐츠의 공개 요약을 제시했습니다.

서드 파티 파운데이션 모델을 사용하는 조직에는 이것이 다운스트림 조달 및 거버넌스 과제로 이어집니다. 팀이 전체 학습 데이터에 직접 액세스하지 못하더라도, 공급업체 검토 과정에서 제공자가 제공하는 설명서, 요약, 허용 사용 정책, 알려진 제한 사항 설명, 업데이트 고지를 요구할 수 있습니다.

내부에서 개발한 모델에도 같은 원칙이 적용됩니다. 학습 데이터 요약에는 데이터 범주, 소스 시스템, 수집 기간, 전처리 단계, 제외 항목, 알려진 공백, 관련 권리 또는 제한 사항을 명시해야 합니다.

감사 로그와 Access History

설명서는 설계 의도를 기록합니다. 감사 추적은 시스템이 실제로 수행한 일을 기록합니다. 여기에는 모델 버전, 프롬프트와 응답 쌍, 도구 호출, 검색 소스, 사용자 액세스, 정책 결정, 데이터 이동이 포함됩니다. 인시던트 대응에서 이러한 런타임 기록은 막연한 우려와 구체적인 재구성을 가르는 기준이 될 수 있습니다. 어떤 모델 버전이 실행됐는지, 어떤 컨텍스트가 검색됐는지, 어떤 정책이 적용됐는지, 어떤 사용자가 어떤 출력에 액세스했는지, 어떤 다운스트림 애플리케이션이 이를 소비했는지를 확인할 수 있기 때문입니다.

예를 들어 Snowflake에서는 ACCESS_HISTORY 뷰를 사용해 365일 기간 내 테이블, 뷰, 컬럼을 포함한 Snowflake 오브젝트의 액세스 이력을 쿼리할 수 있습니다. Snowflake의 계보 기능은 오브젝트 및 컬럼 계보 이력을 1년 동안 보존합니다. 이러한 기록이 모델 설명서를 대체하지는 않지만, AI 워크로드가 거버넌스가 적용된 데이터를 사용할 때 거버넌스 및 보안 팀이 검토할 수 있는 증거를 제공합니다.

AI 투명성, 설명 가능성, 추적성은 서로 겹치는 영역이 있지만 같은 개념은 아닙니다.

• 투명성은 시스템 수준의 고지입니다. AI 시스템의 목적, 소유자, 의도된 사용 방식, 한계, 설명서, 사용자 대상 고지를 설명합니다. 모델 카드, 데이터 시트, 학습 데이터 요약, 챗봇 고지는 모두 시스템이 무엇이며 어떻게 사용되어야 하는지 이해하도록 돕는 투명성 Artifacts입니다.
• 설명 가능성은 의사결정 수준의 추론입니다. 모델이 특정 출력, 점수 또는 추천을 생성한 이유를 이해하도록 돕습니다. 예측 모델에서는 설명 가능성이 피처 기여도, 반사실적 예시, 사후 설명 기법을 포함할 수 있습니다. 생성형 AI 시스템에서는 검색된 컨텍스트, 인용된 출처, 프롬프트 추적, 추론 요약 등을 통해 검토자가 응답이 어떻게 생성됐는지 평가할 수 있습니다.
• 추적성은 데이터에서 모델을 거쳐 출력에 이르는 계보입니다. 피처를 소스 컬럼에, 모델 버전을 학습 실행에, 프롬프트 응답을 검색 세트에, 생성된 추천을 이를 소비한 워크플로우에 연결합니다. 추적성이 중요한 이유는 런타임 증거 없는 투명성이 정적인 설명서에 머물 수 있고, 계보 없는 설명 가능성은 출력 자체는 설명할 수 있어도 기초 데이터가 적절했는지는 입증하지 못하기 때문입니다.

성숙한 AI 거버넌스 프로그램에는 이 세 가지가 모두 필요합니다. 투명성은 시스템이 무엇이며 어떻게 사용되어야 하는지를 설명합니다. 설명 가능성은 특정 출력이 생성된 이유를 다룹니다. 추적성은 이러한 출력을 형성한 데이터, 모델 버전, 프롬프트 구성으로 다시 연결하며, 출력의 재구성이나 이의 제기가 필요할 때 필수 요소가 됩니다.

가장 흔한 AI 투명성 격차는 모델, 데이터, 애플리케이션의 변화 속도가 이를 둘러싼 설명서와 거버넌스 프로세스보다 빠를 때 발생합니다.

AI 투명성은 설명 대상인 데이터와 워크로드 가까이에 유지되는 메타데이터, 계보, 액세스 기록, 거버넌스 제어에 기반합니다. Snowflake에서는 모델 개발, 거버넌스가 적용된 데이터 액세스, 런타임 검사 전반에서 이러한 기반을 뒷받침하는 다양한 기능을 제공합니다.

Snowflake Model Registry는 모델 버전, 모델 지표, 모델 메타데이터를 저장하고 관리하며, Snowflake ML Observability를 통한 모델 수명 주기 관리, 모델 액세스 제어, 성능 모니터링도 지원합니다. 이 레지스트리는 모델 카드 설명서를 위한 실질적인 기준점 역할을 합니다. 모델 레코드가 승인된 릴리스를 문서화하는 데 필요한 버전, 지표, 소유자, 시그니처, 메타데이터를 캡처할 수 있기 때문입니다.

Snowflake Horizon Catalog는 Snowflake 데이터, Apache Iceberg 데이터, 외부 관계형 소스, BI 도구 전반에서 일관된 메타데이터를 바탕으로 데이터 리소스를 찾을 수 있는 단일 공간을 팀에 제공합니다. AI 투명성 관점에서 카탈로그 컨텍스트는 어떤 데이터 제품이 승인되었는지, 소유자가 누구인지, 어떻게 분류되는지, 다운스트림 AI 워크로드와 어떤 관계가 있는지 팀이 파악하도록 돕습니다.

Access History와 계보는 런타임 증거 계층을 더합니다. Access History는 테이블, 뷰, 컬럼 참조를 포함해 어떤 Snowflake 오브젝트에 액세스했는지 보여줄 수 있으며, 계보는 팀이 오브젝트와 컬럼 간 관계를 검토하도록 돕습니다.

에이전틱 및 생성형 AI 워크로드에서는 런타임 모니터링이 이러한 증거를 한층 확장합니다. Snowflake Cortex Agents는 감사와 디버깅을 위해 대화 기록, 계획, 도구 선택, 실행 결과, 최종 응답 생성 등 대화의 상세 추적 정보를 로그로 남길 수 있습니다. Snowflake Cortex AI Guardrails 설명서는 플래그가 지정된 프롬프트의 패턴을 식별하기 위해 가드레일 로그를 검토할 것을 권장합니다.

Snowflake의 Compliance Center는 스캐너 결과와 권장 사항을 기반으로 Snowflake 계정의 잠재적 보안 위험을 평가, 모니터링, 완화할 수 있도록 지원합니다. AI 거버넌스는 보안, 개인정보 보호, 액세스 거버넌스와 별개로 존재하지 않습니다. 데이터를 보호하는 동일한 계정 제어는 AI 워크로드가 거버넌스가 적용된 환경에서 운영되고 있는지 확인하는 데도 도움이 됩니다.

Snowflake 최고 경영진 두 명인 EVP of Product Christian Kleinerman과 Principal Data Strategist Jennifer Belissent가 생성형 AI와 윤리에 대해 전하는 이야기를 들어보십시오.

AI 투명성은 시스템이 널리 사용되기 전에 구축하는 것이 가장 쉽습니다. 모델이 워크플로우에 내장되고, 챗봇이 고객에게 답변하며, 생성된 요약이 의사결정에 영향을 미치기 시작하면 누락된 설명서를 나중에 재구성하기도, 신뢰하기도 훨씬 어려워집니다.

현실적인 접근법은 팀이 이미 관리하고 있는 오브젝트에 투명성을 연결하는 것입니다. 모델 버전, 학습 데이터 세트, 시스템 프롬프트, 액세스 정책, 계보 에지, 공개 표면, 감사 로그가 여기에 해당합니다. 이러한 기록이 서로 연결되어 있으면 증거는 필요해지기 전에 이미 준비됩니다. 릴리스를 검토하는 개발자, 결과를 신뢰해야 하는 사용자, 시스템 동작을 설명해야 하는 거버넌스 팀 모두가 활용할 수 있습니다.