책임 있는 AI: 신뢰할 수 있는 시스템을 위한 원칙과 실행 방안

조직이 AI 가치에 대해 말하는 내용과 프로덕션에서 운영 중인 시스템에 대해 실제로 입증할 수 있는 내용 사이에는 간극이 있는 경우가 많습니다. 공정성, 투명성, 책임성은 유용한 원칙이지만 팀이 공정성 지표를 정의하고 학습 데이터를 검토하며 모델 동작을 문서화하고 의사결정 권한을 배정하며 배포 후 드리프트를 모니터링할 때 비로소 현실이 됩니다.

이것이 바로 책임 있는 AI의 역할입니다. 책임 있는 AI는 광범위한 원칙을 운영 요건으로 전환합니다. 데이터의 소싱 방식, 모델 평가 방식, 고위험 출력을 검토하는 주체, 보존되는 증거, 시스템이 예기치 않게 동작할 때 팀이 대응하는 방식이 여기에 포함됩니다.

엔터프라이즈에서 책임 있는 AI는 규제 기관, 고객, 직원 및 내부 이해관계자의 검토를 뒷받침하도록 설계된 AI 시스템을 구축, 배포하고 거버넌스 체계하에 관리하기 위한 실무 분야로 발전하고 있습니다.

책임 있는 AI는 윤리적 원칙에 따라 AI 시스템을 설계, 구축 및 운영하여 공정하고 투명하며 책임성 있고 안전하며 개인정보 보호를 존중하도록 하는 실행 방안입니다. 이는 윤리적 AI, 신뢰할 수 있는 AI, 인간 중심 AI와 밀접하게 관련되어 있지만 실무적 측면에 중점을 둡니다. 즉 책임 있는 AI 프로그램은 원칙을 팀이 AI 수명 주기 전반에 적용할 수 있는 요건으로 전환합니다.

이러한 운영 중심의 접근 방식은 책임 있는 AI가 시스템이 출시 전에 통과해야 하는 관문으로 기능하지 않는다는 뜻입니다. 책임 있는 AI는 모델 구축 전 학습 데이터에 대해 내리는 결정부터 평가, 배포 및 모니터링을 거쳐 시스템이 여전히 의도한 용도에 부합하는지 판단하는 거버넌스 검토까지 전체 수명 주기에 적용됩니다. 책임 있는 AI는 각 단계에서 ‘좋은’ 상태가 무엇인지 정의하고, AI 거버넌스는 조직이 이를 시행할 수 있도록 역할, 제어 및 감사 경로를 마련합니다.

아래 원칙들은 흔히 개별적으로 논의되지만, 프로덕션 환경에서는 서로 맞물려 작동합니다. 개인정보 보호에 관한 선택은 공정성 테스트에 영향을 줄 수 있고, 투명성 요건은 모델 문서화를 바꿀 수 있으며, 책임성 모델은 휴먼 인 더 루프 단계가 실질적인 권한을 갖는지 아니면 형식적 검토에 그치는지를 결정할 수 있습니다.

공정성

AI 공정성은 AI 시스템이 보호 대상 속성이나 기타 관련 그룹 전반에서 차별적 결과를 생성해서는 안 된다는 의미입니다. 가장 흔한 리스크 중 하나는 알고리즘 편향입니다. 이는 모델이 서로 다른 집단에 대해 체계적으로 다른 성능을 보이는 현상으로, 편향된 과거 데이터, 대리 변수 또는 학습 데이터 내 불균등한 대표성에서 비롯되는 경우가 많습니다. 공정성은 테이블에서 민감한 필드를 제거하는 것만으로는 충분하지 않습니다. 위치 데이터, 소득 패턴, 디바이스 동작 또는 과거 레이블에 대리 변수가 여전히 나타날 수 있기 때문입니다.

팀은 일반적으로 인구통계학적 동등성, 기회 균등 또는 오류율 차이와 같은 공정성 지표를 검토한 다음 사용 사례와 위험 프로필에 맞는 지표를 결정합니다. 사기 탐지 모델, 대출 심사 모델, 의료 트리아지 모델은 오탐과 미탐이 초래하는 결과가 서로 다르기 때문에 각기 다른 공정성 테스트가 필요할 수 있습니다.

실행 방안: 배포 전과 정기적인 주기에 따라 공정성 테스트를 실행하고, 선택한 지표, 그룹별 결과, 알려진 한계, 완화 결정을 문서화합니다.

투명성

AI 투명성은 이해관계자가 AI 시스템이 무엇을 하는지, 왜 구축되었는지, 어떤 데이터를 사용하는지, 그리고 어떤 경우에 그 출력을 신뢰해서는 안 되는지 이해할 수 있음을 의미합니다. 일부 시스템에서는 설명 가능한 모델 동작을 의미할 수 있고, 다른 시스템에서는 명확한 사용자 고지, 모델 카드, 데이터 시트 또는 의도한 용도에 대한 쉬운 설명을 의미할 수 있습니다.

목표는 모든 모델 파라미터를 모든 사용자에게 공개하는 것이 아닙니다. 적절한 대상에게 적절한 수준의 정보를 제공하는 것입니다. 경영진에게는 리스크 상태가 필요하고, 개발자에게는 구현 세부 정보가 필요하며, 검토자에게는 평가 증거가 필요하고, 영향을 받는 사용자는 AI가 의사결정에 관여한 시점을 알아야 할 수 있습니다.

실행 방안: 의도한 용도, 데이터 소스, 평가 결과, 한계, 인간 감독 및 에스컬레이션 경로를 포함하는 모델 카드 또는 이에 준하는 시스템 기록을 게시합니다.

책임성

책임성이란 AI 시스템과 관련된 의사결정을 책임지는 사람을 명확히 지정하는 것을 의미합니다. 모델은 출력을 생성할 수 있지만 자신의 사용을 승인하거나 규제 리스크를 수용하거나 고객에게 인시던트를 설명하거나 유해한 패턴을 시정해야 하는지 결정할 수는 없습니다.

명확한 책임성에는 일반적으로 임원 후원자, 비즈니스 책임자, 기술 책임자, 리스크 또는 법무 검토자, 그리고 배포 후 개입할 수 있는 운영 책임자가 포함됩니다. 이러한 구조가 없으면 책임 있는 AI를 시행하기 어렵습니다. 모델을 일시 중지하거나 액세스 정책을 변경하거나 예외를 승인하거나 재학습을 요구할 명시적 권한을 가진 사람이 없기 때문입니다.

실행 방안: 각 AI 사용 사례에 대해 책임 소유자를 지정하고, 배포 승인자, 인시던트 검토자, 시스템을 일시 중단하거나 롤백할 수 있는 권한자를 명확히 합니다.

개인정보 보호

개인정보 보호란 AI 시스템이 개인의 권리, 계약상 약속, 그리고 데이터가 수집된 본래 목적을 존중하는 방식으로 데이터를 사용해야 한다는 의미입니다. AI 팀의 경우 이는 데이터 최소화와 목적 제한에서 시작되는 경우가 많습니다. 즉 작업에 필요한 필드만 사용하고 필요한 경우 동의, 보존 및 액세스 제어를 함께 적용하는 것입니다.

개인정보 보존형 머신러닝(ML) 기법은 데이터 노출을 줄이는 데 도움이 될 수 있지만 데이터 소스, 레이블, 프롬프트, 임베딩, 로그 및 모델 출력에 대한 거버넌스를 대체하지는 않습니다. 책임 있는 AI 검토에서는 개인정보가 실제로 필요한지, 합성 데이터가 적절한지, 민감한 속성이 테스트 또는 학습에 사용되는지, 시간이 지나도 액세스가 어떻게 감사되는지 확인해야 합니다.

실행 방안: 모델이 프로덕션 환경에 들어가기 전에 목적 제한, 동의, 민감한 속성, 보존 규칙 및 액세스 제어 측면에서 학습, 검증 및 추론 데이터를 검토합니다.

안전성

AI 안전성이란 AI 시스템이 예측 가능하고 되돌릴 수 있는 방식으로 실패해야 한다는 의미입니다. 시스템에는 수행할 수 있는 작업의 한계, 유해한 출력을 줄이는 제어, 안전하지 않은 동작이 인시던트로 이어지기 전에 팀이 이를 감지하는 데 도움이 되는 모니터링이 필요합니다.

생성형 AI와 에이전틱 시스템에서 안전성은 레드팀 테스트, 속도 제한, 콘텐츠 필터링, 도구 사용 제한, 롤백 계획 및 고위험 작업에 대한 인간 검토를 포함하는 경우가 많습니다. 또한 시스템에는 문제 보고를 위한 명확한 경로가 있어야 합니다. 안전하지 않은 동작은 모델 드리프트, 프롬프트 인젝션, 데이터 변경, 적대적 사용 또는 의도한 용도와 실제 사용 간의 불일치에서 비롯될 수 있기 때문입니다.

실행 방안: 출시 전에 시스템에 대한 레드팀 테스트를 수행하고 안전하지 않은 출력 범주를 정의하며 에스컬레이션 임계값을 설정하고 롤백 또는 비활성화 경로를 유지합니다.

포용성

포용성이란 다양한 관점이 시스템의 목적, 학습 데이터, 평가 및 배포 맥락을 형성한다는 의미입니다. 여기에는 시스템을 구축하는 사람들, 이를 사용하는 비즈니스 팀, 그리고 그 출력의 영향을 받는 커뮤니티나 사용자 그룹이 포함됩니다.

참여형 설계는 순수하게 기술적인 검토에서는 놓치기 쉬운 위험을 드러낼 수 있습니다. 지원 자동화 도구는 고객이 에스컬레이션을 경험하는 방식을 바꿀 수 있고, 헬스케어 모델은 환자 집단에 따라 다르게 동작할 수 있으며, 업무용 AI 도구는 모델에 의해 평가되는 것에 동의한 적이 없는 직원에게 영향을 미칠 수 있습니다. 포용성은 불만이나 인시던트가 발생한 후에만이 아니라 배포 전에 이러한 관점이 반영될 수 있는 여지를 마련하는 것을 의미합니다.

실행 방안: 영향을 받는 사용자 그룹, 비즈니스 이해관계자, 리스크 팀 및 기술 책임자의 대표자를 사용 사례 검토, 평가 기준 및 배포 후 피드백 루프에 포함합니다.

Microsoft 및 Snowflake 리더들이 책임 있는 AI 구축 및 배포에 대해 나누는 논의를 시청하세요.

명확한 제어 없이 AI 시스템이 프로덕션 환경으로 이동하면 평판 리스크, 법적 위험 노출, 고객 불신, 운영 재작업 및 모델 부채가 발생할 수 있기 때문에 책임 있는 AI는 중요합니다. EU 인공지능법은 AI 시스템에 대한 위험 기반 의무를 규정하며, 고위험 시스템에는 리스크 관리, 데이터 거버넌스, 기술 문서화, 기록 보관, 투명성, 인간 감독, 정확성, 견고성 및 사이버 보안을 포괄하는 요건이 적용됩니다.

책임 있는 AI에는 강력한 비즈니스 명분이 있습니다. AI 및 데이터 거버넌스는 평판, 고객 신뢰, 그리고 조직이 AI를 안전하게 처리하고 있음을 입증할 수 있는지와 연결되어 있습니다. 고객과 조달 팀은 점점 더 거버넌스 성숙도를 차별화 요소가 아니라 자격 기준으로 간주하고 있습니다.

주요 AI 거버넌스 프레임워크 역시 책임 있는 AI의 중요성을 보여 줍니다. NIST의 AI 리스크 관리 프레임워크는 자발적 프레임워크이지만, 조직이 AI 시스템의 설계, 개발, 사용, 평가에 신뢰성 관련 고려사항을 반영할 수 있도록 마련되었습니다. ISO/IEC 42001은 관리 시스템 접근 방식을 취해, 조직이 윤리적 고려사항, 투명성, 지속적 개선을 포함한 AI 리스크와 기회를 체계적으로 관리할 수 있도록 합니다.

운영 팀의 경우 책임 있는 AI 실무는 편향된 데이터, 불명확한 소유권, 누락된 문서, 지원되지 않는 사용 사례 및 취약한 모니터링에 대해 더 이른 단계에서 점검 지점을 마련합니다. 이를 통해 고객 불만, 규제 문의 또는 프로덕션 사고 이후에야 문제를 발견할 가능성을 줄일 수 있습니다.

책임 있는 AI는 수명 주기 전반에 적용되는 실무 체계일 때 가장 효과적으로 작동합니다. 제어는 데이터 소싱부터 모델 개발, 배포, 모니터링 및 정기 검토에 이르기까지 시스템을 따라 적용되어야 합니다.

데이터: 학습 시작 전 입력 데이터 거버넌스

책임 있는 AI 수명 주기는 데이터에서 시작됩니다. 팀은 학습 데이터가 어디에서 왔는지, 동의 또는 계약상 제한이 적용되는지, 레이블이 어떻게 생성되었는지, 어떤 속성이 편향을 유발할 수 있는지, 데이터가 모델의 영향을 받을 모집단을 반영하는지 알아야 합니다.

학습 데이터 거버넌스에는 합성 데이터도 포함되어야 합니다. 합성 데이터는 개인정보 보호, 테스트 또는 클래스 균형 조정에 도움이 될 수 있지만 여전히 문서화가 필요합니다. 무엇이 데이터를 생성했는지, 어떤 원본 데이터가 이를 형성했는지, 어디에 사용하는 것이 적절한지, 어떤 패턴이 증폭되었거나 사라졌을 수 있는지를 문서화해야 합니다.

이 단계에서 유용한 아티팩트에는 데이터 시트, 계보 기록, 레이블 품질 메모, 편향 감지 결과, 데이터 액세스 정책 및 민감한 필드에 대한 승인 기록이 포함됩니다.

모델: 의도한 용도를 문서화하고 정확도를 넘어 테스트하기

모델 개발 단계에서 책임 있는 AI 실천은 데이터 적합성 검토를 넘어 시스템 동작으로 확장됩니다. 모델 카드는 의도한 용도, 범위를 벗어난 용도, 평가 데이터, 성능 결과, 공정성 테스트, 견고성 테스트 및 문서화된 한계를 포함해야 합니다.

이 단계에서 팀은 모델이 집단별로 다르게 동작하는지, 일반적인 입력 변형을 안정적으로 처리하는지, 검토자가 해석할 수 있는 신뢰도 점수나 설명을 제공하는지 테스트해야 합니다. 고위험 사용 사례의 경우 승인 기준에는 모델이 전체 벤치마크에서 우수한 성능을 보인다는 사실뿐만 아니라 의사 결정 맥락에 적합하다는 증거도 포함되어야 합니다.

배포: 의사결정이 이루어지는 지점에 제어 적용

고위험 시스템에는 시스템이 사실상 결정을 내린 뒤 형식적으로 승인하는 단계가 아니라 실질적 권한을 가진 휴먼 인 더 루프 검토가 포함되어야 합니다.

또한 팀은 속도 제한, 액세스 제어, 출력 제한, 드리프트 모니터링, 편향 모니터링 및 에스컬레이션 임계값을 정의해야 합니다. 생성형 AI 애플리케이션의 경우 배포 제어에는 검색 제약, 프롬프트 인젝션 보호, 출력 조정, 로깅, 도구 호출 또는 다운스트림 작업에 대한 제한이 포함될 수 있습니다.

거버넌스: 검토, 재인증 및 대응

책임 있는 AI 검토 위원회 또는 이에 준하는 거버넌스 기구는 리스크가 높은 사용 사례를 평가하고 예외를 승인하며 인시던트를 검토하고 정기적인 재인증을 요구해야 합니다.

검토 프로세스는 승인 결정, 모델 카드, 데이터 시트, AI 인시던트 보고서, 정책 예외, 모니터링 결과 및 시정 계획과 같이 조직이 나중에 다시 검토할 수 있는 증거를 생성해야 합니다. 시스템이 변경됨에 따라 이러한 기록은 모델이 여전히 의도한 용도에 부합하는지, 드리프트가 결과를 변화시켰는지, 새로운 규정 또는 내부 정책으로 인해 추가 제어가 필요한지 팀이 이해하는 데 도움이 됩니다.

이러한 용어는 서로 겹치는 부분이 있지만 같은 의미로 사용할 수는 없습니다.

• AI 윤리는 다음과 같은 규범적 질문을 다룹니다. AI 시스템에 무엇을 허용해야 하는가? 어떤 사용은 허용될 수 없는가? 조직은 사용자, 고객, 직원 및 영향을 받는 커뮤니티에 대해 어떤 의무를 지는가?

• 책임 있는 AI는 이러한 가치를 공정성, 투명성, 책임성, 개인정보 보호, 안전성, 포용성이라는 운영 원칙으로 전환하고, 팀이 설계 선택, 문서화, 테스트, 감독 및 모니터링을 통해 이를 적용하도록 요구합니다.

• AI 거버넌스는 이러한 원칙을 실제로 집행 가능하게 만듭니다. 의사 결정 권한을 배정하고 검토 프로세스를 만들며 데이터와 모델에 제어를 적용하고 승인을 추적하며 프로덕션 시스템을 모니터링하고 감사, 규정 준수 및 인시던트 대응을 위한 증거를 기록합니다.

AI 윤리는 질문을 제기합니다. 책임 있는 AI는 운영 원칙을 정의합니다. AI 거버넌스는 이러한 원칙을 실제로 집행하는 엔터프라이즈 시스템을 구축합니다.

책임 있는 AI는 컨텍스트에 따라 달라집니다. 모델을 학습하거나 그라운딩하는 데 사용되는 데이터, 누가 모델을 사용할 수 있는지 결정하는 액세스 정책, 입력의 출처를 보여주는 계보, 예기치 않은 동작을 감지하는 모니터링, 런타임에 출력을 조정하는 제어가 모두 그 맥락에 포함됩니다. Snowflake는 조직이 데이터, 애플리케이션, AI 워크로드를 관리하는 동일한 환경 안에서 데이터 및 AI 거버넌스를 지원합니다.

Snowflake는 독립적인 제3자 감사를 거쳐 ISO/IEC 42001 인증을 획득했으며, 이 인증은 AI 기술에 대한 거버넌스를 수립, 구현, 유지하고 지속적으로 개선하기 위한 AI 관리 시스템 요구 사항을 포괄합니다.

Snowflake Horizon Catalog는 역할 기반 액세스 제어, 속성 기반 액세스 제어, 분류, 태그 지정, 모니터링, 계보를 통해 데이터, 앱, 모델 전반의 거버넌스를 통합합니다. Access History, Time Travel, 공유 메타데이터, 그리고 Snowflake와 외부 스토리지 전반의 계보는 데이터가 어떻게 사용되고 시간이 지나면서 제어가 어떻게 적용되는지 검토할 수 있는 컨텍스트를 팀에 제공합니다.

Snowflake Cortex Guard는 잠재적으로 안전하지 않은 LLM 응답을 런타임에 필터링하도록 설계되어, 모델 출력이 애플리케이션으로 반환되기 전에 이를 평가합니다.

이러한 제어는 데이터에 액세스한 사람, 적용된 정책, 계보가 보여주는 내용, 출력이 조정된 위치, 더 광범위한 데이터 자산 내에서 AI 시스템이 어떻게 관리되었는지와 같은 운영 증거에 책임 있는 AI 원칙을 연결하는 데 도움이 됩니다.

책임 있는 AI에 대한 고객과 파트너의 기대는 대부분의 규제 일정보다 더 빠르게 높아지고 있습니다. 한때 AI 거버넌스를 규정 준수 활동으로만 여겼던 조직들은 조달 팀, 엔터프라이즈 고객 및 이사회 수준의 이해관계자가 계약을 체결하기 전에 데이터 관행, 모델 문서화, 공정성 테스트 및 인시던트 대응에 대해 더 구체적인 질문을 던지고 있음을 깨닫고 있습니다. 

앞서 나가는 팀은 출처와 관리 이력을 명확히 제시할 수 있는 학습 데이터, 여러 집단을 대상으로 테스트한 모델 동작, 실질적인 권한이 뒷받침되는 배포 제어, 형식적인 승인에 그치지 않고 증거를 생성하는 거버넌스 검토 체계를 갖추는 경향이 있습니다. 데이터 시트, 모델 카드, 인시던트 보고서 및 감사 추적과 같은 이러한 아티팩트는 책임 있는 AI가 실제로 어떤 모습인지를 보여줍니다. 또한 조직이 표방하는 가치와 실제 시스템이 일치한다는 것을 규제 기관, 고객 및 내부 이해관계자에게 입증하는 요소이기도 합니다.