AI 위험 관리의 이해

AI 위험 관리는 '모델, 데이터 파이프라인, 애플리케이션, 프롬프트, 워크플로우 또는 사람의 의사 결정이 AI에 의존할 때 어떤 문제가 발생할 수 있는가?'와 같은 실무적인 질문에서 시작됩니다. 그리고 그 답이 모델 정확성에만 국한되는 경우는 드뭅니다. 시스템이 오래된 데이터를 사용하거나 검색 과정에서 민감한 필드를 노출할 수 있습니다. 그럴듯하지만 잘못된 답변을 생성하거나 배포 후 드리프트가 발생할 수도 있으며 규제 기관이 근거를 요구할 때 설명하기 어려운 결정을 내릴 수도 있습니다.

위험의 범위가 매우 광범위하기 때문에 AI 위험 관리는 수명 주기 전반에서 다뤄야 할 과제가 되었습니다. AI 위험 관리는 조직이 AI 시스템으로 인해 피해가 발생할 수 있는 지점을 체계적으로 파악하고 어떤 위험을 수용할 수 있는지 판단하며 해당 위험을 정해진 한도 내에서 유지하는 통제를 적용할 수 있도록 합니다. 또한 허용 가능한 잔여 위험 수준, 배포 전에 필요한 통제 조치, 시스템이 사용자에게 제공된 후에도 지속해야 하는 모니터링을 결정하는 데 도움이 됩니다.

AI 위험 관리는 개발, 배포, 프로덕션 운영에 이르는 전체 AI 수명 주기에서 AI 시스템으로 인한 위험을 식별, 평가, 완화, 모니터링하는 프로세스입니다. 여기에는 모델뿐만 아니라 모델이 사용하는 데이터, 모델이 실행되는 애플리케이션 환경, 모델 출력의 영향을 받는 사람, 모델 사용을 규율하는 정책, 통제가 적용되었음을 입증하는 데 필요한 증거도 포함됩니다.

따라서 AI 위험 관리는 모델 위험 관리보다 범위가 넓습니다. 특히 은행을 비롯한 규제 대상 금융 환경에서 모델 위험 관리는 모델이 부정확한 결과를 생성하거나 결과가 잘못 사용 또는 해석될 위험에 중점을 둡니다. AI 위험 관리에는 이러한 위험뿐만 아니라 모델을 둘러싼 전체 시스템도 포함됩니다. 여기에는 학습 데이터 프로비넌스, 검색 컨텍스트, 액세스 제어, 사용자 인터랙션, 프롬프트 동작, 다운스트림 워크플로우에 미치는 영향, 인시던트 대응, 배포 후 모니터링이 포함됩니다.

실무적으로 AI 위험 관리 프로그램은 다음과 같은 운영상의 질문에 답할 수 있어야 합니다.

• 시스템을 학습하고 테스트하거나 시스템에 근거 정보를 제공하는 데 어떤 데이터 세트가 사용되었는가?

• 사용 사례, 모델, 영향을 받는 비즈니스 프로세스의 책임자는 누구인가?

• 개발, 테스트, 배포 과정에서 어떤 위험이 식별되었는가?

• 어떤 통제가 이러한 위험을 줄이며 통제 이후에도 어떤 잔여 위험이 남는가?

• 조직은 출시 후 드리프트, 오용, 보안 이벤트 또는 유해한 결과를 어떻게 탐지할 것인가?

이러한 답변은 AI 위험을 추상적인 우려에서 검토 가능한 의사 결정, 통제 및 감사 추적으로 전환합니다.

AI 시스템은 기존 전사적 위험 관리 프로그램만으로는 평가하기 어려운 위험을 초래합니다. 규칙 기반 애플리케이션은 일반적으로 동일한 입력을 받으면 동일하게 동작합니다. 그러나 AI 시스템, 특히 생성형 AI 시스템은 비결정론적으로 동작할 수 있습니다. 동일한 프롬프트에서도 서로 다른 응답을 생성할 수 있으며 모델, 데이터, 프롬프트 또는 검색 컨텍스트가 변경되면 시스템의 동작도 달라질 수 있습니다.

위험은 여러 계층에서도 발생합니다. 모델이 기술적으로 타당하더라도 편향된 데이터로 학습되거나 적절한 액세스 제어 없이 민감한 레코드에 연결되거나 의도된 목적을 벗어나 사용되면 피해를 초래할 수 있습니다. 사용자가 모델 출력에 과도하게 의존하는 워크플로우에 배포되는 경우도 마찬가지입니다. 예를 들어 사기 탐지 모델은 검증 단계에서 우수한 성능을 보이더라도 거래 패턴이 바뀌면 성능이 저하될 수 있습니다. 검색 증강 애플리케이션도 액세스 로직이 사용자의 권한과 일치하지 않으면 제한된 정보를 노출할 수 있습니다.

AI 위험은 배포 후에도 계속 변화합니다. 데이터 드리프트, 적대적 입력, 프롬프트 주입, 규제 변화, 공급업체 업데이트, 새로운 사용 패턴으로 인해 최초 검토를 통과한 시스템의 위험 프로필이 달라질 수 있습니다. 따라서 AI 위험 관리는 승인 단계에서 끝나서는 안 됩니다. 지속적인 모니터링, 에스컬레이션 경로, 재학습 트리거, 인시던트 보고, 운영 종료 기준이 필요합니다.

AI 위험 범주는 위험의 원인과 그로 인해 나타나는 결과를 구분하는 데 도움이 됩니다. 다음 범주를 활용하면 각 위험을 적절한 통제, 책임자 및 검토 프로세스에 연결할 수 있습니다.

기술 및 성능 위험

기술 위험에는 정확도, 견고성, 신뢰성, 할루시네이션, 모델 드리프트, 시스템 가용성이 포함됩니다. 생성형 AI에서 가장 눈에 띄는 장애는 할루시네이션으로 생성된 답변일 수 있지만 근본 원인은 부실한 검색 컨텍스트, 불명확한 데이터 출처 및 이력, 누락된 가드레일 또는 검토 없이 AI 생성 응답을 고객에게 전달하는 워크플로우일 수 있습니다. 조직이 시스템을 의도된 용도에 맞춰 테스트하고 허용 가능한 성능 임계값을 정의하며 출력이 해당 임계값을 더 이상 충족하지 못하는 시점을 탐지할 수 있는지에 따라 위험 관리의 효과가 달라집니다.

데이터 위험

데이터 위험에는 데이터 중독, 데이터 유출, 동의 절차의 공백, 데이터 프로비넌스 문제, 품질 문제, 학습 데이터의 편향이 포함됩니다. 문서화가 제대로 이루어지지 않은 데이터로 학습하거나 그라운딩한 모델은 나중에 추적하기 어려운 오류를 그대로 이어받을 수 있습니다. 엔터프라이즈 데이터에 의존하는 AI 시스템에서는 데이터 계보, 분류, 액세스 이력, 데이터 품질 통제가 단순한 거버넌스 지원 요소에 머무르지 않고 위험 관리의 일부가 됩니다.

보안 위험

AI 보안 위험에는 프롬프트 주입, 모델 인버전 공격, 멤버십 추론 공격, 모델 탈취, 데이터 무단 반출, 적대적 조작이 포함됩니다. AI 시스템은 사용자와 민감한 데이터, 도구 또는 워크플로우 사이에 위치하는 경우가 많기 때문에 AI 보안 위험은 중대한 결과를 초래할 수 있습니다. 침해된 프롬프트나 조작된 컨텍스트는 모델이 생성하는 답변뿐만 아니라 AI 기반 애플리케이션이 시도하는 작업에도 영향을 미칠 수 있습니다.

윤리 및 공정성 위험

AI 윤리 관점에서 공정성 위험에는 차별적 결과, 인간의 존엄성 침해, 투명성 부족, 사람에 의한 감독 실패가 포함될 수 있습니다. 이러한 위험은 기술 시스템이 사람과 맞닿는 지점에서 자주 나타납니다. 채용 심사, 신용 결정, 의료 권고, 직원 생산성 도구 등이 대표적인 예입니다. 공정성 위험을 효과적으로 관리하려면 영향을 받는 집단, 의도된 용도, 재검토를 요청할 권리, 에스컬레이션 경로를 명확히 정의해야 합니다.

법률 및 규제 위험

법률 및 규제 위험에는 AI 관련 법률 미준수, 개인정보 보호 위반, 지식 재산권 문제, 불충분한 문서화가 포함됩니다. 예를 들어 EU 인공지능법은 고위험 AI 시스템 제공자에게 위험 관리 시스템을 수립, 구현, 문서화, 유지하도록 요구하며 이 시스템을 AI 시스템의 전체 수명 주기에 걸친 지속적이고 반복적인 프로세스로 규정합니다. AI 규정 준수는 위험 관리의 핵심 구성 요소입니다.

운영 위험

운영 위험에는 공급업체 종속, 비용 초과, 불명확한 책임 소재, 미흡한 인시던트 대응, 관리되지 않는 종속성이 포함됩니다. 팀이 유용한 AI 애플리케이션을 배포하더라도 모니터링, 예외 처리, 모델 업데이트, 액세스 검토, 운영 종료 결정의 책임자가 없으면 애플리케이션을 원활하게 운영하기 어려울 수 있습니다.

평판 위험

평판 위험에는 대외적으로 드러난 실패, 사용자 반발, 규제 기관의 면밀한 검토가 포함됩니다. 이러한 위험은 편향된 출력, 안전하지 않은 콘텐츠, 데이터 노출, 설명할 수 없는 의사 결정 또는 조직이 약속한 내용과 AI 시스템이 실제로 수행한 작업 사이의 명백한 격차와 같은 다른 문제의 후속 영향으로 발생하는 경우가 많습니다.

사회적 위험

사회적 위험에는 노동력 대체, 민주주의에 대한 피해, 권력 집중, 광범위한 시스템 차원의 영향이 포함됩니다. 모든 조직이 이러한 위험을 같은 방식으로 평가하지는 않지만 성숙한 AI 위험 관리 프로그램은 시스템의 영향이 직접적인 사용자와 비즈니스 성과를 넘어서는지 고려합니다.

NIST AI 위험 관리 프레임워크(AI RMF)는 조직이 AI 시스템으로 인해 개인, 조직, 사회에 발생할 수 있는 위험을 관리하도록 지원하기 위해 마련된 자발적 프레임워크입니다. NIST는 이 프레임워크를 AI 제품, 서비스, 시스템의 설계, 개발, 사용, 평가에 신뢰할 수 있는 AI를 위한 고려 사항을 통합하는 방법으로 설명합니다. NIST는 2024년 7월 AI RMF를 위한 생성형 AI 프로필도 발표했습니다. 이 프로필은 생성형 AI에서 새롭게 발생하거나 그 영향이 확대되는 위험에 AI RMF를 적용하기 위한 보완 자료입니다.

AI RMF는 Govern(거버넌스), Map(맥락 파악), Measure(측정), Manage(관리)의 네 가지 핵심 기능을 중심으로 구성됩니다. NIST는 이러한 기능이 단순한 체크리스트나 고정된 순서가 아니라고 강조합니다. 네 가지 기능은 AI 수명 주기 전반에서 반복적으로 적용하도록 설계되었으며 거버넌스는 전체 과정에서 다른 기능의 방향을 제시합니다.

Govern

Govern(거버넌스) 기능은 AI 위험 관리를 위한 조직적 기반을 확립합니다. 책임 체계, 정책, 역할, 교육, 위험 문화, 감독을 다룹니다. 실무적으로는 AI 사용 사례를 승인할 수 있는 사람, 모델 또는 애플리케이션의 책임자, 적용되는 정책, 위험 관련 의사 결정을 문서화하는 방식을 정의하는 것을 의미합니다.

Map

Map(맥락 파악) 기능은 AI 시스템이 운영될 맥락을 식별합니다. 팀은 의도된 용도, 적용 범위에서 제외되는 용도, 영향을 받는 이해관계자, 배포 환경, 비즈니스 프로세스에 미치는 영향을 정의합니다. 동일한 모델이라도 사용되는 환경에 따라 서로 다른 위험을 수반할 수 있습니다. 예를 들어 공개된 제품 문서를 요약하는 데 사용되는 모델과 임상 기록이나 법률 계약서를 처리하는 데 사용되는 모델은 위험 프로필이 다릅니다.

Measure

Measure(측정) 기능은 유효성, 신뢰성, 견고성, 안전성, 보안, 복원력, 설명 가능성, 개인정보 보호, 공정성과 같은 신뢰할 수 있는 AI의 특성을 기준으로 위험을 평가합니다. 측정에는 정량적 테스트, 정성적 검토, 레드팀 테스트, 편향 감사, 개인정보 보호 평가, 적대적 테스트가 포함될 수 있습니다.

Manage

Manage(관리) 기능은 위험의 우선순위를 정하고 리소스를 할당하며 완화 조치를 적용하고 통제를 모니터링하며 위험 관련 의사 결정을 전달합니다. 이 단계에서 위험 평가는 실제 조치로 이어집니다. 조건부로 사용 사례를 승인하거나 사람의 검토 단계를 추가하고 액세스를 제한하며 배포 방식을 변경할 수 있습니다. 잔여 위험을 수용하거나 진행하지 않기로 결정할 수도 있습니다.

AI 위험 관리는 마지막 단계에 덧붙이는 방식보다 수명 주기에 기본적으로 통합할 때 가장 효과적입니다. 수명 주기 관점에서 접근하면 팀은 위험을 줄이거나 테스트하거나 상위 단계로 보고할 수 있는 시점에 각기 다른 위험을 발견할 수 있습니다.

개발 전

팀은 모델을 학습, 튜닝하거나 다른 시스템에 연결하기 전에 사용 사례의 타당성을 검증해야 합니다. 여기에는 비즈니스 목표 정의, 영향을 받는 사용자 식별, 위험 등급 지정, AI 사용의 적절성 확인, 필요한 경우 AI 윤리 검토 또는 AI 영향 평가 수행이 포함됩니다. 위험도가 낮은 내부 생산성 지원 도구에는 간소화된 검토만 필요할 수 있습니다. 반면 신용, 고용, 의료 또는 공공 서비스에 영향을 미치는 시스템에는 공식적인 영향 평가와 경영진의 최종 승인이 필요할 수 있습니다.

개발

개발 단계의 위험 관리는 데이터 계보, 데이터 품질, 개인정보 보호 통제, 편향 감사, 문서화에 중점을 둡니다. 팀은 학습, 테스트, 검증 데이터의 출처와 적용된 변환 작업을 파악해야 합니다. 또한 민감한 필드가 포함되어 있는지, 데이터 세트가 의도된 용도에 적합한 대표성을 갖추고 있는지도 확인해야 합니다.

모델 문서에는 설계 결정, 가정, 한계, 평가 결과, 알려진 위험을 기록해야 합니다. 이러한 증거는 이후 시스템의 승인 근거나 모델 버전의 변경 이유를 설명해야 할 때 중요하게 활용됩니다.

배포 전

출시 전에 팀은 프로덕션 사용 환경과 유사한 조건에서 시스템을 테스트해야 합니다. 여기에는 레드팀 테스트, 적대적 테스트, 설명 가능성 검토, 보안 검토, 개인정보 보호 검토, 최종 승인 절차가 포함될 수 있습니다. 생성형 AI 시스템을 테스트할 때는 유해한 콘텐츠를 생성하거나 민감한 데이터를 유출하거나 시스템 지침을 무시하게 하거나 적용 범위를 벗어난 동작을 유발하려는 프롬프트도 포함해야 합니다.

목표는 어떠한 장애도 발생할 수 없음을 입증하는 것이 아닙니다. 발생 가능성이 높은 장애 유형을 파악하고 이에 맞는 완화 조치를 적용한 후 남아 있는 위험을 수용할 수 있는지 판단하는 것입니다.

배포

배포 통제는 시스템이 실제 사용 단계로 전환될 때 위험을 줄이는 데 도움이 됩니다. 팀은 단계적 출시, 카나리 배포, 제한된 사용자 그룹, 사람에 의한 감독 요건, 로깅 정책 또는 제한된 액세스 방식을 적용할 수 있습니다. 이러한 통제를 통해 조직은 사용 범위를 확대하기 전에 시스템의 동작을 관찰할 수 있습니다.

고위험 시스템의 배포에는 명확한 에스컬레이션 경로도 포함되어야 합니다. 사용자는 언제 시스템을 신뢰할 수 있는지, 언제 시스템의 판단을 무시하고 개입해야 하는지, 예상치 못한 동작을 어떻게 보고해야 하는지 알아야 합니다.

배포 후

AI 위험 관리는 출시 후에도 계속됩니다. 팀은 드리프트, 성능 저하, 비정상적인 사용 패턴, 보안 이벤트, 사용자 불만, 규제 변화를 모니터링해야 합니다. 또한 재학습 트리거, 인시던트 보고 요건, 운영 종료 기준을 정의해야 합니다.

AI 시스템에서는 장애가 점진적으로 발생할 수 있으므로 배포 후 모니터링이 특히 중요합니다. 모델의 가용성과 응답성이 유지되더라도 정확도가 낮아지거나 입력 데이터가 달라지고 출력이 본래의 사용 사례에 점차 부합하지 않게 될 수 있습니다.

NIST AI RMF는 널리 참조되지만 조직이 사용하는 유일한 프레임워크는 아닙니다.

• ISO/IEC 23894는 AI 기반 제품, 시스템, 서비스를 개발, 생산, 배포 또는 사용하는 조직이 AI 관련 위험을 관리할 수 있도록 지침을 제공합니다. ISO는 이 표준을 AI 관련 활동과 기능에 위험 관리를 통합하기 위한 지침으로 설명합니다.

• ISO/IEC 42001은 인증을 취득할 수 있는 AI 경영시스템 표준입니다. ISO는 이를 AI와 관련된 위험 및 기회를 고려하여 AI 경영시스템을 수립, 구현, 유지하고 지속적으로 개선하기 위한 표준으로 설명합니다.

• EU 인공지능법은 특정 AI 시스템, 특히 고위험 AI 시스템에 법적 의무를 부과합니다. 위험 관리 관련 조항에서는 지속적인 검토, 위험 식별, 위험 평가, 완화 조치, 테스트, 잔여 위험 평가를 요구합니다.

• 은행 및 금융 서비스 조직은 SR 11-7, OCC 2011-12와 같은 모델 위험 관리 지침도 활용할 수 있습니다. 이러한 지침은 AI 위험 관리보다 범위가 좁지만 규제 대상 모델 거버넌스에서는 여전히 중요합니다.

• 싱가포르의 모델 AI 거버넌스 프레임워크와 같은 기타 운영 지침은 조직이 AI 거버넌스 원칙을 역할, 프로세스, 문서화, 위험 등급별 통제로 구체화하는 데 도움이 될 수 있습니다.

AI 위험 관리는 증거에 기반합니다. 팀은 모델이 어떤 데이터를 사용했는지, 해당 데이터에 어떤 거버넌스가 적용되었는지, 누가 액세스했는지, 어떤 모델 버전이 배포되었는지, 어떤 가드레일이 적용되었는지, 출시 후 어떤 일이 발생했는지 확인할 수 있어야 합니다. Snowflake는 데이터, 모델, 애플리케이션, 거버넌스 워크플로우 전반에서 이러한 증거의 연결성을 지원합니다.

Snowflake Horizon Catalog는 데이터 검색, 액세스 이력, 오브젝트 태깅, 규정 준수 도구와 같은 거버넌스 컨텍스트를 제공하여 조직이 AI 위험 노출을 보다 명확하게 파악하도록 지원합니다. Cortex Guard는 Snowflake Cortex AI의 생성형 AI 사용 사례에 런타임 보호 장치를 추가합니다. 언어 모델에서 생성된 잠재적으로 안전하지 않거나 유해한 응답을 필터링할 수 있습니다.

Snowflake ML Model Registry는 팀이 Snowflake에서 모델과 모델 메타데이터를 관리하도록 지원하며 Snowflake ML Observability를 통해 성능 및 드리프트 모니터링을 지원합니다. 또한 팀은 주석, 태그, 메트릭과 같은 메타데이터를 업데이트할 수 있습니다. 여기에는 모델의 목적, 알고리즘, 학습 데이터 세트 또는 수명 주기 단계를 기록하는 태그도 포함됩니다.

Snowflake의 인공지능 경영시스템에 대한 ISO/IEC 42001 인증은 또 다른 보증 계층을 제공합니다. 이러한 기능을 함께 활용하면 조직은 AI 위험 관리를 거버넌스가 적용된 데이터 액세스, 데이터 계보, 메타데이터, 가드레일, 모니터링, 감사 증거와 같은 핵심 운영 통제에 연결할 수 있습니다.

AI 위험 관리는 조직이 AI 시스템의 의도된 역할, 발생 가능한 문제, 위험을 줄이는 통제, 통제가 효과적으로 작동하고 있음을 보여 주는 증거를 파악할 수 있도록 하는 운영 모델입니다.

AI가 비즈니스 워크플로우에 더 깊이 통합될수록 위험 노출 범위는 데이터, 모델, 애플리케이션, 사용자, 공급업체, 다운스트림 의사 결정 전반으로 확대됩니다. 실용적인 AI 위험 관리 프로그램을 갖추면 모든 프로젝트를 중단시킬 정도로 속도를 늦추지 않으면서도 이러한 위험 범위를 관리할 수 있습니다. 위험 등급을 정의하고 책임자를 지정하며 의사 결정을 문서화하고 출시 전에 시스템을 테스트하며 배포 후에도 지속적으로 모니터링합니다.

기업에서 가장 효과적인 프로그램은 정책을 실제로 작동하는 통제와 연결하는 프로그램입니다. 이 지점에서 AI 위험 관리는 책임 있는 AI를 실제 운영에 적용합니다. 즉 원칙을 실제 통제, 모니터링되는 시스템, 감사 가능한 결과로 구체화합니다.