ISO/IEC 42001:2023 설명: 요구사항, 통제 및 인증

많은 AI 거버넌스 프로그램은 정책이 우선이고 프로세스는 취약합니다. 모델이 개발 단계에서 프로덕션 환경으로 전환되거나 새로운 데이터 소스가 추가되거나 공급업체가 기능을 업데이트하면 배포 당시에는 적절해 보였던 통제가 빠르게 한계를 드러냅니다. 그러나 이러한 공백을 포착할 수 있는 내장형 메커니즘은 없습니다.

ISO/IEC 42001:2023은 AI 관리 시스템을 위한 최초의 국제 표준으로 조직에 이러한 운영 모델을 제공합니다. 조직이 AI 시스템을 관리하는 프로세스를 수립, 구현, 유지 및 지속적으로 개선하는 방법을 규정하며 AI 거버넌스를 단순한 문서에서 책임 주체, 위험 처리, 심사 주기 및 증거 요건이 정의된 감사 가능한 관리 시스템으로 전환합니다.

ISO/IEC 42001:2023은 인공지능 관리 시스템(AIMS)에 대한 요구사항을 규정하는 국제 표준입니다. AIMS는 조직이 AI 시스템의 개발, 제공 또는 사용을 관리하기 위해 활용하는 정책, 역할, 프로세스, 통제 및 문서화된 정보의 집합입니다.

2023년 12월 ISO/IEC JTC 1/SC 42에서 발행한 이 표준은 예측형 ML, 생성형 AI 및 에이전틱 시스템을 포함하여 다양한 산업과 AI 시스템 유형에 적용됩니다. AI 제품을 제공하거나 비즈니스 프로세스에 AI 시스템을 배포하거나 프로덕션 환경에서 AI 시스템을 사용하는 조직에 적용할 수 있습니다.

ISO/IEC 42001은 ISO 27001과 ISO 9001을 비롯한 다른 ISO 관리 시스템 표준에서 사용하는 조화 구조를 따릅니다. 따라서 이미 성숙한 관리 시스템을 운영하는 조직은 범위 정의, 경영진 책임 지정, 문서화된 정보 유지, 내부 감사 수행, 성과 검토 및 지속적 개선 추진과 같은 익숙한 관행을 재사용할 수 있다는 이점이 있습니다.

이 표준에는 AI 정책, 내부 조직, 리소스, 영향 평가, 수명 주기 프로세스, 데이터, 이해관계자에게 제공하는 정보, AI 시스템 사용 및 제3자 관계와 같은 AI 고유의 거버넌스 주제를 다루는 부속서 A 통제 항목도 포함됩니다. ISO 27001과 마찬가지로 부속서 A 통제 항목은 적용 가능성을 기준으로 하므로 조직은 적용성 선언서를 통해 어떤 통제 항목이 적용되는지와 그 이유를 문서화합니다.

ISO/IEC 42001은 AI 거버넌스가 단순히 문서에 기술된 것이 아니라 실제로 운영되고 있음을 조직이 입증할 수 있는 방법을 제공합니다. 고객, 규제 기관, 이사회 또는 조달 팀이 조직에서 개발하거나 사용하는 AI 시스템을 어떻게 통제하는지 물을 때 이러한 차이는 중요합니다.

제3자 검증

인증은 조직의 AIMS가 표준의 요구사항을 충족한다는 독립적인 보증을 제공합니다. ISO는 인증을 제품, 서비스 또는 시스템이 특정 요구사항을 충족한다는 독립 기관의 서면 보증으로 설명합니다. AI 팀의 경우, 이는 독점 모델 세부 정보, 내부 아키텍처 또는 민감한 고객 데이터를 노출하지 않고도 책임 있는 AI 관행을 입증하는 데 도움이 될 수 있습니다.

조달 지원

기업 구매자가 RFP와 공급업체 위험 평가에 AI 거버넌스 관련 질문을 추가함에 따라 ISO 42001은 제공자와 배포자가 참조할 수 있는 공신력 있는 표준을 제공합니다. 인증서가 모든 기술적 질문에 답해 주는 것은 아니지만 조직에 공식적인 AI 거버넌스 프로세스, 감사 주기 및 경영진의 감독 체계가 마련되어 있는지에 관한 불확실성을 줄일 수 있습니다.

규제 정합성

ISO 42001은 자발적 표준이지만 관리 시스템 구조는 새롭게 등장하는 AI 규제 요건과 밀접하게 부합합니다. EU 인공지능법은 고위험 AI 시스템 제공자가 문서화된 품질 관리 시스템, 위험 관리 시스템 및 출시 후 모니터링 프로세스를 유지하도록 요구합니다. ISO 42001은 조직이 AI 규정 준수 활동을 지원하는 데 활용할 수 있는 체계적인 기반, 즉 이러한 의무를 이행하는 데 필요한 정책, 절차 및 증거를 제공할 수 있습니다.

운영 주기

AI 거버넌스에는 정기적인 운영 주기가 필요합니다. 위험 평가는 시간이 지나며 유효성이 낮아지고 데이터는 변화하며 모델 행동도 점차 달라지고 비즈니스 사용 사례는 확대됩니다. ISO 42001은 계획, 성과 평가, 내부심사, 경영진 검토, 시정 조치 및 지속적 개선을 통해 이러한 운영 주기를 공식화합니다.

고객 신뢰

ISO/IEC 42001 인증은 조직이 AI 안전 관행의 투명성, 책임성 및 신뢰성 확보에 전념하고 있음을 고객에게 보여 주는 증거입니다. 예를 들어 Snowflake는 독립적인 제3자 감사를 거쳐 ISO/IEC 42001 인증을 획득했으며 고객은 Snowflake Compliance Center에서 관련 감사 증거에 액세스할 수 있습니다.

ISO/IEC 42001은 AI 시스템을 제공, 개발, 배포 또는 사용하는 조직에 적용됩니다. AI 위험은 모델 개발자에게만 국한되지 않습니다. 기업이 AI 기반 SaaS 제품을 구성하거나 AI 시스템을 워크플로에 통합하거나 민감 데이터에 연결하거나 고객, 직원 또는 운영에 영향을 미치는 의사 결정에 AI 출력을 사용할 때도 위험이 발생할 수 있습니다.

이 표준은 여러 유형의 조직과 관련이 있습니다.

• 제공자는 다른 조직이 사용하는 AI 시스템, AI 기반 제품 또는 AI 서비스를 개발합니다. 제공자는 사기 감지 모델, 생성형 AI 어시스턴트, 컴퓨터 비전 시스템 또는 더 큰 제품에 내장된 AI 애플리케이션을 구축할 수 있습니다.

• 배포자는 AI 시스템을 실제 사용 환경에 도입합니다. 배포자는 공급업체가 제공하는 AI 서비스를 구성하거나 내부 시스템과 통합하거나 거버넌스가 적용된 데이터에 연결하거나 직원이 AI 출력에 의존하는 워크플로우를 정의할 수 있습니다.

• 사용자는 프로덕션 환경에서 AI 시스템을 운영합니다. 실제로 여기에는 분석, 자동화, 의사 결정 지원 또는 콘텐츠 생성을 위해 AI를 사용하는 비즈니스 팀, 공공 부문 기관, 규제 대상 조직 및 내부 부서가 포함될 수 있습니다.

ISO 42001은 특정 산업에 국한되지 않지만 공공 부문 조직, 규제 산업 및 AI 제품 기업에는 조기 도입이 특히 중요합니다. 이러한 조직은 문서화된 통제, 조달 증거 및 정당성을 입증할 수 있는 거버넌스 프로세스에 대한 요구를 더 강하게 받는 경우가 많기 때문입니다.

ISO/IEC 42001은 ISO 관리 시스템 표준에서 사용하는 조화 구조를 따릅니다. 제1조항부터 제3조항까지는 적용 범위, 인용표준, 용어와 정의를 규정하며 제4조항부터 제10조항까지는 조직이 구현하고 유지해야 하는 관리 시스템 요구사항을 규정합니다.

제1~3조항: 적용 범위, 인용표준 및 정의

도입부의 조항에서는 표준이 다루는 범위, 적용되는 인용표준 및 주요 용어의 정의를 정합니다. 비즈니스, 법무, 데이터 사이언스, 엔지니어링 및 보안 팀은 동일한 용어를 서로 다른 의미로 사용하는 경우가 많으므로 이러한 공통 용어는 AI 거버넌스 프로그램에서 중요합니다. 이 표준은 각 팀이 AIMS에 관해 공통으로 참조할 수 있는 기준을 제공합니다.

제4조항: 조직 상황

제4조항은 조직이 AI 관리 시스템에 영향을 미치는 내부 및 외부 요인을 파악하도록 요구합니다. 여기에는 이해관계자의 요구사항, 법적 및 규제적 기대사항, AI 사용 사례, 조직의 경계 및 AIMS의 적용 범위가 포함됩니다.

실무적으로 기업은 어떤 AI 시스템이 AIMS의 적용 대상인지, 어떤 팀이 해당 시스템을 담당하는지, 어떤 데이터 소스를 사용하는지, 시스템의 출력으로부터 영향을 받는 외부 당사자가 누구인지 파악해야 합니다.

제5조항: 리더십

제5조항은 리더십의 의지, AI 정책, 역할, 책임 및 권한을 다룹니다. 이 조항은 고위 경영진이 AI 거버넌스를 기술팀만 담당하는 부수적인 프로세스가 아니라 조직 관리 시스템의 일부로 운영하도록 요구합니다.

일반적으로 이는 책임 주체를 지정하고 AI 정책을 승인하며 비즈니스팀과 기술팀 간의 책임을 조정하고 거버넌스 의무를 맡은 담당자에게 이를 수행할 권한을 부여하는 것을 의미합니다.

제6조항: 계획

제6조항은 AI 위험 평가, AI 위험 처리 및 AI 목표를 포함한 계획을 다룹니다. 조직은 위험과 기회를 식별하고 이에 대응할 방법을 결정하며 AIMS를 위한 측정 가능한 목표를 정의해야 합니다.

위험 평가에서는 데이터 품질, 모델 성능, 설명 가능성, 인적 감독, 보안, 개인정보 보호, 알고리즘 편향, 운영 복원력 또는 후속 영향을 검토할 수 있습니다. 그런 다음 위험 처리 계획을 통해 이러한 위험을 통제, 책임 주체 및 증거와 연결합니다.

제7조항: 지원

제7조항은 AIMS 운영에 필요한 리소스인 역량, 인식, 의사소통 및 문서화된 정보에 중점을 둡니다. 모델 책임자가 영향 평가를 수행해야 하는 시점을 알지 못하거나 검토자가 필요한 증거를 찾을 수 없거나 비즈니스 사용자가 허용되는 AI 사용 방식을 이해하지 못한다면 정책만으로는 충분하지 않습니다.

이 조항에서는 조직이 교육, 문서화 관행, 커뮤니케이션 채널 및 거버넌스 활동을 입증하는 기록을 정의합니다.

제8조항: 운영

제8조항은 AI 시스템의 운영 계획 및 통제를 다룹니다. 이 단계에서 요구사항, 설계 결정, 데이터 준비, 검증 및 유효성 확인, 배포 통제, 운영, 모니터링 및 폐기와 같은 수명 주기 프로세스가 구체화됩니다.

예를 들어 조직에는 모델을 프로덕션 환경에 배포하기 전에 승인하거나 데이터 입력을 변경하거나 새로운 대상 집단으로 사용 범위를 확대하거나 정책 또는 성능 기대치를 더 이상 충족하지 못할 때 폐기하기 위한 문서화된 프로세스가 필요할 수 있습니다.

제9조항: 성과 평가

제9조항은 모니터링, 측정, 분석, 평가, 내부 감사 및 경영진 검토를 요구합니다. 조직은 AIMS가 제대로 작동하는지와 거버넌스 통제가 조직의 AI 시스템에 계속 적합한지 파악해야 합니다.

여기에는 통제 테스트, 감사 발견 사항, 모델 모니터링 결과, 인시던트 추세, 위험 처리 상태 및 경영진 검토 기록이 포함될 수 있습니다.

제10조항: 개선

제10조항은 부적합, 시정 조치 및 지속적 개선을 다룹니다. 감사 발견 사항, 인시던트, 모니터링 문제 또는 프로세스 실패가 발생하면 조직은 체계적인 방식으로 대응해야 합니다.

일반적으로 이러한 대응에는 문제 조사, 당면한 문제의 시정, 근본 원인 해소 및 동일한 실패의 재발 가능성을 줄이기 위한 AIMS 업데이트가 포함됩니다.

부속서 A는 통제 범주별로 분류된 38개의 AI 특화 통제 항목을 제시합니다. 이러한 통제 항목은 조직이 관리 시스템 요구사항을 실제 운영 관행으로 전환하는 데 도움이 되지만 모든 상황에서 자동으로 의무화되는 것은 아닙니다. 조직은 각 통제 항목의 적용 가능성을 평가하고 적용성 선언서에 그 근거를 문서화합니다.

A.2: AI 정책

A.2는 조직이 책임 있는 AI에 대한 기대사항을 정의하고 역할을 지정하며 조달을 관리하는 방식을 포함한 AI 정책을 다룹니다. 정책은 AI 시스템을 승인할 수 있는 주체, 적용되는 위험 기준, 제3자 AI 시스템의 검토 방식 등 AI 개발 및 사용에 관한 의사결정을 안내할 수 있을 만큼 구체적이어야 합니다.

A.3: 내부 조직

A.3은 거버넌스 구조, 보고 체계 및 리소스 할당에 중점을 둡니다. AI 거버넌스에는 비즈니스 책임자, 데이터팀, 법무팀, 규정 준수팀, 보안팀, 개인정보 보호팀, 조달팀 및 플랫폼팀이 관여하는 경우가 많습니다. 따라서 이 통제의 목표는 문제가 발생하기 전에 책임 소재를 명확히 하는 것입니다.

A.4: AI 시스템을 위한 리소스

A.4는 데이터, 도구, 인프라, 시스템 리소스 및 인적 감독을 포함하여 AI 시스템을 개발, 배포 및 운영하는 데 필요한 리소스를 다룹니다. 프로덕션 AI 시스템의 경우 승인된 데이터 세트, 모델 개발 환경, 모니터링 도구, 검토 워크플로우 및 에스컬레이션 경로가 포함될 수 있습니다.

A.5: AI 시스템의 영향 평가

A.5는 영향 평가를 다룹니다. 이러한 평가는 조직이 배포 전후에 AI 시스템이 개인, 집단, 비즈니스 프로세스 또는 외부 이해관계자에게 어떤 영향을 미칠 수 있는지 평가하는 데 도움이 됩니다.

영향 평가에서는 AI 시스템이 서비스 접근성에 영향을 미치는지, 사람에게 영향을 주는 권고를 생성하는지, 민감한 속성을 처리하는지 또는 핵심 워크플로우에 운영상 의존성을 유발하는지 검토할 수 있습니다.

A.6: AI 시스템 수명 주기

A.6는 요구사항, 설계, 검증, 유효성 확인, 배포, 운영 및 폐기를 포함한 수명 주기 프로세스를 다룹니다. 이 통제 카테고리는 다음의 기본적인 거버넌스 현실을 반영합니다. AI 리스크는 시스템이 여러 단계를 거치면서 변화합니다.

개발 단계에서는 적절해 보였던 모델도 라이브 데이터에 연결되거나 새로운 프롬프트를 받거나 더 광범위한 사용자에게 제공되거나 자동화된 워크플로우의 일부가 된 후에는 다르게 동작할 수 있습니다.

A.7: AI 시스템을 위한 데이터

A.7은 데이터 획득, 품질, 프로비넌스 및 준비를 다룹니다. 이러한 통제는 AI 시스템이 데이터에 내재된 위험까지 그대로 떠안을 수 있다는 점에서 특히 중요합니다. 학습 데이터 세트, 프롬프트 컨텍스트, 피처 테이블 또는 검색 코퍼스에 책임 주체, 계보, 품질 검사 또는 사용 제약이 없다면 모델 출력을 신뢰하거나 그 정당성을 입증하기 어려워질 수 있습니다.

이 범주의 강력한 통제는 일반적으로 데이터의 출처, 적용된 변환, 품질 임계값 및 AI 워크플로까지 이어지는 사용 제한을 팀이 문서화하도록 요구합니다.

A.8: 이해관계자를 위한 정보

A.8은 문서, 의사소통 및 보고를 포함하여 이해관계자에게 제공되는 정보를 다룹니다. AI 시스템에 따라 이해관계자에는 고객, 규제 기관, 내부 검토자, 비즈니스 사용자, 감사자 또는 시스템 출력의 영향을 받는 사람이 포함될 수 있습니다.

이 범주에는 모델 문서, 사용자 지침, 위험 공개, 알려진 제한 사항, 모니터링 보고서 및 인시던트 커뮤니케이션 프로세스가 포함될 수 있습니다.

A.9: AI 시스템의 사용

A.9는 책임 있는 사용과 폐기에 중점을 둡니다. 조직은 AI 시스템이 실제 운영에 도입된 이후 어떻게 사용되는지를 관리하는 프로세스를 마련해야 합니다. 여기에는 허용 가능한 사용, 사용자 책임, 모니터링 요구사항 및 폐기 기준이 포함됩니다.

이는 동일한 기반 기능이 서로 다른 위험 프로필을 가진 여러 워크플로우에서 사용될 수 있는 생성형 AI 및 에이전틱 시스템에서 특히 중요합니다.

A.10: 제3자 및 고객 관계

A.10은 공급업체 및 고객 책임을 다룹니다. AI 시스템은 외부 모델, SaaS 제품, 데이터 제공업체, 통합 파트너 또는 다운스트림 고객에 의존하는 경우가 많습니다. 이러한 통제는 각 주체의 책임 범위, 필요한 증거 및 제3자 서비스의 변경 사항을 검토하는 방식을 명확히 하는 데 도움이 됩니다.

ISO/IEC 42001 인증은 다른 ISO 표준에 적용되는 일반적인 관리 시스템 인증 절차를 따릅니다. 세부 사항은 조직과 적용 범위, 인증 기관에 따라 다르지만 대부분의 인증 프로그램은 동일한 기본 단계를 거칩니다.

• 준비도 또는 격차 분석: 조직은 현재 AI 거버넌스 관행을 ISO 42001 요구사항과 비교하여 평가합니다. 이 과정에서는 일반적으로 적용 범위 정의의 누락, 문서화되지 않은 책임, 일관되지 않은 위험 평가, 취약한 수명 주기 통제 또는 불충분한 감사 증거가 확인됩니다.

• AIMS 구축: 조직은 AIMS를 수립하거나 업데이트합니다. 여기에는 정책, 절차, 위험 평가, 영향 평가, 수명 주기 통제, 문서화 관행, 교육, 보고 및 부속서 A 통제 항목에 대한 적용성 선언서가 포함됩니다.

• 내부 감사: 조직은 인증 심사 전에 내부 감사를 수행하여 AIMS가 요구사항을 충족하는지, 통제가 명시된 대로 운영되는지 검증합니다.

• 1단계 인증 심사: 인증 기관은 준비도, 적용 범위 및 문서를 검토합니다. 이 단계의 목적은 조직이 이행 심사를 받을 준비가 되었는지 판단하는 것입니다.

• 2단계 인증 심사: 심사원은 AIMS가 구현되어 실제로 운영되고 있는지 확인합니다. 이 과정에는 인터뷰, 증거 검토, 표본 추출, 통제 테스트 및 경영 검토 기록의 조사가 포함될 수 있습니다.

• 사후관리 심사 및 갱신 심사: 인증은 일회성 절차가 아닙니다. 일반적으로 조직은 매년 사후관리 심사를 받고 3년마다 갱신 심사를 거칩니다. 이를 통해 표준의 지속적 개선 모델을 강화합니다.

조직은 지역, 인증 범위 및 이용 가능 여부에 따라 BSI, Schellman, A-LIGN, Mazars, TÜV 또는 DNV와 같은 공인 인증 기관과 협력할 수 있습니다. 인증에 걸리는 기간은 조직마다 크게 다르지만 많은 조직은 6~18개월이 소요될 것으로 예상해야 합니다. 이미 성숙한 ISO 27001, ISO 9001 또는 이와 유사한 관리 시스템을 운영하는 조직은 기간을 단축할 가능성이 높습니다.

ISO 42001은 모든 AI 거버넌스 프레임워크나 법적 의무를 대체하지 않습니다. 조직이 이 표준의 목적, 즉 인증 가능한 AI 관리 시스템을 수립하는 것임을 이해할 때 가장 효과적으로 활용할 수 있습니다.

많은 조직은 이러한 프레임워크를 함께 활용합니다. 예를 들어 NIST AI RMF로 AI 위험 분석의 구조를 수립하고 ISO/IEC 23894로 위험 관리 관행을 심화하며 ISO/IEC 22989로 용어를 일치시킬 수 있습니다. 이어서 ISO 42001을 활용해 이러한 관행을 반복 가능하고 감사 가능한 방식으로 운영하는 AIMS를 수립할 수 있습니다.

Snowflake는 ISO/IEC 42001 인증을 획득했습니다. 이는 공인된 제3자가 책임 있는 AI 거버넌스에 관한 표준 요구사항을 기준으로 Snowflake의 AIMS를 감사했다는 의미이며 고객은 Snowflake Compliance Center를 통해 관련 감사 증거에 액세스할 수 있습니다.

자체 ISO 42001 프로그램을 구축하는 고객에게 인증된 플랫폼은 데이터 및 AI 거버넌스 통제 환경의 일부 영역을 지원할 수 있습니다. 각 조직은 여전히 자체 AI 사용 사례, 위험 평가, 영향 평가, 정책 및 운영 결정에 대한 책임을 지므로 인증된 플랫폼이 고객의 AIMS 자체를 인증해 주는 것은 아닙니다. 다만 핵심 데이터 및 인프라 통제가 거버넌스 체계에 따라 관리되고 문서화되며 감사 가능하다는 증거를 조직이 체계화하는 데 도움이 될 수 있습니다.

Snowflake 기능은 부속서 A의 여러 통제 영역을 지원할 수 있습니다.

Snowflake Horizon Catalog는 광범위한 추적성과 가시성을 제공하도록 설계되었습니다. 이를 통해 팀은 메타데이터, 계보, 액세스 기록, 분류, 태깅 및 정책 적용을 기반으로 데이터, 애플리케이션 및 모델을 거버넌스할 수 있습니다. Horizon은 Snowflake와 외부 스토리지 전반의 데이터 거버넌스를 관리하는 방법을 제공하며 Access History와 Time Travel 기능은 과거 활동과 데이터 상태를 검토할 수 있도록 지원합니다. 이러한 기능은 AI 데이터, 수명 주기 문서화, 액세스 거버넌스 및 보고와 관련된 부속서 A 통제 항목과 연관됩니다.

Cortex Guard는 잠재적으로 안전하지 않은 LLM 입력과 출력을 필터링하도록 지원하여 AI 시스템을 더 안전하게 사용할 수 있도록 합니다. 이는 인적 감독, 책임 있는 사용 및 사용자에게 제공되는 정보와 관련된 통제를 지원할 수 있습니다.

모델 레지스트리는 팀이 모델 수명 주기 메타데이터, 버전 및 배포 컨텍스트를 관리하도록 지원하며, 이는 수명 주기 거버넌스, 문서화 및 운영 검토를 위한 통제를 지원합니다.

이러한 기능을 함께 활용하면 조직은 AI 시스템이 의존하는 데이터 세트, 모델, 정책, 계보 경로, 액세스 기록, 문서 및 사용 신호에 거버넌스를 적용할 수 있습니다. 이는 인증이 증거에 기반하는 ISO 42001에서 특히 중요합니다. 조직은 정책이 존재한다는 사실뿐 아니라 관련 통제가 실제로 적용되고 검토되며 지속적으로 개선되고 있음을 입증할 수 있어야 합니다.

ISO 42001은 조직이 AI 거버넌스를 원칙에서 프로세스로 전환할 수 있는 실용적인 방법을 제공합니다. 조직은 여전히 어떤 AI 시스템을 적용 범위에 포함할지, 누가 해당 시스템을 책임질지, 어떤 위험이 중요한지, 어떤 통제를 적용할지, 통제가 제대로 작동하고 있음을 어떤 증거로 입증할지 결정해야 합니다. 그러나 이 표준은 이러한 결정을 일관되게 내릴 수 있는 구조를 제공합니다. 

AI 시스템이 거버넌스가 적용된 데이터, 문서화된 모델 수명 주기, 명확히 정의된 인적 감독, 공급업체 통제, 영향 평가, 모니터링 및 시정 조치를 기반으로 운영되면 거버넌스는 시스템 운영 방식의 일부가 됩니다. 이것이 ISO 42001의 가치입니다. 기술과 조직, 규제 환경이 계속 변화하는 가운데 AI 프로그램에 검토, 감사 및 개선이 가능한 관리 시스템을 제공합니다.