모델 카드 설명: 신뢰, 투명성 및 규정 준수를 위한 AI 모델 문서화 방법

AI 시스템이 개발 단계에서 프로덕션 단계로 전환될 때 배포를 담당하는 팀은 해당 AI 모델이 특정 워크플로우에 적합한지 평가하는 데 필요한 맥락을 충분히 확보하지 못하는 경우가 많습니다. 모델의 벤치마크 결과만으로는 모델이 어떤 환경에서 평가되었는지, 어떤 대상 집단을 대상으로 테스트되었는지 또는 어떤 상황에서 성능이 저하될 가능성이 있는지 알 수 없습니다. 이러한 정보가 없으면 배포 결정은 근거가 아닌 가정에 의존하게 되며 그 결과는 다운스트림 팀, 사용자 및 프로세스가 감당하게 됩니다.

모델 카드는 이러한 문제를 직접 해결합니다. 모델 카드는 모델의 정의, 학습 및 평가에 사용된 데이터, 관련 조건별 성능, 사용해서는 안 되는 영역과 검토자가 이해해야 할 위험을 문서화합니다. AI가 프로덕션 환경에 더욱 깊이 적용될수록 이러한 문서는 관계자 간 조율 수단으로 기능합니다. 데이터 과학자, 위험 검토자, 규정 준수 팀 및 다운스트림 통합 담당자는 동일한 맥락을 공유하지 못하는 경우가 많으며 모델 카드는 이들이 공통으로 참조할 수 있는 아티팩트를 제공합니다.

모델 카드는 AI 또는 ML 모델의 목적, 학습 데이터, 성능 특성, 의도된 용도, 알려진 한계, 공정성 고려 사항 및 윤리적 고려 사항을 설명하는 표준화된 문서입니다. 검토자는 이를 일관된 참조 자료로 활용해 특정 워크플로우에 해당 모델이 적합한지 판단할 수 있습니다. 모델 카드는 책임 있는 AI에 대한 조직의 의지를 실제 운영에 적용하는 데 도움이 됩니다.

모델 카드라는 개념은 AI 연구자 Margaret Mitchell을 비롯한 연구진이 공동 저술한 2019년 ACM 논문 Model Cards for Model Reporting에서 처음 소개되었습니다. 이 논문은 모델 카드를 학습된 ML 모델과 함께 제공되는 간략한 문서로 정의합니다. 모델 카드에는 필요한 경우 인구통계학적, 문화적, 표현형적 집단과 여러 특성이 교차하는 집단을 포함하여 모델의 의도된 적용 분야와 관련된 다양한 조건에서 수행한 벤치마크 평가 결과가 기록됩니다.

모델 카드는 영양 성분표에 비유되기도 하지만 엔터프라이즈 팀에는 소프트웨어 릴리스 아티팩트에 더 가깝습니다. 즉, 특정 모델 버전과 연결된 버전 관리 기록으로서 검토자가 모델의 의도된 용도, 평가 데이터, 세분화된 성능, 주의 사항 및 권장 배포 방식을 확인할 수 있도록 합니다.

모델 카드는 데이터 세트용 데이터시트와 다릅니다. 데이터시트는 데이터 세트의 개발 동기, 구성, 수집 과정 및 권장 용도를 문서화합니다. 반면 모델 카드는 해당 데이터를 사용해 학습하거나 평가한 모델의 성능과 적합한 사용 영역 및 부적합한 사용 영역을 문서화합니다.

Mitchell 외 연구진은 팀이 모델 세부 정보, 의도된 용도, 성능 및 한계를 일관된 방식으로 보고할 수 있도록 모델 카드 구조를 제안했습니다. 정확한 형식은 조직, 모델 유형 및 위험 수준에 따라 달라질 수 있지만 이러한 표준 섹션은 여전히 유용한 기반이 됩니다.

1. 모델 세부 정보

모델 세부 정보 섹션에서는 모델과 해당 모델을 담당하는 팀을 식별합니다. 일반적으로 모델 이름, 버전, 출시일, 모델 유형, 라이선스, 인용 정보 또는 논문 참조, 담당자 및 연락처 정보가 포함됩니다.

버전, 담당자 또는 날짜가 없으면 검토자가 해당 모델 카드가 어떤 모델을 설명하는지, 현재 배포된 버전을 반영하는지 또는 성능이 변경될 때 누구에게 문의해야 하는지 알 수 없으므로 모델 카드의 유용성이 떨어집니다.

2. 의도된 용도

의도된 용도 섹션에서는 모델이 수행하도록 설계된 작업, 예상 사용자와 의도된 범위를 벗어나는 사용 사례를 설명합니다. 지원 티켓을 분류하여 적절한 담당자에게 전달하도록 설계된 모델이 자격 심사나 법적 구속력이 있는 답변에도 반드시 적합한 것은 아닙니다.

범위를 벗어나는 용도는 명확하게 밝혀야 합니다. 모델이 원래 맥락과 유사해 보이지만 데이터, 사용자, 결과 또는 규제 의무가 다른 워크플로우에서 재사용되면 위험이 커지는 경우가 많습니다.

3. 요인

요인 섹션에서는 모델 성능에 영향을 미칠 수 있는 조건을 식별합니다. 여기에는 인구통계학적 요인, 환경 조건, 데이터 수집 방법, 계측 방식의 차이, 언어 변이, 지역, 기기 유형 또는 기타 맥락별 변수가 포함됩니다.

컴퓨터 비전 모델의 경우 관련 요인에는 조명, 이미지 해상도 또는 피부색이 포함될 수 있습니다. 언어 모델의 경우에는 방언, 도메인 어휘 또는 문서 형식이 해당할 수 있습니다. 엔터프라이즈 예측 모델의 경우에는 지역, 계절성, 제품 범주 또는 고객 세그먼트가 포함될 수 있습니다.

4. 지표

지표 섹션에서는 모델이 어떻게 평가되었는지 설명합니다. 정확도, 정밀도, 재현율, F1 점수, 위양성률, 위음성률, 지연 시간, 보정, 견고성 지표 또는 작업별 지표가 포함될 수 있습니다.

종합 성능 수치만으로는 충분하지 않습니다. 지표 섹션에서는 선택한 지표가 해당 사용 사례에 중요한 이유, 적용된 임계값과 이러한 임계값이 다운스트림 의사 결정에 미치는 영향을 설명해야 합니다.

5. 평가 데이터

평가 데이터 섹션에서는 모델 테스트에 사용된 데이터 세트의 출처, 선정 이유, 전처리 방법과 해당 데이터가 모델의 의도된 배포 환경을 반영하는지 설명합니다.

정제되고 균형이 맞춰진 데이터나 합성 데이터로 평가된 모델은 결측값, 클래스 불균형, 모호한 레이블 또는 분포 드리프트가 있는 프로덕션 데이터에서 다르게 작동할 수 있습니다.

6. 학습 데이터

학습 데이터 섹션에서는 모델 학습에 사용된 데이터 세트의 출처, 선정 목적, 전처리 단계, 포함 및 제외 기준과 알려진 한계를 설명합니다. 학습 데이터 세트에 대한 별도의 데이터시트가 있는 경우 모델 카드에서 세부 내용을 반복하는 대신 해당 데이터시트를 참조할 수 있습니다.

파운데이션 모델이나 대규모 데이터 모음으로 학습된 모델의 경우 이 섹션에서 학습 데이터 구성, 데이터 기준 시점, 필터링 방식과 제외된 콘텐츠의 범주를 다뤄야 할 수 있습니다. 파인튜닝된 모델의 경우 기본 모델과 파인튜닝 데이터를 구분하고 파인튜닝으로 예상 동작이 어떻게 달라지는지 설명해야 합니다.

7. 정량 분석

정량 분석 섹션에서는 관련 요인별로 성능을 세분화합니다. 이 섹션에서 팀은 세분화된 성능, 하위 집단 분석 및 교차성 분석 결과를 보고합니다.

전체 정확도는 적절해 보이더라도 언어, 지역, 기기 유형 또는 인구통계학적 집단에 따라 성능이 달라질 수 있습니다. 이러한 차이를 보고하면 배포 담당자가 추가 테스트, 모니터링 또는 완화 조치가 필요한 영역을 파악할 수 있습니다.

8. 윤리적 고려 사항

윤리적 고려 사항 섹션에서는 민감한 사용 사례, 잠재적 피해, 편향 관련 고려 사항, 오용 위험 및 완화 조치를 설명합니다. 일반적인 위험 관련 문구로 작성해서는 안 되며 모델이 실제로 사용되는 맥락에 기반해야 합니다.

예를 들어 채용 모델의 경우 관련 고려 사항에는 인구통계학적 편향, 대리 변수 및 사람의 검토 요건이 포함됩니다. 헬스케어 모델의 경우에는 환자 안전, 대상 집단의 대표성 및 에스컬레이션 경로를 고려해야 합니다. 생성형 AI 애플리케이션의 경우에는 할루시네이션, 과도한 의존, 개인정보 유출, 안전하지 않은 출력 및 프롬프트 주입을 고려해야 합니다.

9. 주의 사항 및 권장 사항

주의 사항 및 권장 사항 섹션에서는 알려진 한계, 미해결 질문, 필수 모니터링, 권장되는 사람의 감독, 적합하지 않은 사용 환경, 재학습 트리거와 배포 전에 수행해야 할 추가 테스트 등 배포 담당자를 위한 실용적인 지침을 제공합니다.

이 섹션은 개발팀 외부의 사용자에게 모델 카드가 특히 유용한 부분입니다. “20페이지를 초과하는 문서에서는 평가되지 않음” 또는 “계정 폐쇄 권고 시 사람의 검토 필요”와 같은 주의 사항은 다운스트림 팀이 그에 맞춰 시스템을 설계할 수 있도록 구체적인 경계를 제시합니다.

모든 모델에 동일한 수준의 문서화가 필요한 것은 아닙니다. 위험도가 낮은 내부 분석 모델, 고객 대상 모델 및 파운데이션 모델은 각각 의무, 대상 독자 및 업데이트 방식이 다릅니다. 모델 카드는 모델의 배포 맥락과 잠재적 영향에 부합해야 합니다.

내부 전용

내부 전용 모델에는 간소화된 모델 카드만으로 충분할 수 있습니다. 모델의 목적, 담당자, 학습 데이터, 평가 데이터, 모니터링 방식 및 검토 날짜를 담은 간략한 기록을 작성하면 모델이 대시보드, 파이프라인 또는 운영 프로세스 내부에서 문서화되지 않은 종속 요소가 되는 것을 방지할 수 있습니다.

고객 대상

고객 대상 모델이나 제품에 내장된 모델에는 더욱 상세한 문서가 필요합니다. 모델이 사용자 경험, 고객 워크플로우 또는 규제 대상 비즈니스 프로세스에 영향을 미치는 경우 검토자는 의도된 용도, 범위를 벗어나는 사용 사례, 관련 요인별 성능, 평가 데이터, 알려진 한계, 사람의 감독에 대한 요구 사항 및 변경 로그를 확인할 수 있어야 합니다.

파운데이션 모델

파운데이션 모델과 파인튜닝된 변형 모델에는 일반적으로 더 광범위한 문서가 필요합니다. 파운데이션 모델 카드에는 학습 데이터 기준일, 안전성 평가, 레드팀 평가 결과, 탈옥 공격에 대한 내성, 콘텐츠 제한 사항, 적대적 프롬프트에 대한 모델 동작과 다운스트림 개발자를 위한 지침이 포함될 수 있습니다. OpenAI, Google DeepMind를 비롯한 여러 모델 제공업체는 주요 모델을 출시할 때 이러한 포괄적인 문서화 방식에 따라 시스템 카드 또는 모델 카드를 공개합니다.

고위험 시스템

고위험 AI 시스템에는 규제 의무를 뒷받침하는 문서도 필요할 수 있습니다. EU 인공지능법에 따라 고위험 AI 시스템 제공자는 시스템을 시장에 출시하거나 사용에 투입하기 전에 기술 문서를 작성해야 합니다. 부속서 IV에서는 기술 문서에 의도된 목적, 제공자, 버전, 개발 프로세스, 데이터 요건, 테스트 절차 및 위험 관리 조치를 포함하도록 규정합니다.

버전 관리는 필수입니다. 모델을 재학습하거나 파인튜닝할 때, 평가 내용이 중대하게 변경될 때 또는 배포에 영향을 미치는 업데이트가 이루어질 때마다 새로운 버전의 모델 카드를 작성하거나 기존 카드의 변경 사항을 문서화해야 합니다. 팀이 모델의 동작을 이를 설명하는 아티팩트와 연결할 수 있도록 모델 카드에는 날짜, 모델 버전, 변경 사항 요약 및 검토 책임자를 포함해야 합니다.

가장 효과적인 모델 카드는 모델을 배포하는 담당자를 위해 작성됩니다. 모델이 수행할 수 있는 작업, 테스트된 환경, 실패할 수 있는 조건과 모델을 신뢰하기 전에 팀이 확인해야 할 사항을 설명합니다.

효과적인 모델 카드는 일반적으로 다음 사항을 충족합니다.

• 사용 사례에 적합한 지표를 사용한 성능 정량화
• 관련 요인별 성능 세분화
• 범위를 벗어나는 용도의 명확한 명시
• 모델 레지스트리 항목, 학습 데이터 문서 및 평가 데이터 연결
• 담당자, 날짜, 버전 및 변경 로그 포함
• 재학습 또는 중대한 변경 이후의 검토 요건 문서화

일반적인 실패 유형도 그에 못지않게 중요하게 고려해야 합니다.

• 문서 대신 마케팅 문구를 제시하면 검토자가 배포 위험을 평가하는 데 도움이 되지 않습니다.
• 자리표시자, 하위 집단별 분석의 부재, 범위 외 용도에 대한 명시적 설명의 부재와 문의 담당자 정보의 누락은 문서를 활용할 수 없게 만듭니다.
• 집계 지표만 제시하는 방식은 집단, 환경 또는 데이터 조건별 성능 편차를 숨길 수 있어 특히 위험합니다.

템플릿과 모델 카드 생성 도구는 팀이 메타데이터를 수집하고 지표를 체계화하며 빈 문서에서 처음부터 작성해야 하는 부담을 줄이는 데 도움이 됩니다. 그러나 운영 측면도 간과해서는 안 됩니다. 담당자를 지정하고 모델 카드를 올바른 모델 버전에 연결하며 재학습 후 업데이트하고 검토자가 모델 카드를 릴리스 프로세스의 신뢰할 수 있는 자료로 활용할 수 있도록 해야 합니다.

노트북에서 모델을 생성하고 Snowflake Model Registry에 저장한 후 SQL을 통해 배포하는 방법을 알아보세요.

모델 카드의 기반이 되는 정보가 모델 카드에서 설명하는 데이터, 모델 및 거버넌스 통제와 가까운 곳에 있을수록 모델 카드를 더 쉽게 유지 관리할 수 있습니다. Snowflake AI 데이터 클라우드는 팀이 공통 환경에서 데이터 및 AI 거버넌스를 관리할 수 있도록 설계되었습니다. 따라서 모델 문서는 수동 업데이트에 의존하는 대신 거버넌스가 적용된 메타데이터를 활용할 수 있습니다.

Snowflake Model Registry는 모델의 출처나 유형과 관계없이 Snowflake에서 모델과 관련 메타데이터를 관리할 수 있는 방법을 제공합니다. 모델 버전, 아티팩트, 메타데이터 및 추론 워크플로우를 지원하므로 팀은 모델 카드를 해당 카드에서 설명하는 모델 버전에 연결할 수 있습니다.

버전이 관리되는 이러한 레지스트리 컨텍스트는 모델 카드가 특정 모델 버전을 설명해야 한다는 점에서 중요합니다. 여기에는 특정 시점에 사용된 학습 데이터, 선정된 평가 데이터, 보고된 지표, 승인된 의도된 용도, 기록된 주의 사항 및 지정된 모니터링 담당자가 포함됩니다.

Snowflake Horizon Catalog는 정의, 계보 및 정책 적용 방식 등 데이터 자산을 둘러싼 거버넌스 컨텍스트를 제공하여 모델 카드 유지 관리를 지원할 수도 있습니다. 계보 기능을 통해 사용자는 지원되는 오브젝트를 살펴보고 업스트림 또는 다운스트림 종속성을 추적할 수 있습니다. 모델 카드에서 계보 및 메타데이터 컨텍스트는 팀이 학습이나 평가에 사용한 거버넌스 적용 데이터 자산과 해당 자산이 다운스트림 용도에 어떻게 연결되는지를 문서화하는 데 도움이 됩니다.

Snowflake Cortex AI에는 정확도, 지연 시간, 사용량 및 비용과 같은 지표를 사용해 생성형 AI 애플리케이션과 에이전트를 평가하는 AI 옵저버빌리티 기능이 포함되어 있습니다. Snowflake는 시맨틱 뷰도 지원하므로 팀은 검증된 쿼리를 실행하고 평가 실행 내역을 검토하며 시간 경과에 따른 성능 회귀를 추적할 수 있습니다. 이러한 결과는 모델 카드의 지표, 주의 사항 및 권장 사항 섹션을 뒷받침하는 근거로 활용할 수 있습니다.

또한 Snowflake의 ISO/IEC 42001 인증은 독립적인 평가를 거친 AI 경영시스템과 거버넌스 프레임워크를 갖추고 있음을 보여줍니다.

모델 카드는 단순한 규정 준수 체크 항목이 아닙니다. 모델이 수행하는 작업과 테스트된 환경, 사용해서는 안 되는 영역을 파악해야 하는 검토자, 배포 담당자 및 위험 책임자가 모델을 실제로 활용하는 데 필요한 문서를 제공합니다.

모델 카드 도입에 따른 투자의 가치는 규모가 확대될수록 분명해집니다. 조직이 더 많은 모델을 다양한 워크플로우에 배포함에 따라 개별 모델의 프로비넌스, 조건별 성능 및 알려진 한계를 신속하게 평가하는 역량은 필수 운영 요건이 됩니다. 모델 카드를 활용하면 이러한 평가를 증거에 기반해 수행할 수 있습니다.