알고리즘 편향 설명: 유형, 탐지 및 완화 기술

이제 인공지능이 신용 결정, 임상 위험 점수 및 고용 심사와 같은 고충격 워크플로에 통합되고 있으므로 알고리즘 편향은 법적, 윤리적 및 평판상의 결과를 가진 운영 위험이 되었습니다. 모델은 접근, 기회 또는 치료에 영향을 미치는 결정에 학습된 패턴을 적용하고 있습니다.

알고리즘 편향은 이러한 학습된 패턴이 특정 그룹에 대해 체계적으로 불공정한 결과를 생성할 때 발생합니다. 문제는 종종 모델이 학습하는 방식과 출력이 사용되는 방식을 형성하는 훈련 데이터, 레이블, 프록시 변수, 목표 함수 또는 배포 맥락에서 발생합니다. 조직은 시스템에 편향이 들어오는 위치와 그 영향을 줄일 수 있는 제어를 이해하기 위해 데이터 거버넌스, 모델 평가, 모니터링 및 인간 책임이 필요합니다. 이러한 관행은 책임 있는 AI,의 기초가 되며, 시스템은 공정성, 책임 및 위험 관리를 염두에 두고 설계, 평가 및 관리됩니다.

알고리즘 편향은 특정 그룹에 대해 불공정한 이점이나 불이익을 생성하는 AI 또는 기계 학습 (ML) 시스템의 체계적인 오류입니다. 영향을 받는 그룹은 인종, 성별, 나이 또는 장애와 같은 보호 속성에 의해 정의될 수 있지만, 편향은 ZIP 코드, 학교, 소득 패턴, 의료 비용 또는 고용 이력과 같은 보호 속성을 대신하는 프록시 변수를 통해서도 나타날 수 있습니다.

이는 실수가 여러 집단에 걸쳐 대략 고르게 분포하는 무작위 오차(random error)와는 다릅니다. 모든 고객 세그먼트에서 유사한 비율로 거래를 놓치는 사기 모델은 정확성 문제를 가질 수 있지만, 반드시 공정성 문제를 가지는 것은 아닙니다. 전체 정확성이 수용 가능해 보일 때에도 한 하위 그룹에 대해 더 높은 허위 긍정 비율을 생성하는 모델은 다른 우려를 불러일으킵니다. 평균 지표가 특정 하위 그룹과 관련된 성능 문제를 가리고 있습니다.

알고리즘 편향은 통계적 편향보다 더 넓은 개념으로, 일반적으로 추정기의 기대값과 추정하려는 실제 값 간의 차이를 나타내는 기술 용어입니다. 적용된 AI에서 알고리즘 편향은 모델 주위의 사회적 및 운영적 맥락을 포함합니다: 훈련 데이터가 나타내는 것, 레이블이 측정하는 것, 모델이 최적화하는 목표 및 사람들이 출력을 사용하는 방법입니다.

편향은 의도적일 수도, 비의도적일 수도, 또는 발생할 수도 있습니다. 모델은 의도적인 차별 규칙을 반영할 수 있지만, 더 자주 역사적 데이터에서 불평등한 접근, 일관되지 않은 측정 또는 알고리즘 재사용을 위해 설계되지 않은 제도적 프로세스에 의해 형성된 데이터를 학습합니다. 예를 들어, 과거 채용 결정의 표는 중립적인 비즈니스 데이터처럼 보일 수 있지만, 모델이 이전의 채용 네트워크, 승진 관행 또는 일부 후보자를 다른 후보자보다 선호하는 심사 기준에 의해 생성된 패턴을 재현하는 데 사용될 때는 그렇지 않습니다. 이는 비의도적 편향의 한 예입니다. 다른 경우에는 편향된 입력이나 명시적 규칙 없이도 편향이 발생할 수 있으며, 변수 간의 상호작용이 체계적으로 불균형한 결과를 초래합니다.

알고리즘 편향은 데이터 수집에서 모델 배포에 이르기까지 AI 생애 주기의 거의 모든 지점에서 발생할 수 있습니다. 조직은 모델이 편향을 포함하고 있는지 여부뿐만 아니라 편향이 어디에서 발생하는지, 어떤 통제가 이를 해결할 수 있는지를 식별할 수 있어야 합니다.

역사적 편향

역사적 편향은 AI를 학습시키는 데이터 자체에 과거의 차별이나 불평등한 관행이 그대로 투영되어 있을 때 발생합니다. 역사적 모기지 승인에 대한 훈련을 받은 대출 모델은 레드라이닝, 부의 불균형 또는 이전의 언더라이팅 관행에 의해 형성된 패턴을 학습할 수 있습니다. 보호된 속성이 제거되더라도, 이웃, 소득 안정성 또는 신용 기록과 같은 관련 변수는 패턴을 유지할 수 있습니다.

이는 "정확한" 역사적 예측이 항상 공정한 미래 의사결정이 아닐 수 있기 때문에 중요합니다. 모델은 과거를 충실히 학습할 수 있지만, 여전히 조직이 반복해서는 안 되는 결과를 생성할 수 있습니다.

표현 편향

표현 편향은 일부 그룹이 훈련 데이터에서 과소 대표될 때 발생합니다. 모델이 하위 그룹의 예제를 적게 볼 때, 일반적으로 해당 하위 그룹에 적용되는 패턴을 학습할 정보가 적습니다.

얼굴 분석 시스템은 잘 알려진 예를 제공합니다. “젠더 쉐이드” 연구에서 연구자 조이 부올라미니와 팀닛 게브루는 상업적인 성별 분류 시스템이 어두운 피부를 가진 여성보다 밝은 피부를 가진 남성에게 훨씬 더 잘 작동한다는 것을 발견했으며, 어두운 피부를 가진 여성에게는 가장 높은 오분류율이 보고되었습니다.

이러한 정확도 격차는 얼굴 인식이 법 집행에 사용될 때 특히 해로울 수 있습니다. 디트로이트에서, 8개월 임신한 흑인 여성 포르차 우드러프는 얼굴 인식 기술이 그녀를 차량 강도 사건의 가능한 용의자로 반환한 후 체포되었으며, 사건은 나중에 기각되었습니다.

측정 편향

측정 편향은 특성이나 레이블이 실제로 목표 개념을 측정하지 않을 때 발생합니다. 예를 들어, 체포율은 범죄율을 측정하지 않습니다. 그들은 또한 경찰 패턴, 보고 관행 및 집행 우선 순위를 반영합니다. 의료비로 지출한 액수가 환자에게 실제 의료 서비스가 얼마나 필요한지(의료 필요도)를 그대로 대변해 주지는 못합니다. 이는 치료 접근성, 보험 보장, 지불 능력 및 치료 추구 행동을 반영합니다.

이러한 차이는 지아드 오버마이어(Ziad Obermeyer)와 공동 저자들이 2019 Science study에 발표한 연구의 핵심 내용이었습니다. 해당 연구는 널리 쓰이는 의료 위험 알고리즘에서 인종적 편향을 발견했는데, 이는 모델이 의료 비용을 의료 필요도의 대리 변수로 활용했기 때문이었습니다. 동일한 위험 점수에서 흑인 환자들은 백인 환자들보다 더 아픈 경우가 많았는데, 이는 의료 접근성의 불평등으로 인해 역사적으로 그들의 치료에 더 적은 비용이 지출되었음을 의미했기 때문입니다.

집계 편향

집계 편향은 서로 다른 하위 그룹이 서로 다른 기본 패턴을 가지고 있음에도 불구하고 하나의 모델이 이질적인 인구에 적용될 때 나타납니다. 예를 들어, 단일 임상 모델은 바이오마커, 기초 위험 또는 질병 표현이 민족 그룹, 연령 그룹 또는 치료 환경에 따라 다를 경우 성능이 저조할 수 있습니다.

문제는 모든 하위 그룹이 별도의 모델이 필요하다는 것이 아닙니다. 조직이 공유 모델이 제공하는 인구에 적합한지 테스트해야 한다는 것입니다. 하위 그룹 평가 없이, 모델은 평균적으로는 수용 가능해 보일 수 있지만 집계에서 가장 적게 대표되는 사람들에게는 실패할 수 있습니다.

평가 편향

평가 편향은 기준선이나 테스트 데이터가 배포 인구를 반영하지 않을 때 발생합니다. 한 병원의 환자 집단, 한 고용주의 지원자 풀 또는 한 지역의 재무 데이터에 대해 훈련되고 테스트된 모델은 강력한 검증 결과를 보일 수 있지만, 다른 곳에 배포될 때는 다르게 작동할 수 있습니다.

이것이 모델 평가에 배포 특정 슬라이스를 포함해야 하는 이유입니다. 예를 들어, 한 제품 라인에 대해 훈련된 사기 모델은 지역, 고객 세그먼트 및 행동 패턴이 다른 거래 채널에서 사용될 경우 전 세계적인 정밀도와 재현율만으로 판단해서는 안 됩니다.

배포 편향

배포 편향은 모델이 설계되지 않은 맥락에서 사용될 때 발생합니다. 한 병원의 자원 배분 워크플로우를 지원하기 위해 개발된 임상 위험 점수는 환자 인구 통계, 코딩 관행 또는 치료 경로가 다른 다른 병원에서는 동일하게 작동하지 않을 수 있습니다.

모델 출력은 원래 맥락에서는 기술적으로 올바를 수 있지만, 새로운 맥락에서는 오해를 불러일으킬 수 있습니다. 이것이 배포 결정에 문서화가 필요하는 이유입니다: 의도된 사용, 제외된 사용, 훈련 인구, 검증 인구, 알려진 한계 및 필요한 인간 검토.

피드백 루프 편향

피드백 루프 편향은 모델 출력이 미래 모델을 훈련하거나 업데이트하는 데 사용되는 데이터를 형성할 때 발생합니다. 예측 경찰 활동은 고전적인 예입니다. 모델이 한 동네에 더 많은 경찰을 보내면, 그곳에서 더 많은 사건이 기록될 수 있으며, 이는 해당 지역이 더 높은 위험이라는 모델의 믿음을 강화합니다.

같은 패턴이 사기 예방, 대출, 채용 및 의료 분야에서도 나타날 수 있습니다. 지원자, 고객 또는 환자를 프로세스에 더 적게 배치하는 모델은 해당 그룹에 대한 미래 데이터를 줄여, 시스템의 다음 버전이 그들에게 더욱 신뢰할 수 없게 만들 수 있습니다.

편향 감지는 데이터에서 시작하여 모델 평가, 배포 모니터링 및 감사로 이어집니다. 모델이 표준 성능 테스트를 통과할 수 있지만, 팀이 관련 그룹 간의 결과를 측정하지 않으면 불균형한 영향을 초래할 수 있습니다.

하위 그룹 성능 분석이 기초입니다. 팀은 인구 통계 슬라이스 또는 기타 관련 세그먼트 간의 정확도, 정밀도, 재현율, 위양성 비율, 위음성 비율 및 보정을 비교합니다. 채용 모델의 경우, 이는 성별, 인종 및 연령대에 따른 선택 비율을 비교하는 것을 의미할 수 있습니다. 임상 모델의 경우, 이는 병원, 보험 유형, 언어 그룹 또는 질병 하위 유형에 걸쳐 재현율을 측정하는 것을 의미할 수 있습니다.

여러 AI 공정성 지표가 일반적으로 사용됩니다:

• 인구 통계적 평등: 모델이 인구 통계적 평등을 만족할 때, 긍정적 예측 비율이 그룹 간에 유사합니다. 채용 심사에서는 서로 다른 그룹이 유사한 비율로 진급한다는 것을 의미합니다. 이는 불균형한 영향을 감지하는 데 유용할 수 있지만, 기본 자격이나 위험 분포의 차이를 고려하지 않습니다.
• 동등한 기회와 동등화된 확률: 동등한 기회는 그룹 간의 동등한 진짜 긍정 비율에 초점을 맞춥니다. 동등화된 확률은 이를 진짜 긍정 비율과 거짓 긍정 비율 모두로 확장합니다. 이러한 지표는 놓친 긍정 또는 거짓 경고의 비용이 그룹 간에 다를 때 유용합니다.
• 그룹 내 보정: 모델이 그룹 내에서 보정되었다고 할 때, 예측된 확률이 각 그룹에 대해 동일한 의미를 가집니다. 두 지원자가 0.8의 상환 확률을 받으면, 관찰된 상환 비율은 그룹 간에 유사해야 합니다. 보정은 출력이 단순한 예/아니오 결정이 아닌 확률로 사용되는 위험 점수에서 특히 중요합니다.
• 반사실적 공정성: 반사실적 공정성은 보호된 속성이 변경되었을 때 모델의 예측이 변경되는지를 묻습니다. 이때 관련 인과 구조는 동일하게 유지됩니다. 이는 개념적으로 강력하지만, 신중한 인과 가정을 요구하며 단순한 대시보드 지표로 축소될 수 없습니다.

공정성 지표는 또한 상충 관계를 포함합니다. 알렉산드라 촐데초바와 존 클라인버그 외의 연구에 따르면, 일반적인 공정성 기준은 기본 비율이 그룹 간에 다를 때 제한된 조건을 제외하고는 모두 동시에 충족될 수 없음을 보여주었습니다. 이는 편향 탐지가 단순한 기술적 점수 매기기 작업이 아니라는 것을 의미합니다 — 조직은 결정 맥락, 법적 요구 사항 및 줄이려는 해악에 맞는 공정성 기준을 결정해야 합니다.

도구는 이 작업을 반복 가능하게 만드는 데 도움을 줄 수 있습니다. AI 공정성 360 (AIF360)은 IBM 연구에서 원래 개발된 오픈 소스 툴킷으로, ML 생애 주기 전반에 걸쳐 편향을 조사하고 보고하며 완화하는 데 사용됩니다. Fairlearn은 실무자들이 AI 시스템의 공정성 문제를 평가하고 완화할 수 있도록 도와줍니다. 여기에는 메트릭 및 완화 알고리즘을 통한 방법이 포함됩니다. Google과 PAIR의 What-If Tool은 팀이 입력, 하위 집합 및 공정성 메트릭에 따라 모델 동작을 테스트할 수 있게 해줍니다. SHAP와 같은 기능 기여 도구는 팀이 예측에 영향을 미치는 변수를 검사하는 데 도움을 줄 수 있지만, 기능 중요성만으로는 공정성을 증명할 수 없습니다.

완화는 편향이 시스템에 들어가는 위치에 따라 달라집니다. 일부 문제는 데이터 변경이 필요하고, 일부는 모델 변경이 필요하며, 일부는 임계값 또는 정책 변경이 필요하고, 일부는 모델을 사용하기 전에 조직 검토가 필요합니다.

전처리 개입

전처리 기술은 모델 훈련 전에 훈련 데이터를 수정합니다. 팀은 예제를 재가중치하여 저대표 그룹이 더 많은 영향을 미치도록 하거나, 하위 그룹 대표성을 균형 맞추기 위해 데이터를 재샘플링하거나, 저대표 그룹을 위한 예제를 추가하기 위해 데이터 증강을 사용하거나, 보호된 속성을 인코딩하는 모델의 능력을 줄이는 공정한 표현을 학습할 수 있습니다.

이 기술은 데이터 세트가 불균형이거나 특정 그룹이 잘 대표되지 않을 때 도움이 될 수 있지만, 모든 문제를 해결하지는 않습니다. 레이블 자체가 편향되어 있다면, 테이블을 재샘플링해도 목표 변수의 의미는 수정되지 않습니다.

처리 중 개입

처리 중 기술은 모델 훈련을 변경합니다. 팀은 손실 함수에 공정성 제약 조건을 추가하거나, 학습된 표현에서 보호된 속성 신호를 줄이기 위해 적대적 편향 제거를 사용하거나, 공정성 제약 학습을 비용 민감 분류 문제의 연속으로 전환하는 축소 접근 방식을 사용할 수 있습니다.

이 방법은 훈련 중 공정성을 정확도와 함께 최적화해야 할 때 유용합니다. 또한 팀이 공정성 제약 조건을 명시적으로 선택해야 하며, 인구 통계적 평등을 최적화하는 것이 기회 균등을 최적화하는 것과는 다른 행동을 초래할 수 있습니다.

후처리 개입

후처리 기술은 훈련 후 모델 출력을 조정합니다. 팀은 특정 오류 비율을 동등하게 만들기 위해 그룹별로 임계값 조정을 사용할 수 있으며, 보정된 동등한 확률 후처리를 적용하여 보정 측면을 유지하면서 예측을 변경할 수 있습니다.

이러한 방법은 모델이 이미 훈련되었거나 팀이 전체 훈련 파이프라인에 접근할 수 없을 때 실용적일 수 있습니다. 그들은 또한 그룹별로 다른 임계값이 법적, 윤리적 및 커뮤니케이션 문제를 제기할 수 있기 때문에 신중한 관리가 필요합니다.

데이터 파이프라인 개입

많은 편향 문제는 데이터 파이프라인 문제입니다. 팀은 레이블을 수정하고, 수집 관행을 개선하고, 계보를 문서화하고, 프록시 변수를 감사하거나, 통제된 접근 하에 테스트를 위해 누락된 하위 그룹 속성을 추가해야 할 수 있습니다. 모델 훈련에 사용되는 테이블은 레이블이 어디에서 왔는지, 각 특성을 생성한 변환이 무엇인지, 신선도가 어떻게 모니터링되는지, 품질 예외를 누가 소유하는지를 보여야 합니다.

팀이 기능을 출처로 추적할 수 없거나, 보호된 속성이나 프록시가 사용되었는지 식별할 수 없거나, 모델 버전에 사용된 훈련 데이터를 재현할 수 없다면, 그들은 편향을 신뢰성 있게 설명하거나 완화할 수 없습니다.

조직 개입

편향 완화는 또한 인간의 개입에 의존합니다. 다양한 검토 팀, 이해관계자 상담, AI 윤리 검토, 편향 영향 진술 및 에스컬레이션 경로는 조직이 모델 메트릭에만 나타나지 않는 해를 평가하는 데 도움을 줍니다.

고위험 시스템의 경우, 팀은 의도된 사용, 영향을 받는 인구, 알려진 한계, 공정성 기준, 완화 결정 및 모니터링 계획을 문서화해야 합니다. 목표는 편향이 제거되었다고 주장하는 것이 아닙니다. 조직이 그럴듯한 위험을 식별하고, 이를 테스트하고, 적절한 통제를 선택하고, 검토를 위한 증거를 유지했음을 보여주는 것입니다.

규제 기관은 조직이 특히 고용, 신용, 주택, 의료, 교육 및 기타 고위험 분야에서 알고리즘 결정을 어떻게 테스트하고 문서화하며 관리하는지를 보여줄 것을 점점 더 기대하고 있습니다.

EU AI 법은 훈련, 검증 및 테스트 데이터를 사용하는 고위험 AI 시스템이 데이터 거버넌스 및 데이터 품질 요구 사항을 충족하도록 요구합니다. 제10조는 데이터 수집, 준비, 관련성, 대표성, 오류, 완전성, 편향 및 시스템의 의도된 목적을 다룹니다.

미국에서는 알고리즘적 결정이 내려질 때 기존의 차별 금지 법률이 여전히 적용됩니다. 평등 신용 기회법, 제7조 및 공정 주택법은 자동화된 시스템이 신용, 고용 또는 주택 결정에 영향을 미칠 때 적용될 수 있습니다. AI 지원 채용을 위해 평등 고용 기회 위원회는 고용 선택 도구가 제7조에 따라 불균형 영향 문제를 어떻게 제기할 수 있는지 설명하는 기술 지원을 발행했습니다.

더 새로운 주 및 지역 규칙은 더 명확한 AI 거버넌스 요구 사항을 추가합니다. 뉴욕시 지방 법률 144는 고용주와 고용 기관이 자동화된 고용 결정 도구를 사용하는 것을 금지하며, 도구는 1년 이내에 편향 감사가 이루어져야 하고, 감사 정보는 공개적으로 이용 가능해야 하며, 후보자나 직원에게 필요한 통지가 제공되어야 합니다. 콜로라도의 AI 법은 고위험 AI 시스템의 개발자와 배포자가 알고리즘 차별의 알려진 또는 합리적으로 예측 가능한 위험으로부터 소비자를 보호하기 위해 합리적인 주의를 기울일 것을 요구하며, 요구 사항은 2026년 2월 1일부터 시행됩니다.

조직을 위해 AI 준수 요구 사항은 동일한 운영 모델을 지향합니다: 영향 평가, 편향 감사, 불리한 조치 증거, 모델 문서화, 모니터링 및 사람에게 영향을 미치는 결정에 대한 명확한 책임.

알고리즘 편향 완화 및 위험 관리는 관리되는 데이터 및 AI 기반에 의존합니다. 팀은 어떤 데이터가 훈련에 사용되었는지, 어떤 열이 보호된 속성이나 프록시 변수를 포함할 수 있는지, 어떤 변환이 모델 기능을 생성했는지, 어떤 모델 버전이 출력을 생성했는지, 어떤 제어가 민감한 데이터에 대한 노출을 제한하는지 알아야 합니다.

Snowflake는 AI 데이터 클라우드 내에서 이 작업 흐름을 지원할 수 있는 기능을 제공합니다. Snowflake Horizon Catalog는 조직이 민감한 데이터를 분류하고, 태그를 적용하고, 접근 제어를 시행하며, 동적 데이터 마스킹으로 민감한 필드를 보호하고, 행 접근 정책을 적용하는 데 도움을 줍니다. 이러한 제어는 편향 감사 작업 흐름에 유용합니다. 왜냐하면 보호된 속성이 종종 통제된 테스트를 위해 사용 가능해야 하지만, 일반 모델 개발이나 비즈니스 사용에서는 제한되어야 하기 때문입니다.

Snowpark ML 및 Cortex AI는 Snowflake에서 훈련, 검증 및 추론 데이터에 대해 편향 탐지 작업 흐름을 직접 지원할 수 있으며, 적절한 경우 Fairlearn 또는 AIF360과 같은 오픈 소스 라이브러리를 사용하는 작업 흐름을 포함합니다. 이 작업을 관리되는 데이터에 가깝게 유지하면 민감한 속성, 예측 및 평가 출력을 불필요하게 이동하는 것을 줄이는 데 도움이 됩니다.

Snowflake 모델 레지스트리는 팀이 Snowflake에서 모델 및 관련 메타데이터를 관리할 수 있게 해주며, 그 API는 모델 버전과 연결된 메트릭을 지원합니다. 팀은 표준 성능 메트릭과 함께 하위 그룹 메트릭을 기록할 수 있으므로, 모델 버전은 집계 정확도나 F1 점수만으로 평가되지 않습니다. Snowflake ML 관찰 가능성은 성능, 드리프트 및 볼륨과 같은 차원에서 생산 모델을 모니터링하는 것도 지원합니다.

접근 기록, 마스킹 정책 및 태그 기반 마스킹 정책은 노출을 제한하면서 감사 가능성을 유지하는 데 도움이 될 수 있습니다. Snowflake 접근 기록은 정책 업데이트 및 태그 변경과 같은 작업을 기록하며, 태그 기반 마스킹 정책은 민감한 데이터를 포함하는 태그가 지정된 열을 자동으로 보호할 수 있습니다. 편향 거버넌스를 위해 팀은 AI 작업 흐름에 사용되는 데이터 객체에 제어를 부착하고, 민감한 속성에 접근한 사람을 추적하며, 모델 검토, 감사 및 규제 문의를 위한 증거를 보존할 수 있습니다.

알고리즘 편향은 종종 모델 출력에서 발견되지만, 일반적으로 더 일찍 시작됩니다: 훈련을 위해 선택된 테이블, 기준 진실로 선택된 레이블, 편리해 보였던 대리 변수, 하위 그룹을 놓친 벤치마크 또는 검증 후 변경된 배포 맥락에서 시작됩니다. 이러한 위험을 해결하려면 알고리즘 책임이 필요합니다. 여기서 조직은 데이터, 모델 및 프로세스를 통해 결정을 추적하고 결과가 어떻게 생성되고 관리되었는지를 입증할 수 있습니다.

편향을 줄이려면 조직이 관리된 데이터, 문서화된 계보, 보호된 속성에 대한 접근 제어, 하위 그룹 평가, 모델 버전 증거, 모니터링 및 기술적 발견을 법적, 윤리적 및 운영적 결정에 연결할 수 있는 검토 프로세스를 갖추어야 합니다. 그런 의미에서 알고리즘 편향 완화는 일회성 모델 수정이 아닙니다. 이는 데이터 수집부터 배포 및 감사에 이르기까지 시스템을 따르는 AI 거버넌스 관행입니다.