KI-Compliance erklärt: Regulierungen und deren praktische Umsetzung

KI-Compliance beginnt mit einer täuschend einfachen Frage: Welche Vorgaben und Regeln gelten für dieses konkrete Modell, diesen KI-Assistenten, dieses Scoring-System oder diesen automatisierten Workflow — und durch welche Belege lässt sich die Einhaltung dieser Regeln zweifelsfrei nachweisen?

Diese Frage wird immer schwerer zu beantworten, da KI zunehmend in Kreditentscheidungen, klinischen Workflows, dem Screening von Mitarbeitenden, der Betrugserkennung, dem Kundensupport und internen Produktivitätstools eingesetzt wird. Ein Modell stützt sich möglicherweise auf Trainingsdaten aus einem System, Kundendatensätze aus einem anderen, Ausgaben eines Foundation-Model-Anbieters und einen menschlichen Genehmigungsschritt, der in einer separaten Anwendung stattfindet. Und jeder Teil dieser Kette kann eine regulatorische Verpflichtung, eine interne Richtlinienanforderung oder eine Audit-Frage nach sich ziehen, die später beantwortet werden muss.

KI-Compliance-Programme bieten Unternehmen eine Möglichkeit, diese Komplexität zu bewältigen, bevor ein Audit oder die Untersuchung eines Vorfalls dies erzwingt. Sie verbinden Gesetze und Standards mit Kontrollen, ordnen diese Kontrollen Nachweisen zu und halten die Nachweise aktuell, während sich Modelle, Daten, Anbieter und Anwendungsfälle ändern.

KI-Compliance ist die Disziplin, die sicherstellt, dass KI-Systeme und der Lebenszyklus zu ihrer Entwicklung und ihrem Betrieb den geltenden Gesetzen, Vorschriften, Branchenstandards und internen Richtlinien entsprechen. Sie umfasst die Kontrollen, die ein Unternehmen einsetzt, um nachzuweisen, dass ein KI-System im Einklang mit seinen regulatorischen Verpflichtungen entworfen, getestet, bereitgestellt, überwacht und überprüft wurde.

Damit ist die KI-Compliance mit mehreren benachbarten Disziplinen verwandt, unterscheidet sich jedoch von diesen:

• KI-Governance definiert das Betriebsmodell – wem ein KI-Anwendungsfall gehört, wer ihn genehmigt, wer ihn pausieren kann und wie Entscheidungen eskaliert werden.
• KI-Ethik definiert die Prinzipien – Fairness, Transparenz, Verantwortlichkeit, Datenschutz, Sicherheit und menschliche Aufsicht.
• KI-Risikomanagement definiert die Methodik – wie das Unternehmen KI-bezogene Risiken identifiziert, misst, priorisiert und mindert.
• KI-Compliance weist die Konformität nach – welche Regeln gelten, welche Kontrollen diese abdecken und welche Audit-Nachweise die Bestätigung der Kontrollen unterstützen.

Ein KI-Compliance-Programm beginnt in der Regel mit konkreten Objekten, nicht mit abstrakten Prinzipien: einem KI-Inventar, einer Model Card, einer Zusammenfassung der Trainingsdaten, einem System Owner, einer Zugriffsrichtlinie, einem Monitoring-Dashboard und einem Genehmigungsprotokoll. Diese Artefakte zeigen, ob ein System korrekt klassifiziert wurde, ob Hochrisiko-KI die richtige Überprüfung durchlaufen hat, ob die menschliche Aufsicht sinnvoll ist und ob das Monitoring nach der Bereitstellung tatsächlich stattfindet.

Unternehmen stehen typischerweise vor einem vielschichtigen regulatorischen Umfeld: umfassende KI-Gesetze, Datenschutzrichtlinien, branchenspezifische Aufsichtsvorgaben, Produktsicherheitsanforderungen, Arbeitsgesetze, Verbraucherschutzvorschriften und interne Risikorichtlinien.

EU AI Act

Der EU AI Act gilt weithin als eines der umfassendsten KI-spezifischen regulatorischen Frameworks, die derzeit in Kraft sind. Er nutzt eine nach Risiko abgestufte Struktur, die zwischen verbotenen KI-Praktiken, Hochrisiko-KI-Systemen, Systemen mit begrenztem Risiko, Allzweck-KI-Modellen und Anwendungen mit geringerem Risiko unterscheidet. Das Gesetz hat auch extraterritoriale Reichweite, was bedeutet, dass es für Anbieter und Betreiber außerhalb der EU gelten kann, wenn KI-Systeme oder deren Ergebnisse auf dem EU-Markt in Verkehr gebracht oder dort verwendet werden.

Das Gesetz wird phasenweise angewendet: Verbote und Anforderungen an die KI-Kompetenz gelten ab Februar 2025, Pflichten für General-Purpose-KI ab August 2025 und eine breitere Einführung erstreckt sich bis zum 2. August 2027.

Bei Hochrisiko-KI-Systemen kann die Compliance Risikomanagement, Data Governance, technische Dokumentation, Protokollierung, Transparenz, menschliche Aufsicht, Genauigkeit, Robustheit, Cybersicherheit und in einigen Fällen eine Konformitätsbewertung durch eine benannte Stelle erfordern.

Unternehmen, die Hochrisiko-KI-Systeme entwickeln oder bereitstellen, benötigen in der Regel eine technische Dokumentation, die zeigt, wie das System entworfen, getestet und dokumentiert wurde. Unternehmen, die diese Systeme nutzen, benötigen in der Regel Nachweise darüber, wie das System bereitgestellt wird, wer seine Ergebnisse überprüft, wie es überwacht wird und wie Probleme eskaliert werden.

Parallel zum EU AI Act verhandelt die EU die KI-Haftungsrichtlinie (AI Liability Directive), die zivilrechtliche Schadensersatzansprüche im Zusammenhang mit KI-Systemen regeln soll. Unternehmen sollten diese Entwicklung im Blick behalten, da sie die Haftungsfragen rund um fehlerhafte oder schädliche KI-Ausgaben erheblich beeinflussen wird.

DSGVO

Die DSGVO gilt bereits für viele KI-Systeme, die personenbezogene Daten verarbeiten, auch wenn diese Systeme nicht durch ein eigenständiges KI-Gesetz reguliert werden. Artikel 22 befasst sich mit bestimmten Rechten im Zusammenhang mit automatisierter Entscheidungsfindung, einschließlich Profiling, wenn Entscheidungen rechtliche oder ähnlich erhebliche Auswirkungen haben. Artikel 35 schreibt eine Datenschutz-Folgenabschätzung (DSFA) vor, wenn die Verarbeitung voraussichtlich zu einem hohen Risiko für Einzelpersonen führt, was groß angelegtes Profiling, die Verarbeitung sensibler Daten oder neuartige Technologien umfassen kann.

In der Praxis steht die DSGVO-Compliance oft neben der KI-spezifischen Compliance. Eine Bank, die KI für Kreditentscheidungen einsetzt, muss den Anwendungsfall möglicherweise gemäß den Hochrisikobestimmungen des EU AI Acts bewerten und gleichzeitig eine DSFA durchführen, die Rechtsgrundlage dokumentieren, Zugriffskontrollen durchsetzen und nachweisen, dass personenbezogene Daten gemäß den Anforderungen an Zweckbindung, Datenminimierung und Aufbewahrung behandelt wurden.

Regulierungen auf Bundes- und Bundesstaatsebene in den USA

In den USA die KI-Compliance-Landschaft bleibt ein komplexer Flickenteppich aus verschiedenen Gesetzen und Vorschriften. Auf Bundesebene hat sich die Politik seit der Executive Order von 2023 zu sicherer und vertrauenswürdiger KI gewandelt. Im Januar 2025 hob die Executive Order 14179, „Removing Barriers to American Leadership in Artificial Intelligence“, bestimmte frühere KI-Richtlinien auf und wies die Regierung an, Maßnahmen zu überprüfen und zu überarbeiten, die im Widerspruch zu ihren KI-politischen Zielen standen.

Dieser Wandel auf Bundesebene hat den Compliance-Druck jedoch nicht verringert. Stattdessen müssen Unternehmen weiterhin die Vorgaben von Bundesbehörden, Durchsetzungsmaßnahmen und Anforderungen auf Bundesstaatsebene bewältigen. Das NIST AI Risk Management Framework bleibt ein weit verbreitetes, freiwilliges Framework für das Management von KI-Risiken, und die Aufsichtsbehörden der einzelnen Sektoren wenden weiterhin bestehende Befugnisse auf KI-gestützte Systeme an.

Auf bundesstaatlicher und kommunaler Ebene sind mehrere Vorschriften zu wichtigen Referenzpunkten geworden:

• Colorado AI Act / ADMT: Der Colorado AI Act von 2024 wurde aufgehoben und durch SB26-189 ersetzt, das am 14. Mai 2026 unterzeichnet wurde. Das neue Gesetz beschränkt das Framework auf Technologie zur automatisierten Entscheidungsfindung (Automated Decision-Making Technology, ADMT), die zur wesentlichen Beeinflussung folgenschwerer Entscheidungen eingesetzt wird, während es gleichzeitig Bedenken hinsichtlich Algorithmic Bias durch Verpflichtungen zu Transparenz, Benachrichtigung, Korrektur, Einspruch und menschlicher Überprüfung adressiert. Die betroffenen Compliance-Pflichten treten voraussichtlich am 1. Januar 2027 in Kraft. Weitere Details zur praktischen Umsetzung werden im Rahmen der anstehenden Verordnungen des Generalstaatsanwalts von Colorado erwartet.
• NYC Local Law 144: New York City reguliert automatisierte Tools für Beschäftigungsentscheidungen, einschließlich Anforderungen an Bias-Audits und Benachrichtigungen für abgedeckte Beschäftigungszwecke.
• Kalifornische Vorschriften zur automatisierten Entscheidungsfindung: Kalifornien hat die CCPA-Vorschriften zu Technologie zur automatisierten Entscheidungsfindung, Risikobewertungen und Cybersicherheits-Audits finalisiert. Die Vorschriften treten am 1. Januar 2026 in Kraft, wobei für einige Anforderungen gestaffelte Compliance-Fristen gelten.

Branchenspezifische KI-Vorschriften

KI-Compliance hängt auch stark vom Branchenkontext ab. In regulierten Sektoren werden KI-Systeme oft eher durch bestehende Aufsichts-Frameworks als durch reine KI-Gesetze überprüft.

• Im Bankwesen prägen Leitlinien zum Modell-Risikomanagement seit langem, wie Unternehmen Modelle validieren, Annahmen dokumentieren und die Governance aufrechterhalten. Die Modellrisiko-Leitlinien der Federal Reserve betonen Entwicklung, Implementierung, Nutzung, Validierung, Kontrollen, Compliance sowie die Aufsicht durch den Vorstand und die Geschäftsführung; im Jahr 2026 gaben die Bundesbankbehörden zudem überarbeitete Leitlinien zum Modell-Risikomanagement heraus, die einen risikobasierten Ansatz in den Vordergrund stellen.
• Im Gesundheitswesen kann HIPAA gelten, wenn KI-Systeme geschützte Gesundheitsinformationen verarbeiten, während die Aufsicht der FDA greifen kann, wenn KI Teil von Software als Medizinprodukt (Software as a Medical Device, SaMD) oder eines KI-gestützten Medizinprodukts ist. Die FDA führt eine Liste von KI-gestützten Medizinprodukten, die für die Vermarktung in den USA zugelassen sind, was die wachsende Rolle von KI bei regulierten Medizinprodukten widerspiegelt.
• Im Versicherungswesen legt das Modell-Bulletin der National Association of Insurance Commissioners Erwartungen daran fest, wie Versicherer KI-Systeme verwalten, und beschreibt die Informationen, die Aufsichtsbehörden bei einer Untersuchung oder Prüfung anfordern können.
• Bei Finanzdienstleistungen und der Offenlegung börsennotierter Unternehmen hat die SEC signalisiert, dass Aussagen zu KI korrekt und belegbar sein müssen. Im Jahr 2024 klagte die SEC zwei Anlageberater wegen falscher und irreführender Aussagen über ihre Nutzung von KI an – eine Erinnerung daran, dass KI-Compliance auch Marketing, Offenlegung und kundenbezogene Aussagen umfasst.

Internationale KI-Leitlinien

Außerhalb der EU und der USA müssen Unternehmen möglicherweise auch den prinzipienbasierten Ansatz der KI-Regulierung in Großbritannien, Chinas Maßnahmen für generative KI und Singapurs Model AI Governance Framework berücksichtigen. Viele dieser Systeme unterscheiden sich in Bezug auf Rechtskraft, Geltungsbereich und Reife der Durchsetzung, aber sie tendieren dazu, sich bei wiederkehrenden Erwartungen anzunähern: Risikoklassifizierung, Verantwortlichkeit, Transparenz, menschliche Aufsicht, Data Governance, Überwachung und Dokumentation.

Auch nicht bindende Instrumente sind von Bedeutung, da sie oft zur Referenzsprache für Gesetze, Standards und Beschaffungsanforderungen werden. Die OECD-KI-Prinzipien fördern die KI-Sicherheit durch vertrauenswürdige KI, die Menschenrechte und demokratische Werte respektiert, während die Empfehlung der UNESCO zur Ethik der KI für alle 194 UNESCO-Mitgliedsstaaten gilt und Menschenrechte, Fairness, Transparenz und menschliche Aufsicht betont.

Gesetze definieren Verpflichtungen, aber Frameworks helfen Unternehmen, diese Verpflichtungen in wiederholbare Betriebspraktiken umzusetzen. Sie bieten Compliance-, Rechts-, Daten-, Sicherheits- und KI-Teams eine gemeinsame Methode, um Systeme zu klassifizieren, Kontrollen zuzuweisen, Nachweise zu sammeln und die Performance der Kontrollen zu bestätigen.

NIST AI RMF

Das NIST AI Risk Management Framework ist ein freiwilliges Framework für das Management von Risiken für Einzelpersonen, Unternehmen und die Gesellschaft, die mit KI verbunden sind. NIST strukturiert das Framework anhand von vier Kernfunktionen: Govern, Map, Measure und Manage.

Für Compliance-Teams ist das NIST AI RMF nützlich, da es eine Risikomanagement-Struktur schafft, die sich rechtlichen und internen Verpflichtungen zuordnen lässt.

• Govern definiert Rollen, Richtlinien und Verantwortlichkeiten.
• Map erfasst den Kontext und den vorgesehenen Verwendungszweck.
• Measure bewertet Risiken und die System-Performance.
• Manage priorisiert Reaktionen, Monitoring und Behebung.

ISO/IEC 42001

ISO/IEC 42001 ist ein zertifizierbarer Standard für KI-Managementsysteme. Die ISO beschreibt ihn als den weltweit ersten Standard für KI-Managementsysteme, der Unternehmen dabei helfen soll, KI-bezogene Risiken und Chancen durch ein strukturiertes System aus Richtlinien, Prozessen, Rollen und kontinuierlicher Verbesserung zu managen.

Für die KI-Compliance ist ISO/IEC 42001 besonders nützlich, da der Standard formelle Nachweise für das Managementsystem unterstützt: Anwendungsbereich, Governance, Risikobewertung, Folgenabschätzung, Lebenszyklus-Kontrollen, Supplier Management, Monitoring, interne Audits sowie das Management Review. Unternehmen, die ein zertifizierbares Framework benötigen, kombinieren ISO/IEC 42001 oft mit detaillierteren Risiko- oder Branchenleitfäden.

ISO/IEC 23894

ISO/IEC 23894 bietet einen Leitfaden für das KI-Risikomanagement. Der Standard unterstützt Organisationen, die KI-Systeme entwickeln, produzieren, bereitstellen oder anwenden, bei der nahtlosen Integration eines KI-spezifischen Risikomanagements in ihre operativen Prozesse und Kernfunktionen.

Im Gegensatz zu ISO/IEC 42001, das Anforderungen an ein KI-Managementsystem festlegt, ist ISO/IEC 23894 als Leitfaden konzipiert. Er kann Teams dabei unterstützen, Risikoquellen zu definieren, potenzielle Auswirkungen zu analysieren und die Risikobehandlung über den gesamten KI-Lebenszyklus hinweg zu strukturieren.

IEEE 7000-Serie

Die IEEE 7000-Serie bietet Standards, die sich auf ein ethisches und verantwortungsvolles Technologie-Design konzentrieren. In einem KI-Compliance-Programm können diese Standards dabei helfen, Themen wie Transparenz, Bias, Verantwortlichkeit, Datenschutz und menschliche Werte zu strukturieren. Sie bilden in der Regel nicht die einzige Grundlage für Compliance, können aber dabei helfen, ethische Verpflichtungen in Design- und Dokumentationspraktiken umzusetzen.

OECD und UNESCO

Die KI-Prinzipien der OECD und die Empfehlungen der UNESCO sind zwar rechtlich nicht bindend, prägen jedoch maßgeblich die Gesetzgebung, politische Strategien und die Erwartungshaltung internationaler Regulierungsbehörden. Sie dienen als nützliche normative Referenzen, wenn Unternehmen begründen müssen, warum interne KI-Richtlinien Fairness, Transparenz, Verantwortlichkeit, menschliche Aufsicht und die Achtung von Rechten betonen – selbst dort, wo kein einzelnes bindendes KI-Gesetz gilt.

Mehr über Verantwortungsvolle KI erfahren

KI-Compliance-Kontrollen bieten Unternehmen eine Möglichkeit, Frameworks und Compliance-Praktiken in alltägliche Workflows und Systeme zu implementieren. Eine Richtlinie mag besagen, dass Hochrisiko-KI menschliche Aufsicht erfordert, aber eine Kontrolle legt fest, wer das System überprüft, wo diese Genehmigung protokolliert wird, wie der:die Prüfer:in relevante Modellausgaben sieht und was passiert, wenn das Monitoring Drift, Bias oder unsicheres Verhalten aufzeigt.

Governance-Kontrollen

Governance-Kontrollen regeln verbindlich, wer die Rechenschaftspflicht für KI-Systeme trägt und wie Entscheidungsprozesse strukturiert sind. Sie umfassen in der Regel die Aufsicht durch die Führungsebene, eine KI-Richtlinie, Kriterien für die Risikoeinstufung, Rollenzuweisungen und Eskalationspfade.

Ein Hochrisiko-Kreditmodell sollte beispielsweise über benannte Model Owner, Business Owner, Technical Owner und Compliance-Prüfer:innen verfügen. Das Unternehmen sollte nachweisen können, wer den Anwendungsfall genehmigt hat, welche Risikostufe zugewiesen wurde, welches Kontrollset angewendet wurde und wer eine Behebung, Aussetzung oder ein Rollback anordnen kann.

Zu den typischen Governance-Kontrollen zählen:

• KI-Richtlinie und Standards für die zulässige Nutzung
• Ownership des KI-Inventars
• Methodik zur Risikoklassifizierung
• Zuweisung von KI-Beauftragten, Model Ownern und Data Ownern
• Genehmigung durch ein Review Board oder Governance Council
• Ausnahmemanagement mit Ablaufdaten
• Kontrollbescheinigungen und Überprüfung durch interne Audits

Dokumentationskontrollen

Dokumentationskontrollen stellen die schriftliche Aufzeichnungen sicher, die von Regulatoren, Auditoren, Kunden und internen Prüfinstanzen eingesehen werden kann. Bei der KI-Compliance ist die Dokumentation keine einmalige Aufgabe bei der Einführung; sie muss das System begleiten, wenn sich Daten ändern, Modellversionen aktualisiert werden, Anbieter wechseln und Anwendungsfälle erweitert werden.

Zu den typischen Dokumentationsartefakten gehören Model Cards, Data Sheets, Zusammenfassungen der Trainingsdaten, Evaluierungsergebnisse, die Systemdokumentation, Architekturdiagramme sowie die regulatorisch geforderten technische Dokumentationen. Im Rahmen des EU AI Act beschreibt Anhang IV die Erwartungen an die technische Dokumentation für Hochrisiko-KI-Systeme, die Informationen zu Systemzweck, Design, Entwicklung, Daten, Monitoring, Validierung und Risikomanagement umfassen können.

Bei generativen KI-Systemen muss die Dokumentation möglicherweise auch Prompts, Abrufquellen, Sicherheitsfilter, menschliche Überprüfung, verbotene Nutzungen und sowie Konformitätserklärungen der Drittanbieter abdecken. Das Ziel ist nicht, um seiner selbst willen mehr unnötige Dokumentation zu produzieren, sondern den Kontext zu bewahren, der erforderlich ist, um zu verstehen, was das System tut, wie es getestet wurde und welche Nachweise seine genehmigte Nutzung belegen.

Bewertungskontrollen

Bewertungskontrollen evaluieren, ob ein KI-System für den vorgesehenen Verwendungszweck geeignet ist. Diese Kontrollen können KI-Folgenabschätzungen, Datenschutz-Folgenabschätzungen (DSFA), Bias-Audits, Red-Teaming-Berichte, Adversarial Testing, Datenschutzprüfungen, KI-Sicherheitsprüfungen und Tests vor der Bereitstellung umfassen.

Ein Tool für das Bewerber-Screening erfordert beispielsweise nach dem einen Gesetz ein Bias-Audit und eine Benachrichtigung der Bewerber:innen, nach einem anderen eine DSFA und zudem eine interne Bewertung, die die Relevanz für die Stelle, die Erklärbarkeit, die Anbieterdokumentation und die menschliche Überprüfung evaluiert. Ein klinisches KI-System erfordert möglicherweise eine Validierung anhand des vorgesehenen Verwendungszwecks, eine Überprüfung der Patientensicherheit und ein Monitoring auf Performance-Änderungen über verschiedene Bevölkerungsgruppen hinweg.

Bewertungskontrollen sollten dauerhafte Nachweise liefern: Testergebnisse, Notizen der Prüfer:innen, Behebungspläne, Genehmigungsprotokolle und alle ungelösten Risiken, die von den verantwortlichen Eigentümer:innen akzeptiert wurden.

Operative Kontrollen

Operative Kontrollen regeln, wie sich KI-Systeme nach der Bereitstellung verhalten. Dazu gehören Zugriffsverwaltung, Audit-Protokolle, Monitoring, Vorfallmeldungen, menschliche Aufsicht und Post-Market-Monitoring.

Diese Kontrollen sind wichtig, da die KI-Compliance nicht endet, wenn ein Modell live geht. Ein Modell kann abdriften, eine Prompt-Vorlage kann sich ändern, ein Anbieter von Foundation Models kann ein zugrunde liegendes Modell aktualisieren, eine Daten-Pipeline kann beginnen, andere Werte einzuspeisen, oder eine Zugriffsrichtlinie kann sensible Felder für eine breitere Gruppe von Nutzer:innen zugänglich machen. Compliance hängt davon ab, diese Änderungen zu erkennen und die Nachweise aufzubewahren, die zu ihrer Erklärung erforderlich sind.

Zu den gängigen operativen Kontrollen gehören:

• Rollenbasierte Zugriffskontrolle (RBAC)
• Audit Logs für Daten-, Modell- und Applikationsaktivitäten
• Monitoring von Modell-Performance und -Drift
• Protokollierung von Prompts und Antworten (wo anwendbar)
• Human-in-the-Loop-Überprüfung bei folgenschweren Entscheidungen
• Meldewesen für Vorfälle und Eskalationsprozesse
• Post-Market- oder Post-Deployment-Monitoring
• Regelmäßige Kontrollbescheinigungen

Drittanbieterkontrollen

Viele KI-Systeme sind von Anbietern, Anbietern von Foundation Models, SaaS-Tools, Datenanbietern oder eingebetteten KI-Funktionen abhängig, die das Unternehmen nicht selbst entwickelt hat. Spezifische Third-Party Controls unterstützen Teams dabei, diese externen Abhängigkeiten bereits vor dem Deployment fundiert zu bewerten und über den gesamten Lebenszyklus hinweg kontinuierlich zu überwachen.

Die Due-Diligence-Prüfung von Anbietern sollte den vorgesehenen Verwendungszweck, die Datenverarbeitung, die Modelldokumentation, Sicherheitskontrollen, Subunternehmer, Aufbewahrungsrichtlinien, Verpflichtungen bezüglich Trainingsdaten, Bedingungen für Vorfallmeldungen und alle verfügbaren Bescheinigungen erfassen. Für Foundation Models können Unternehmen auch Anbieterdokumentationen, Sicherheitsbewertungen und Informationen anfordern, die eine KI-Stückliste (AI Bill of Materials, AIBOM) unterstützen, in der die an einem KI-System beteiligten Modelle, Datenquellen, Bibliotheken, APIs und Anbieter aufgeführt sind.

KI-Compliance ist nur dann handhabbar, wenn Teams Rückverfolgbarkeit implementieren: Jedes KI-System wird einer Risikostufe zugeordnet, jede Risikostufe ist mit Verpflichtungen verknüpft, jede Verpflichtung mit Kontrollen und jede Kontrolle mit Nachweisen.

Inventarisierung aller KI-Systeme

Ein zentrales KI-Inventar sollte klassische ML-Modelle, generative KI-Applikationen, interne Assistenten, in SaaS-Plattformen eingebettete KI sowie von Drittanbietern bereitgestellte KI-Funktionalitäten gleichermaßen erfassen. Teams können Systeme, die sie nicht erfasst haben, nicht klassifizieren, überwachen oder bescheinigen.

Ein nützliches KI-Inventar erfasst in der Regel den Systemnamen, die Eigentümer:innen, den Geschäftszweck, die Nutzer:innen, Datenquellen, den Modelltyp, Anbieterabhängigkeiten, Gerichtsbarkeiten, die Risikostufe, betroffene Personengruppen, den Genehmigungsstatus und den Überprüfungsrhythmus. Bei eingebetteter KI muss das Inventar zudem exakt protokollieren, welches spezifische SaaS-Feature auf KI zurückgreift, welche Daten dabei verarbeitet werden und ob der Softwarehersteller Kundendaten für das Modelltraining oder zur Produktverbesserung nutzt.

Als erste Orientierungshilfe bietet die Bundesnetzagentur mit dem KI-Kompass ein kostenloses Online-Tool, mit dem Unternehmen prüfen können, welche Anforderungen des EU AI Acts für ihre KI-Systeme gelten.

Klassifizieren Sie Systeme nach Risikostufe

Jedes System sollte auf Basis der jeweils anwendbaren gesetzlichen und internen Kriterien eingestuft werden. Unter dem EU AI Act bedeutet dies beispielsweise zu prüfen, ob ein Anwendungsfall verboten ist oder als System mit hohem, begrenztem oder geringem Risiko einzustufen ist. Gemäß internen Richtlinien kann es bedeuten, Systeme nach ihren potenziellen Auswirkungen auf Rechte, Sicherheit, finanzielle Ergebnisse, Beschäftigung, Gesundheitswesen, Zugang zu Dienstleistungen oder regulatorische Risiken zu klassifizieren.

Dieses Risk Tiering sollte immer evidenzbasiert erfolgen. Ein Chatbot, der allgemeine Fragen zu Richtlinien beantwortet, schafft nicht dieselben Verpflichtungen wie ein Modell, das Patientenbehandlungen empfiehlt oder Bewerber:innen einstuft. Der Klassifizierungsdatensatz sollte die Begründung erläutern und nicht nur ein Label zuweisen.

Ordnen Sie Verpflichtungen Kontrollen und Nachweisen zu

Sobald Teams die geltenden Verpflichtungen identifiziert haben, benötigen sie eine Kontrollübersicht. Für jede Verpflichtung sollte die Übersicht die relevante Kontrolle, den/die Kontrollverantwortliche:n, die Nachweisquelle und die Überprüfungshäufigkeit ausweisen.

Beispiele:

Automatisierung der Belegsammlung

Eine manuelle Sammlung von Compliance-Belegen ist bei einer steigenden Anzahl von KI-Systemen nicht mehr skalierbar. Hochrisiko-Systeme erfordern oft vierteljährliche Audits, jährliche Neubewertungen, ein strukturiertes Meldewesen für Vorfälle sowie kontinuierliches Monitoring. Selbst bei Systemen mit begrenztem Risiko können Transparenzhinweise, Zugriffsprotokolle und regelmäßige Dokumentations-Updates nötig sein.

Die Automatisierung von Nachweisen hilft, indem sie Signale direkt aus den Systemen erfasst, in denen die KI-Arbeit stattfindet: Access History, Lineage, Metadaten der Modellregistrierung, Monitoring-Dashboards, Genehmigungs-Workflows, Vorfallsysteme und Policy Engines. Das Ziel ist es, die Lücke zwischen dem tatsächlichen Systemverhalten und dem Compliance-Nachweis zu verringern. Wenn ein:e Prüfer:in fragt, auf welche Daten ein Modell zugegriffen hat, wer eine Richtlinie geändert hat oder welche Modellversion während eines Vorfalls bereitgestellt war, sollten die Beweise bereits vorliegen.

Einen Überprüfungsrhythmus festlegen

KI-Systeme sollten in einem Rhythmus überprüft werden, der ihrem Risiko entspricht. Hochrisikosysteme rechtfertigen oft eine vierteljährliche Überprüfung, insbesondere wenn sie sich auf Rechte, Sicherheit, Berechtigungen, Preisgestaltung, Beschäftigung oder regulierte Entscheidungen auswirken. Systeme mit begrenztem Risiko können jährlich überprüft werden, sofern keine wesentliche Änderung eintritt.

Bei den Überprüfungen sollte bewertet werden, ob sich Zweck, Daten, Modell, Anbieter, Benutzergruppe, Gerichtsbarkeit oder Risikoprofil des Systems geändert haben. Ein Anwendungsfall, der als interner Produktivitätsassistent begann, kann zu einem kundenorientierten Support-Tool werden; ein für eine Region trainiertes Modell kann in einer anderen wiederverwendet werden; ein SaaS-Feature kann generative KI ohne einen vollständigen Beschaffungszyklus hinzufügen. Ein Überprüfungsrhythmus hilft dabei, diese Änderungen zu erfassen, bevor der Compliance-Nachweis veraltet ist.

KI-Compliance hängt von Beweisen ab: welche Daten verwendet wurden, wer darauf zugegriffen hat, wie sie verschoben wurden, welche Modellversion bereitgestellt wurde, welche Richtlinien galten und welche Kontrollen zum Zeitpunkt der Überprüfung in Kraft waren.

Snowflake Horizon Catalog unterstützt Governance-, Discovery- und Compliance-Workflows, indem es Kontext wie Access History, Lineage, Klassifizierung und Richtliniendurchsetzung aufzeigt. Die ACCESS_HISTORY-Ansicht von Snowflake bietet eine Aufzeichnung darüber, auf welche Daten zugegriffen wurde, wann der Zugriff erfolgte und wie Daten von Quellobjekten zu Zielobjekten verschoben wurden. Dies kann Teams dabei helfen, Audit-Nachweise für Zugriffs-, Lineage- und Datennutzungskontrollen zu erstellen.

Für ML-Systeme speichert und verwaltet die Snowflake ML Model Registry Modellversionen, Modellmetriken und Modell-Metadaten, unterstützt das Modell-Lifecycle-Management und kann die Modell-Performance und den Modell-Drift durch Snowflake ML Observability überwachen. Sie unterstützt auch RBAC für den Modellzugriff und hilft Teams dabei, die Modell-Governance mit denselben Arten von Kontrollen zu verknüpfen, die sie für den Datenzugriff verwenden.

Für Anwendungsfälle mit generativer KI wurde Cortex Guard entwickelt, um potenziell unsichere oder schädliche Antworten zu identifizieren und zu filtern, bevor die Modellausgabe an die Anwendung zurückgegeben wird. Je nach Architektur können Teams diese Sicherheitsvorkehrungen mit Prompt-, Antwort-, Zugriffs- und Anwendungsprotokollen kombinieren, um Audit-Trails für generative KI zu unterstützen.

Das Snowflake Compliance Center bietet Kund:innen Zugriff auf Sicherheits- und Compliance-Ressourcen, einschließlich Zertifizierungen und Berichten, die die Due-Diligence-Prüfung von Anbietern sowie Kunden- oder Aufsichtsbehörden-Audits unterstützen können. Snowflake hat außerdem die ISO/IEC 42001-Zertifizierung für sein KI-Managementsystem erhalten, das laufenden Überwachungsaudits unterliegt. Dies ist ein konkretes Beispiel dafür, wie KI-Governance, KI-Risikomanagement und Compliance-Praktiken unter einem zertifizierbaren Managementsystem-Standard organisiert werden können.

Zusammen helfen diese Funktionen Unternehmen dabei, Compliance-Nachweise an die Systeme anzuhängen, die sie erzeugen: Lineage-Pfade, Zugriffsprotokolle, Modell-Metadaten, Bewertungsmetriken, Aufzeichnungen zur Richtliniendurchsetzung und Kontrollartefakte. Dies beseitigt nicht die Notwendigkeit einer rechtlichen Überprüfung, Risikoklassifizierung oder menschlichen Verantwortlichkeit, kann aber den manuellen Aufwand reduzieren, der erforderlich ist, um nachzuweisen, dass KI-Kontrollen funktionieren.

KI-Compliance lässt sich am einfachsten nachweisen, wenn sie in den Lebenszyklus integriert ist. Ein KI-System sollte in das Inventar aufgenommen werden, wenn der Anwendungsfall vorgeschlagen wird, eine Risikostufe erhalten, bevor die Entwicklung fortgesetzt wird, die Dokumentation durch Tests und Deployment mitführen und Beweise aufbewahren, wenn sich Benutzer:innen, Daten, Modelle und Anbieter ändern.

Dieses Betriebsmodell ist wichtig, da KI-Systeme selten unverändert bleiben. Compliance-Teams können diese Bewegung nur verwalten, wenn sie das System von der Verpflichtung über die Kontrolle bis hin zum Beweis zurückverfolgen können.

Die Unternehmen, die KI-Compliance gut handhaben, werden nicht diejenigen mit den robustesten Richtliniendokumenten sein. Es werden diejenigen sein, die spezifische Fragen schnell beantworten können, z. B. welche KI-Systeme im Einsatz sind, welche ein hohes Risiko aufweisen, auf welche Daten sie zugreifen, welche Kontrollen gelten, wann sie zuletzt überprüft wurden und welche Beweise die Konformität belegen.