KI-Risikomanagement erklärt

KI-Risikomanagement beginnt mit einer praktischen Frage: Was könnte schiefgehen, wenn ein Modell, eine Daten-Pipeline, eine Anwendung, ein Prompt, ein Workflow oder eine menschliche Entscheidung auf KI basiert? Die Antwort beschränkt sich selten nur auf die Modellgenauigkeit. Ein System könnte veraltete Daten verwenden, sensible Felder durch Abfragen offenlegen, eine plausible, aber falsche Antwort generieren, nach der Bereitstellung abweichen (Drift) oder eine Entscheidung treffen, die schwer zu erklären ist, wenn eine Aufsichtsbehörde Nachweise verlangt.

Da die Risiken so weitreichend sind, ist KI-Risikomanagement zu einem Thema für den gesamten Lebenszyklus geworden. Es bietet Unternehmen einen strukturierten Ansatz, um zu verstehen, wo KI-Systeme Schaden anrichten können, zu entscheiden, welche Risiken akzeptabel sind, und Kontrollen anzuwenden, die diese Risiken innerhalb definierter Grenzen halten. Zudem hilft es Teams bei der Entscheidung, welches Maß an Restrisiko akzeptabel ist, welche Kontrollen vor der Veröffentlichung erforderlich sind und welche Überwachung fortgesetzt werden sollte, nachdem das System die Nutzer:innen erreicht hat.

KI-Risikomanagement ist der Prozess der Identifizierung, Bewertung, Minderung und Überwachung von Risiken durch KI-Systeme über den gesamten KI-Lebenszyklus hinweg – von der Entwicklung über die Bereitstellung bis hin zur Produktion. Es umfasst das Modell, erstreckt sich aber auch auf die vom Modell verwendeten Daten, den Anwendungskontext, in dem es ausgeführt wird, die von seinen Ausgaben betroffenen Personen, die Richtlinien für seine Nutzung und die Nachweise, die erforderlich sind, um die Anwendung von Kontrollen zu belegen.

Damit ist KI-Risikomanagement umfassender als das Modell-Risikomanagement. Das Modell-Risikomanagement, insbesondere im Bankwesen und in anderen regulierten Finanzbereichen, konzentriert sich auf das Risiko, dass ein Modell falsche, missbrauchte oder missverstandene Ergebnisse liefert. KI-Risikomanagement schließt dieses Anliegen ein, berücksichtigt aber auch das gesamte System rund um das Modell: Herkunft der Trainingsdaten, Retrieval-Kontext, Zugriffskontrollen, Nutzerinteraktion, Prompt-Verhalten, Auswirkungen auf nachgelagerte Workflows, Reaktion auf Vorfälle und Überwachung nach der Bereitstellung.

In der Praxis sollte ein Programm für das KI-Risikomanagement operative Fragen beantworten wie:

• Welche Datasets wurden verwendet, um das System zu trainieren, zu testen oder zu fundieren?

• Wer ist für den Anwendungsfall, das Modell und den betroffenen Geschäftsprozess verantwortlich?

• Welche Risiken wurden während der Entwicklung, der Tests und der Bereitstellung identifiziert?

• Welche Kontrollen mindern diese Risiken und welches Restrisiko bleibt bestehen?

• Wie wird das Unternehmen nach der Veröffentlichung Drift, Missbrauch, Sicherheitsereignisse oder schädliche Auswirkungen erkennen?

Diese Antworten verwandeln das KI-Risiko von einem abstrakten Anliegen in eine Reihe überprüfbarer Entscheidungen, Kontrollen und Audit-Trails.

KI-Systeme bringen Risiken mit sich, für deren eigenständige Bewertung herkömmliche Programme für das Risikomanagement in Unternehmen nicht ausgelegt sind. Eine regelbasierte Anwendung verhält sich bei gleicher Eingabe in der Regel immer gleich. KI-Systeme, insbesondere Systeme mit generativer KI, können nicht-deterministisch sein – derselbe Prompt kann unterschiedliche Antworten erzeugen, und das Verhalten des Systems kann sich ändern, wenn sich Modelle, Daten, Prompts oder der Retrieval-Kontext ändern.

Das Risiko geht zudem von mehr als einer Ebene aus. Ein Modell kann technisch einwandfrei sein und dennoch Schaden anrichten, wenn es mit verzerrten Daten trainiert wird, ohne angemessene Zugriffskontrollen mit sensiblen Datensätzen verbunden ist, außerhalb seines vorgesehenen Zwecks verwendet wird oder in einem Workflow zum Einsatz kommt, in dem sich die Nutzer:innen zu sehr auf seine Ausgaben verlassen. Ein Betrugsmodell kann beispielsweise bei der Validierung gut abschneiden, sich aber verschlechtern, wenn sich Transaktionsmuster ändern. Oder eine Retrieval-Augmented-Anwendung könnte vertrauliche Informationen preisgeben, wenn ihre Zugriffslogik nicht mit den Berechtigungen der Nutzer:innen übereinstimmt.

KI-Risiken entwickeln sich auch nach der Bereitstellung weiter. Data Drift, Adversarial Inputs, Prompt Injection, sich ändernde Vorschriften, Anbieter-Updates und neue Nutzungsmuster können das Risikoprofil eines Systems verändern, das seine ursprüngliche Überprüfung bestanden hat. Aus diesem Grund darf das KI-Risikomanagement nicht mit der Freigabe enden. Es erfordert Monitoring, Eskalationspfade, Trigger für das Retraining, Vorfallmeldungen und Kriterien für die Außerbetriebnahme.

KI-Risikokategorien helfen dabei, die Quelle eines Risikos von dem Symptom zu trennen, das es hervorruft. Die folgenden Kategorien bieten Teams eine Möglichkeit, diese Risiken der richtigen Kontrolle, der verantwortlichen Person und dem entsprechenden Überprüfungsprozess zuzuordnen.

Technische und Performance-Risiken

Zu den technischen Risiken gehören Genauigkeit, Robustheit, Zuverlässigkeit, Halluzination, Model Drift und Systemverfügbarkeit. Bei generativer KI ist der sichtbarste Fehler vielleicht eine halluzinierte Antwort, aber die zugrunde liegende Ursache könnte ein schwacher Retrieval-Kontext, eine mangelhafte Datenherkunft, fehlende Guardrails oder ein Workflow sein, der eine KI-generierte Antwort ohne Überprüfung an Kund:innen sendet. Das Risikomanagement hängt davon ab, ob das Unternehmen das System auf seinen vorgesehenen Verwendungszweck testen, akzeptable Performance-Schwellenwerte definieren und erkennen kann, wenn die Ausgaben diese Schwellenwerte nicht mehr erfüllen.

Datenrisiken

Zu den Datenrisiken gehören Data Poisoning, Datenlecks, fehlende Einwilligungen, Probleme mit der Datenherkunft, Qualitätsprobleme und Bias in den Trainingsdaten. Ein Modell, das mit schlecht dokumentierten Daten trainiert oder fundiert wurde, kann Fehler übernehmen, die später schwer nachzuverfolgen sind. Bei KI-Systemen, die auf Unternehmensdaten angewiesen sind, werden Lineage, Klassifizierung, Access History und Datenqualitätskontrollen eher Teil des Risikomanagements als der Hintergrund-Governance.

Sicherheitsrisiken

Zu den KI-Sicherheitsrisiken gehören Prompt Injection, Model Inversion, Membership Inference, Modelldiebstahl, Datenexfiltration und Adversarial Manipulation. KI-Sicherheitsrisiken sind mit hohen Einsätzen verbunden, da KI-Systeme oft zwischen Nutzer:innen und sensiblen Daten, Tools oder Workflows stehen. Ein kompromittierter Prompt oder ein manipulierter Kontext kann nicht nur die Antwort beeinflussen, die ein Modell generiert, sondern auch die Aktion, die eine KI-gestützte Anwendung auszuführen versucht.

Ethik- und Fairness-Risiken

Fairness-Risiken, betrachtet durch die Brille der KI-Ethik, könnten diskriminierende Ergebnisse, Verletzungen der Würde, mangelnde Transparenz und das Versagen menschlicher Aufsicht umfassen. Diese Risiken treten häufig an dem Punkt auf, an dem technische Systeme auf Menschen treffen: bei einem Einstellungsscreening, einer Kreditentscheidung, einer Gesundheitsempfehlung oder einem Produktivitätstool für Mitarbeiter:innen. Ein effektives Management von Fairness-Risiken erfordert Klarheit über die betroffenen Personengruppen, den beabsichtigten Verwendungszweck, Überprüfungsrechte und Eskalationspfade.

Rechtliche und regulatorische Risiken

Zu den rechtlichen und regulatorischen Risiken gehören die Nichteinhaltung KI-spezifischer Gesetze, Datenschutzverletzungen, Bedenken hinsichtlich des geistigen Eigentums und unzureichende Dokumentation. Der EU AI Act verlangt beispielsweise von Anbietern von Hochrisiko-KI-Systemen die Einrichtung, Implementierung, Dokumentation und Aufrechterhaltung eines Risikomanagementsystems und beschreibt dieses System als einen kontinuierlichen, iterativen Prozess über den gesamten Lebenszyklus des KI-Systems hinweg. KI-Compliance ist eine Schlüsselkomponente des Risikomanagements.

Operationelle Risiken

Zu den operationellen Risiken gehören Vendor Lock-in, Kostenüberschreitungen, unklare Verantwortlichkeiten, schwache Reaktionen auf Vorfälle und nicht verwaltete Abhängigkeiten. Ein Team stellt möglicherweise eine nützliche KI-Anwendung bereit, hat aber Schwierigkeiten beim Betrieb, wenn niemand für das Monitoring, die Ausnahmebehandlung, Modell-Updates, Zugriffsüberprüfungen oder Entscheidungen zur Außerbetriebnahme verantwortlich ist.

Reputationsrisiken

Zu den Reputationsrisiken gehören öffentliche Misserfolge, negative Reaktionen von Nutzer:innen und die genaue Prüfung durch Aufsichtsbehörden. Diese Risiken sind oft Folgeerscheinungen anderer Fehler, wie z. B. verzerrte Ausgaben, unsichere Inhalte, offengelegte Daten, unerklärte Entscheidungen oder eine sichtbare Lücke zwischen dem, was ein Unternehmen versprochen hat, und dem, was sein KI-System tatsächlich getan hat.

Gesellschaftliche Risiken

Zu den gesellschaftlichen Risiken gehören die Verdrängung von Arbeitsplätzen, demokratische Schäden, Machtkonzentration und umfassendere systemische Auswirkungen. Nicht jedes Unternehmen wird diese Risiken auf die gleiche Weise bewerten, aber ausgereifte KI-Risikomanagement-Programme berücksichtigen, ob die Auswirkungen eines Systems über die unmittelbaren Nutzer:innen und direkten Geschäftsergebnisse hinausgehen.

Das NIST AI Risk Management Framework (AI RMF) ist ein freiwilliges Framework, das Unternehmen dabei helfen soll, die Risiken von KI-Systemen für Einzelpersonen, Unternehmen und die Gesellschaft zu managen. NIST beschreibt das Framework als eine Möglichkeit, Aspekte der Vertrauenswürdigkeit in das Design, die Entwicklung, die Nutzung und die Bewertung von KI-Produkten, -Diensten und -Systemen zu integrieren. NIST hat im Juli 2024 außerdem ein Profil für generative KI für das AI RMF veröffentlicht. Das Profil ist eine begleitende Ressource für die Anwendung des AI RMF auf Risiken, die für generative KI neu sind oder durch diese verstärkt werden.

Das AI RMF ist in vier Kernfunktionen unterteilt: Govern, Map, Measure und Manage. NIST betont, dass diese Funktionen keine einfache Checkliste oder feste Abfolge sind. Sie sind so konzipiert, dass sie iterativ über den gesamten KI-Lebenszyklus hinweg angewendet werden, wobei die Governance die anderen Funktionen durchgehend leitet.

Govern

Die Govern-Funktion bildet die organisatorische Grundlage für das KI-Risikomanagement. Sie umfasst Verantwortlichkeiten, Richtlinien, Rollen, Schulungen, Risikokultur und Aufsicht. In der Praxis bedeutet dies, dass definiert wird, wer einen KI-Anwendungsfall genehmigen darf, wem das Modell oder die Anwendung gehört, welche Richtlinien gelten und wie Risikoentscheidungen dokumentiert werden.

Map

Die Map-Funktion identifiziert den Kontext, in dem ein KI-System betrieben wird. Teams definieren den beabsichtigten Verwendungszweck, nicht vorgesehene Verwendungen, betroffene Stakeholder, die Bereitstellungsumgebung und die Auswirkungen auf Geschäftsprozesse. Dasselbe Modell kann je nach Einsatzort unterschiedliche Risiken bergen. Beispielsweise weist ein Zusammenfassungsmodell, das für öffentliche Produktdokumentationen verwendet wird, ein anderes Risikoprofil auf als eines, das für klinische Notizen oder rechtliche Verträge eingesetzt wird.

Measure

Die Measure-Funktion bewertet Risiken anhand von Vertrauenswürdigkeitsmerkmalen wie Validität, Zuverlässigkeit, Robustheit, Sicherheit, Security, Resilienz, Erklärbarkeit, Datenschutz und Fairness. Die Messung kann quantitative Tests, qualitative Überprüfungen, Red Teaming, Bias-Audits, Datenschutzbewertungen und Adversarial Testing umfassen.

Manage

Die Manage-Funktion priorisiert Risiken, weist Ressourcen zu, wendet Minderungsmaßnahmen an, überwacht Kontrollen und kommuniziert Risikoentscheidungen. Hier wird die Risikobewertung zur Maßnahme: Genehmigung eines Anwendungsfalls unter Auflagen, Hinzufügen eines menschlichen Überprüfungsschritts, Einschränkung des Zugriffs, Änderung des Bereitstellungsmusters, Akzeptanz des Restrisikos oder Ablehnung der Fortführung.

KI-Risikomanagement funktioniert am besten, wenn es in den Lebenszyklus integriert und nicht erst am Ende hinzugefügt wird. Die Lebenszyklusperspektive hilft Teams, verschiedene Risiken an dem Punkt zu erkennen, an dem sie noch reduziert, getestet oder eskaliert werden können.

Vor der Entwicklung

Bevor ein Team ein Modell trainiert, optimiert oder anbindet, sollte es den Anwendungsfall validieren. Dazu gehören die Definition des Geschäftsziels, die Identifizierung der betroffenen Nutzer:innen, die Zuweisung einer Risikostufe, die Bestätigung, ob KI angemessen ist, und bei Bedarf die Durchführung einer KI-Ethik-Prüfung oder einer KI-Folgenabschätzung. Ein interner Produktivitätsassistent mit geringem Risiko benötigt möglicherweise nur eine einfache Überprüfung, während ein System, das sich auf Kredite, Beschäftigung, Gesundheitswesen oder öffentliche Dienstleistungen auswirkt, eine formelle Folgenabschätzung und die Genehmigung der Geschäftsführung erfordern kann.

Entwicklung

Während der Entwicklung konzentriert sich das Risikomanagement auf Data Lineage, Datenqualität, Datenschutzkontrollen, Bias-Audits und Dokumentation. Teams sollten wissen, woher die Trainings-, Test- und Validierungsdaten stammen, welche Transformationen angewendet wurden, ob sensible Felder vorhanden sind und ob das Dataset für den beabsichtigten Verwendungszweck repräsentativ ist.

Die Modelldokumentation sollte Designentscheidungen, Annahmen, Einschränkungen, Evaluierungsergebnisse und bekannte Risiken erfassen. Diese Nachweise werden später wichtig, wenn Teams erklären müssen, warum ein System genehmigt wurde oder warum sich eine Modellversion geändert hat.

Vor der Bereitstellung

Vor der Freigabe sollten Teams das System unter Bedingungen testen, die dem produktiven Einsatz ähneln. Das kann Red Teaming, Adversarial Testing, Überprüfungen der Erklärbarkeit, Sicherheitsüberprüfungen, Datenschutzüberprüfungen und Freigabe-Gates umfassen. Für generative KI-Systeme sollten die Tests Prompts umfassen, die versuchen, unsichere Inhalte zu generieren, sensible Daten preiszugeben, Anweisungen außer Kraft zu setzen oder nicht vorgesehenes Verhalten auszulösen.

Das Ziel ist nicht, zu beweisen, dass kein Fehler möglich ist, sondern vielmehr, wahrscheinliche Fehlermodi zu verstehen, gezielte Minderungsmaßnahmen anzuwenden und zu entscheiden, ob das verbleibende Risiko akzeptabel ist.

Bereitstellung (Deployment)

Bereitstellungskontrollen helfen, das Risiko zu verringern, wenn das System in Betrieb genommen wird. Ein Team könnte einen stufenweisen Rollout, ein Canary-Deployment, eine begrenzte Nutzergruppe, eine Anforderung zur menschlichen Aufsicht, eine Protokollierungsrichtlinie oder ein eingeschränktes Zugriffsmuster verwenden. Diese Kontrollen ermöglichen es Unternehmen, das Systemverhalten zu beobachten, bevor sie die Nutzung ausweiten.

Bei Hochrisikosystemen sollte die Bereitstellung auch einen klaren Eskalationspfad umfassen. Nutzer:innen müssen wissen, wann sie dem System vertrauen können, wann sie es übersteuern müssen und wie sie unerwartetes Verhalten melden können.

Nach der Bereitstellung

Das KI-Risikomanagement wird nach der Einführung fortgesetzt. Teams sollten auf Drift, verschlechterte Performance, ungewöhnliche Nutzungsmuster, Sicherheitsereignisse, Beschwerden von Nutzer:innen und regulatorische Änderungen achten. Sie sollten außerdem Trigger für das Retraining, Anforderungen an die Meldung von Vorfällen und Kriterien für die Außerbetriebnahme definieren.

Die Überwachung nach der Bereitstellung ist besonders wichtig, da KI-Systeme allmählich ausfallen können. Ein Modell kann weiterhin verfügbar und reaktionsschnell bleiben, während seine Genauigkeit abnimmt, sich seine Eingabedaten ändern oder seine Ausgaben weniger auf den ursprünglichen Anwendungsfall abgestimmt sind.

Das NIST AI RMF wird häufig zitiert, ist aber nicht das einzige Framework, das Unternehmen nutzen.

• ISO/IEC 23894 bietet Unternehmen, die KI-gestützte Produkte, Systeme und Dienste entwickeln, produzieren, bereitstellen oder nutzen, Leitlinien für das Management von KI-bezogenen Risiken. Die ISO beschreibt den Standard als Leitfaden für die Integration von Risikomanagement in KI-bezogene Aktivitäten und Funktionen.

• ISO/IEC 42001 ist ein zertifizierbarer Standard für KI-Managementsysteme. Die ISO beschreibt ihn als Standard für die Einrichtung, Implementierung, Aufrechterhaltung und kontinuierliche Verbesserung eines KI-Managementsystems, unter Berücksichtigung der mit KI verbundenen Risiken und Chancen.

• Der EU AI Act schafft rechtliche Verpflichtungen für bestimmte KI-Systeme, insbesondere für Hochrisiko-KI-Systeme. Seine Bestimmungen zum Risikomanagement erfordern eine kontinuierliche Überprüfung, Risikoidentifizierung, Risikobewertung, Minderungsmaßnahmen, Tests und die Bewertung von Restrisiken.

• Unternehmen im Bereich Banken und Finanzdienstleistungen können sich auch auf Leitlinien zum Modellrisiko wie SR 11-7 und OCC 2011-12 stützen, die zwar enger gefasst sind als das KI-Risikomanagement, aber dennoch wichtig für regulierte Modell-Governance sind.

• Andere operative Leitlinien, wie das Model AI Governance Framework von Singapur, können Unternehmen dabei helfen, Prinzipien der KI-Governance in Rollen, Prozesse, Dokumentationen und nach Risiko abgestufte Kontrollen zu übersetzen.

KI-Risikomanagement ist auf Nachweise angewiesen. Teams müssen nachvollziehen können, welche Daten ein Modell verwendet hat, wie diese Daten verwaltet wurden, wer Zugriff darauf hatte, welche Modellversion bereitgestellt wurde, welche Guardrails angewendet wurden und was nach der Veröffentlichung passiert ist. Snowflake unterstützt diese Nachweiskette über Daten, Modelle, Anwendungen und Governance-Workflows hinweg.

Snowflake Horizon Catalog hilft Unternehmen, KI-Risiken sichtbarer zu machen, indem er Governance-Kontext wie Datenermittlung, Access History, Object Tagging und Compliance-Tools aufzeigt. Cortex Guard fügt Laufzeit-Schutzmaßnahmen für Anwendungsfälle mit generativer KI in Snowflake Cortex AI hinzu. Er kann potenziell unsichere oder schädliche Antworten aus einem Sprachmodell herausfiltern.

Die Snowflake ML Model Registry hilft Teams bei der Verwaltung von Modellen und Modell-Metadaten in Snowflake und unterstützt Performance- und Drift-Monitoring durch Snowflake ML Observability. Teams können auch Metadaten wie Kommentare, Tags und Metriken aktualisieren, einschließlich Tags, die den Zweck, den Algorithmus, den Trainingsdataset oder die Lebenszyklusphase eines Modells erfassen.

Die ISO/IEC 42001-Zertifizierung von Snowflake für sein Managementsystem für künstliche Intelligenz bietet eine weitere Ebene der Sicherheit. Zusammen helfen diese Funktionen Unternehmen dabei, KI-Risikomanagement mit den wichtigsten operativen Kontrollen zu verknüpfen: Zugriff auf kontrollierte Daten, Lineage, Metadaten, Guardrails, Monitoring und Audit-Nachweise.

KI-Risikomanagement ist das Betriebsmodell, das es Unternehmen ermöglicht, zu verstehen, was ein KI-System tun soll, was schiefgehen könnte, welche Kontrollen dieses Risiko verringern und welche Nachweise belegen, dass die Kontrollen funktionieren.

Da KI immer tiefer in Geschäftsabläufe integriert wird, erweitert sich die Risikofläche auf Daten, Modelle, Anwendungen, Nutzer:innen, Anbieter und nachgelagerte Entscheidungen. Ein praktisches Programm für KI-Risikomanagement bietet Teams eine Möglichkeit, diese Fläche zu verwalten, ohne jedes Projekt zum Stillstand zu bringen. Es definiert Risikostufen, weist Verantwortliche zu, dokumentiert Entscheidungen, testet Systeme vor der Veröffentlichung und überwacht sie nach der Bereitstellung.

Für Unternehmen sind die stärksten Programme diejenigen, die Richtlinien mit funktionierenden Kontrollen verknüpfen. Hier beginnt das KI-Risikomanagement, verantwortungsvolle KI zu operationalisieren – indem Prinzipien in funktionierende Kontrollen, überwachte Systeme und überprüfbare Ergebnisse übersetzt werden.