KI-Governance: Ein Leitfaden für Unternehmen

Selbst ein hochleistungsfähiges Modell der künstlichen Intelligenz (KI) kann in einem Produktionssystem unzuverlässig sein. In einer Demo werden Prompts kontrolliert, Daten sind bereinigt und der Zugriff ist begrenzt. In der Produktion könnte das System veraltete Richtlinien aufzeigen, vertrauliche Daten preisgeben oder unbeabsichtigte Aktionen auslösen.

Die Leistungsfähigkeit des Modells ist wichtig, aber die Zuverlässigkeit hängt vom gesamten System ab. Mit KI-Governance definieren und erzwingen Unternehmen dieses System. Sie verknüpft Anwendungsfälle mit verantwortlichen Eigentümer:innen, Daten mit durchsetzbaren Richtlinien und Modelle mit Genehmigungs-Workflows, Monitoring und Audit-Trails. Sie soll dabei helfen, Outputs – insbesondere solche mit großen Auswirkungen – überprüfbarer und nachvollziehbarer zu machen und besser auf die tatsächlichen Geschäftsabläufe abzustimmen.

Governance wird mit der Weiterentwicklung von KI-Systemen immer wichtiger. Generative KI, Retrieval-Augmented Generation (RAG) und Agenten verhalten sich nicht wie traditionelle Modelle. Sie rufen Daten ab, generieren Inhalte und führen in einigen Fällen Aktionen aus. Jede neue Funktion als Sonderfall zu behandeln, ist nicht skalierbar, und Governance bietet eine konsistente Möglichkeit, sie alle zu verwalten.

KI-Governance ist die Gesamtheit der Richtlinien, Standards, Kontrollen und Aufsichtsprozesse, die Unternehmen dabei helfen, KI sicher, fair, verantwortungsvoll und in Übereinstimmung mit internen und externen Anforderungen zu entwickeln, bereitzustellen und zu betreiben. Sie erstreckt sich über den gesamten KI-Lebenszyklus, von der Identifizierung von Anwendungsfällen und der Datenauswahl bis hin zur Modellentwicklung, Bereitstellung, zum Monitoring, zur Reaktion auf Vorfälle und zur Außerbetriebnahme.

Der Umfang ist größer, als viele Teams erwarten. KI-Governance umfasst Modelle für maschinelles Lernen (ML), generative KI-Anwendungen, multimodale Systeme und agentenbasierte Workflows, die toolübergreifend Aktionen ausführen können.

Ein Betrugserkennungsmodell, ein Kundensupport-Chatbot, ein RAG-basierter Assistent und ein KI-Agent können sehr unterschiedliche Architekturen aufweisen. Sie alle erfordern jedoch dieselben grundlegenden Kontrollen: eine klare Aufzeichnung darüber, was das System tun darf, auf welche Daten es zugreifen kann, wer es genehmigt hat und wie sein Verhalten im Laufe der Zeit überwacht wird.

KI-Governance überschneidet sich mit mehreren angrenzenden Disziplinen:

• Data Governance regelt Datenbestände wie Tabellen, Views, Richtlinien, Metadaten, Lineage, Qualität und Zugriff.
• Modell-Governance verwaltet Modelle als Unternehmenswerte, einschließlich Registrierung, Validierung, Dokumentation und Monitoring.
• KI-Ethik definiert Prinzipien wie Fairness, Rechenschaftspflicht und menschliche Aufsicht.
• KI-Compliance konzentriert sich auf die Erfüllung regulatorischer, vertraglicher und prüfungsrelevanter Anforderungen.

KI-Governance ist zu einer geschäftlichen Anforderung geworden, da KI-Systeme mittlerweile in Entscheidungen eingebunden sind, die sich auf Preisgestaltung, Personalbeschaffung, Betrugserkennung, Kundenerfahrung und öffentliche Dienstleistungen auswirken. Generative KI kann sensible Informationen zutage fördern. Agenten können systemübergreifend Aktionen ausführen. In jedem Fall stellt sich nicht mehr nur die Frage, ob das Modell gut funktioniert, sondern ob das Unternehmen das System darum herum kontrollieren und erklären kann.

Der regulatorische Druck ist ein Treiber. Der EU AI Act etabliert einen risikobasierten Ansatz, der von Unternehmen verlangt, KI-Systeme zu klassifizieren, Kontrollen zu implementieren und revisionssichere Dokumentationen für risikoreichere Anwendungsfälle zu erstellen. Die ISO/IEC 42001 ergänzt dies durch einen Standard für KI-Managementsysteme zur Etablierung, Aufrechterhaltung und Verbesserung von Governance-Praktiken. Obwohl die Übernahme freiwillig ist, entscheiden sich immer mehr Unternehmen dafür, sie als Möglichkeit zur Anpassung an den EU AI Act zu nutzen.

Regulierung ist jedoch nicht der einzige Grund, warum Governance wichtig ist. KI-Systeme können diskriminierende Ergebnisse produzieren, sensible Daten offenlegen, unbelegte Behauptungen aufstellen oder Entscheidungen ohne ausreichende menschliche Aufsicht automatisieren. Diese Fehler können Reputationsrisiken bergen und dazu führen, dass Kund:innen, Mitarbeitende und Partner:innen KI-gestützten Workflows weniger Vertrauen entgegenbringen.

Jennifer Belissent, Principal Data Strategist bei Snowflake, bringt die kommerzielle Realität auf den Punkt: „Der wahre Treiber für KI- und Data Governance ist bereits vorhanden. Kund:innen fordern sie. Die Implementierung von Datensicherheits- und Datenschutzkontrollen sowie die Steuerung der KI-Nutzung sind ebenso eine Frage der Reputation wie regulatorischer Anforderungen.“

KI-Assurance wird zunehmend Teil der Art und Weise, wie Unternehmen ihre KI-Reife bewerten. Die Frage ist nicht, ob ein Unternehmen eine Erklärung zu verantwortungsvoller KI hat, sondern ob das Unternehmen aufzeigen kann, welche Systeme existieren, welche Kontrollen gelten, welche Risiken akzeptiert, welche Ergebnisse überprüft, welche Vorfälle gemeldet und welche Lehren daraus gezogen wurden.

KI-Governance-Frameworks bieten Unternehmen eine gemeinsame Sprache zur Klassifizierung von Risiken, zur Definition von Kontrollen und zur Erbringung von Nachweisen. Kein einzelnes Framework deckt jede Unternehmensanforderung ab, aber drei Referenzen verankern mittlerweile viele Governance-Gespräche:

• Der EU AI Act ist ein verbindliches rechtliches Framework für KI-Systeme, die auf dem EU-Markt in Verkehr gebracht oder verwendet werden. Er nutzt eine Risikoklassifizierung, um verbotene Praktiken, Hochrisiko-KI-Systeme, Transparenzpflichten und Anforderungen an Allzweck-KI-Modelle zu unterscheiden. Für Unternehmen ist der AI Act auch außerhalb Europas von Bedeutung, da seine Kategorien Rechts-, Risiko- und Technologieteams eine konkrete Möglichkeit bieten, KI-Anwendungsfälle zu klassifizieren, Verpflichtungen zuzuordnen und bei Bedarf Nachweise für Konformitätsbewertungen vorzubereiten.
• Das NIST AI Risk Management Framework ist ein freiwilliges Framework, das Unternehmen, die KI entwerfen, entwickeln, bereitstellen oder nutzen, dabei unterstützen soll, Risiken zu managen und vertrauenswürdige KI zu fördern. NIST strukturiert das Framework um Funktionen wie Govern, Map, Measure und Manage, was es für Unternehmen nützlich macht, die funktionsübergreifende KI-Risikoprogramme aufbauen, selbst wenn sie keinem einzelnen KI-spezifischen Gesetz unterliegen.
• ISO/IEC 42001 ist ein internationaler Standard für KI-Managementsysteme. Er legt Anforderungen für die Etablierung, Implementierung, Aufrechterhaltung und kontinuierliche Verbesserung eines KI-Managementsystems fest, was ihn für Unternehmen relevant macht, die eine zertifizierbare Governance-Struktur für die Entwicklung und Nutzung von KI anstreben.

Andere globale Referenzen sind ebenfalls relevant. Die KI-Prinzipien der OECD fördern KI, die vertrauenswürdig ist, Menschenrechte respektiert und demokratische Werte unterstützt, und ein Whitepaper der britischen Abteilung für Wissenschaft, Innovation und Technologie legt einen innovationsfreundlichen, kontextbasierten Ansatz für die KI-Regulierung dar. Zusammen weisen diese Referenzen auf dieselbe operative Anforderung hin: Unternehmen benötigen Governance-Mechanismen, die Risiken klassifizieren, Verantwortlichkeiten zuweisen, Kontrollen durchsetzen und Nachweise erbringen können, während sich KI-Systeme verändern.

Für deutsche Unternehmen ist das Bundesamt für Sicherheit in der Informationstechnik (BSI) eine weitere wichtige Referenz. Das BSI veröffentlicht spezifische Leitlinien zur sicheren Entwicklung und zum Betrieb von KI-Systemen und ergänzt den EU AI Act und die ISO/IEC 42001 um konkrete Anforderungen an die IT-Sicherheit. Für Unternehmen, die IT-Sicherheitsstandards nach BSI-Grundschutz befolgen, ist die BSI-Perspektive auf KI-Governance ein natürlicher Ausgangspunkt.

Sehen Sie sich ein Gespräch über Ethik und Regulierung von generativer KI an:

Eine effektive KI-Governance basiert auf einer Reihe miteinander verbundener Komponenten, die sicherstellen, dass KI-Systeme verantwortungsvoll, sicher und im Einklang mit den Unternehmenszielen entwickelt und genutzt werden. Die folgenden Komponenten spiegeln eine Synthese führender KI-Governance-Frameworks wider:

Strategie und Aufsicht

KI-Governance beginnt mit einer klaren strategischen Ausrichtung und Verantwortlichkeit. Unternehmen benötigen definierte Führungsstrukturen, Richtlinien und Entscheidungsprozesse, um die Einführung und Verwaltung von KI zu steuern. Dies hilft dabei, KI-Initiativen an den Geschäftszielen und der Risikotoleranz auszurichten.

Risikomanagement

KI bringt eine Reihe von Risiken mit sich, darunter algorithmischen Bias, Schwachstellen in der KI-Sicherheit und unbeabsichtigte Ergebnisse. Ein starkes Governance-Framework identifiziert, bewertet und mindert diese Risiken über den gesamten KI-Lebenszyklus hinweg, mit Prozessen für kontinuierliches Monitoring und Incident Response.

Data Governance

Da KI-Systeme stark auf Daten angewiesen sind, muss die Governance sicherstellen, dass die Daten korrekt und sicher sind sowie verantwortungsvoll genutzt werden. Dies umfasst die Verwaltung von Datenqualität, Datenschutz und Zugriffskontrollen sowie die Aufrechterhaltung einer klaren Data Lineage.

Modell-Governance und Lifecycle-Management

Modell-Governance konzentriert sich darauf, wie KI-Modelle entwickelt, getestet, bereitgestellt und gewartet werden. Sie umfasst Standards für Validierung, Dokumentation, Versionskontrolle und kontinuierliches Monitoring, um sicherzustellen, dass Modelle im Laufe der Zeit zuverlässig und zweckmäßig bleiben.

Ethik und verantwortungsvolle KI

Über die technische Performance hinaus müssen KI-Systeme ethischen Prinzipien entsprechen. Governance-Frameworks befassen sich mit Fairness, Transparenz, Erklärbarkeit und menschlicher Aufsicht, um Schäden zu reduzieren und sicherzustellen, dass die Ergebnisse mit gesellschaftlichen und unternehmerischen Werten im Einklang stehen.

Compliance und rechtliche Kontrollen

Unternehmen müssen sicherstellen, dass ihre KI-Systeme den geltenden Gesetzen und Vorschriften entsprechen. Dazu gehören die Pflege von Audit-Trails, die Erfüllung von Dokumentationsanforderungen, das Management von Drittanbieterrisiken und die Klärung von Fragen wie Haftung und geistigem Eigentum.

Sicherheit und Robustheit

KI-Systeme müssen vor Missbrauch, Manipulation und Angriffen geschützt werden. Governance umfasst Schutzmaßnahmen für Daten und Modelle, Widerstandsfähigkeit gegen feindliche Bedrohungen und Kontrollen, um unbefugten Zugriff oder schädliche Nutzung zu verhindern.

Transparenz und Verantwortlichkeit

Eine klare Dokumentation und Nachverfolgbarkeit sind unerlässlich für das Vertrauen. Unternehmen sollten Aufzeichnungen darüber führen, wie KI-Systeme konzipiert und betrieben werden, angemessene Erklärungen für Ergebnisse liefern und Verantwortlichkeiten festlegen, wenn Probleme auftreten.

Betrieb und Monitoring

KI-Governance geht über die Bereitstellung hinaus. Kontinuierliches Monitoring stellt sicher, dass Systeme wie erwartet funktionieren, während Feedbackschleifen, Audits und Incident-Management-Prozesse Unternehmen dabei helfen, auf Probleme zu reagieren und sich im Laufe der Zeit zu verbessern.

Kultur, Schulung und Change-Management

Erfolgreiche Governance hängt ebenso sehr von Menschen ab wie von Prozessen. Unternehmen müssen in Schulungen investieren, verantwortungsvolle KI-Praktiken fördern und eine Kultur schaffen, in der ethische Überlegungen und Risikobewusstsein in die alltägliche Entscheidungsfindung eingebettet sind.

Verantwortungsvolle KI definiert, was das Unternehmen bewahren möchte, wenn KI Teil von Geschäftsprozessen wird: Fairness bei den Ergebnissen, Transparenz des Systemverhaltens, Verantwortlichkeit für Entscheidungen, Datenschutz für betroffene Personen, Sicherheit unter erwarteten und unerwarteten Bedingungen sowie Inklusion aller Gruppen, die von dem System betroffen sein könnten.

Diese Prinzipien benötigen operative Mechanismen, um in die Praxis umgesetzt zu werden. Ein Fairness-Prinzip lässt sich in ein Bias-Audit mit dokumentierten Schwellenwerten übersetzen. Ein Datenschutz-Prinzip erfordert Datenminimierung, Maskierung, Aufbewahrungsfristen und Zugriffskontrollen. Ein Prinzip der menschlichen Aufsicht wird zu einem Überprüfungs-Workflow, der definiert, wann eine Person eine KI-generierte Empfehlung genehmigen, überschreiben oder untersuchen muss.

KI-Governance gibt verantwortungsvoller KI ihre Struktur. Sie verknüpft Prinzipien mit Verantwortlichen, Artefakten und Kontrollen. Das Ziel ist nicht, jedes KI-Projekt mit demselben Prozess zu verlangsamen, sondern sicherzustellen, dass Systeme mit höherem Risiko die Prüfung, Dokumentation und das Monitoring erhalten, die ihre Auswirkungen erfordern.

Transparenz und Erklärbarkeit werden oft zusammen diskutiert, beantworten aber unterschiedliche Fragen. Bei der KI-Transparenz geht es darum, was Stakeholder:innen über das System sehen können: wem es gehört, was es tun soll, welche Datenquellen es nutzt, welche Kontrollen gelten und welche Einschränkungen dokumentiert wurden. Bei der Erklärbarkeit geht es darum, warum eine bestimmte Vorhersage, Klassifizierung, Empfehlung oder generierte Ausgabe erfolgt ist.

Ein transparentes KI-System könnte seine Modellkarte, Dokumentation, Versionshistorie, seinen Genehmigungsstatus und bekannte Einschränkungen offenlegen. Ein erklärbares System könnte zeigen, welche Variablen eine Kreditrisikovorhersage beeinflusst haben oder welche Merkmale am meisten zu einem Churn-Score beigetragen haben. Bei generativen KI-Systemen kann es auch zeigen, welche abgerufenen Dokumente eine generierte Antwort als Grounding-Nachweis unterstützt haben.

Technische Methoden zur Erklärbarkeit wie SHAP und LIME können Teams dabei helfen, bestimmte Modellausgaben zu interpretieren, insbesondere in tabellarischen ML-Kontexten, obwohl sie für Large Language Models weniger anwendbar sind. Aber Erklärbarkeit ist nicht nur eine Modelltechnik. Für generative KI kann sie auch RAG-Grounding-Nachweise, zitierte Quelldokumente, Prompt- und Antwortprotokolle, Post-hoc-Erklärungen, Konfidenzsignale für Ausgaben und eine klare Dokumentation darüber erfordern, wo das System nicht verwendet werden sollte.

KI-Nachverfolgbarkeit verknüpft eine KI-Ausgabe mit den Assets und Aktionen, die sie erzeugt haben. In einem herkömmlichen ML-System kann dies Data Lineage, Trainingsdaten, Feature-Transformationen, Modellversion, Validierungsergebnisse und Bereitstellungszeit umfassen. In einer generativen KI-Anwendung kann dies auch den System-Prompt, den Nutzer-Prompt, den abgerufenen Kontext, den Modellanbieter, die Inferenzkonfiguration, Tool-Aufrufe und die generierte Antwort umfassen. Bei einem KI-Agenten kann sich die Nachverfolgbarkeit auf den Speicherstatus, den Aktionsverlauf und externe Systeme erstrecken, auf die der Agent zugegriffen hat.

Prüfbarkeit ist die Fähigkeit von internen oder unabhängigen Prüfer:innen, zu verifizieren, dass das System wie vorgesehen funktioniert hat und die erforderlichen Kontrollen angewendet wurden. Sie hängt ab von Audit-Trails, unveränderlichen Protokollen (wo angemessen), Modellkarten-Dokumentation, Modelldokumentation, Berichten über KI-Vorfälle, Access History und Kontrollnachweisen, die im Nachhinein überprüft werden können.

Diese Funktionen bilden die Grundlage für KI-Compliance-Audits. Ein Governance-Team kann nicht glaubwürdig beurteilen, ob ein System den Richtlinien entsprach, wenn es nicht rekonstruieren kann, welche Daten verwendet wurden, welche Modell- oder Prompt-Version aktiv war, welche:r Nutzer:in die Ausgabe angefordert hat und welche Aktion darauf folgte. Aus diesem Grund erfordert die KI-Nachverfolgbarkeit oft sowohl Data Lineage als auch Model Lineage, zusammen mit Protokollen auf Anwendungsebene, die Prompts, abgerufenen Kontext und Tool-Nutzung erfassen.

KI-Governance beginnt mit den Daten, die das Modell trainieren, anpassen, mit Grounding versehen oder evaluieren. Ein Modell, das mit schlecht dokumentierten Daten trainiert wurde, kann historischen Bias reproduzieren, sensible Attribute offenlegen, unzuverlässige Ausgaben generieren oder versagen, wenn es auf eine Population angewendet wird, die in den Originaldaten nicht vertreten war. In einem RAG-System ist das Modell möglicherweise nicht mit Unternehmensdokumenten trainiert, aber für die abgerufenen Inhalte gelten dieselben Governance-Fragen: Woher stammen sie, wem gehören sie, wie aktuell sind sie, welche Zugriffsrichtlinien gelten und sind sie für die Anfrage der Nutzer:innen angemessen?

Training Data Governance umfasst Herkunft, Einwilligung, Lizenzierung, Qualität, Aufbewahrung, Zugriff, demografische Attribute, Datenminimierung und genehmigte Nutzung. Bei LLM Data Governance kann der Umfang auch Offenlegungen von Pre-Training-Daten, Fine-Tuning-Daten, Embeddings, Prompt-Protokolle und Evaluierungsdaten umfassen. Synthetic Data Governance fügt eine weitere Ebene hinzu: wie die synthetischen Daten generiert wurden, ob sie den statistischen Nutzen bewahren, ob sie Quelldaten preisgeben und für welche Anwendungsfälle sie zugelassen sind.

Die Bias-Prüfung testet, ob ein KI-System inakzeptable Ungleichheiten zwischen geschützten Klassen, demografischen Attributen oder anderen relevanten Kohorten erzeugt. Diese Arbeit hängt von klaren Definitionen, repräsentativen Daten und einem sorgfältigen Umgang mit sensiblen Attributen ab. In einigen Fällen können demografische Daten erforderlich sein, um auf Bias zu testen. In anderen Fällen kann das Erfassen oder Verwenden dieser Daten selbst Datenschutz- und Compliance-Risiken bergen.

Generative KI und KI-Agenten erweitern die Governance-Oberfläche, da sie neue Artefakte und Verhaltensweisen einführen, für deren Verwaltung ältere Modell-Governance-Programme nicht ausgelegt waren. Ein Klassifizierungsmodell gibt einen Score oder eine Kategorie zurück. Eine generative KI-Anwendung kann einen Absatz verfassen, ein Dokument zusammenfassen, Code schreiben, ein Bild generieren oder eine Geschäftsfrage aus dem abgerufenen Kontext beantworten. Ein KI-Agent kann noch weiter gehen, indem er Tools auswählt, Pläne erstellt, Informationen im Speicher ablegt und systemübergreifend Aktionen ausführt.

Governance für generative KI

Governance für generative KI umfasst die Daten, Prompts, Modelle, Retrieval-Pipelines, Ausgaben und Offenlegungen, die generierte Inhalte prägen. Prompt Governance definiert, wer System-Prompts erstellen, ändern und genehmigen darf, insbesondere wenn Prompts Richtlinien, Rollenverhalten oder Zugriffsbeschränkungen kodieren. LLM Governance verfolgt, welches Foundation Model verwendet wird, wo es ausgeführt wird, welche Daten damit geteilt werden, wie Ausgaben gefiltert werden und welche vertraglichen oder Compliance-Verpflichtungen gelten.

RAG Governance ist für Anwendungsfälle in Unternehmen besonders wichtig, da generierte Antworten oft von abgerufenen Dokumenten, Tabellen oder Wissensdatenbankeinträgen abhängen. Ein verwaltetes RAG-System benötigt Herkunfts-Metadaten, Zugriffskontrollen, Aktualitätsprüfungen, Quellenangaben und Evaluierungsmetriken, die die Relevanz und Fundierung (Groundedness) der Antworten testen. Ohne diese Kontrollen generiert das System möglicherweise selbstbewusste Antworten aus veralteten, eingeschränkten oder schlecht verstandenen Inhalten.

KI-Offenlegung und Transparenz bei generativer KI definieren, wann Nutzer:innen, Kund:innen oder Mitarbeiter:innen wissen sollten, dass sie mit KI interagieren oder KI-generierte Inhalte erhalten. Content Governance kann auch Herkunftsstandards wie C2PA, menschliche Überprüfung für Ausgaben mit großen Auswirkungen, Wasserzeichen (wo angemessen) und Richtlinien für extern veröffentlichtes KI-generiertes Material umfassen.

Governance für KI-Agenten

Governance für KI-Agenten fügt die Aufsicht über die Tool-Nutzung, Kontrollen für den Agentenspeicher und Regeln für die Multi-Agenten-Koordination hinzu. Ein Support-Agent, der eine Antwort entwirft, stellt ein Risikoprofil dar, während ein Agent, der Rückerstattungen veranlassen, Kontodatensätze aktualisieren oder sensible interne Systeme abfragen kann, ein anderes darstellt. Die Governance muss definieren, welche Tools der Agent aufrufen kann, welche Berechtigungen er erbt, welche Aktionen einer Genehmigung bedürfen und wie Ausnahmen protokolliert werden.

Der Agentenspeicher schafft ein weiteres Governance-Objekt. Wenn ein Agent Nutzerpräferenzen, Projektkontext oder frühere Entscheidungen speichert, benötigen Teams Regeln für Aufbewahrung, Löschung, Zugriff, Datenschutz und dafür, ob der Speicher zukünftige Aktionen beeinflussen kann. Multi-Agenten-Systeme bringen zusätzliche Koordinationsrisiken mit sich: Ein Agent ruft möglicherweise Daten ab, ein anderer analysiert sie und ein dritter führt eine Aktion aus. Der Audit-Trail muss zeigen, wie diese Schritte miteinander verbunden sind.

Die praktische Governance-Frage ist, ob das Unternehmen das Verhalten des Agenten einschränken kann, ohne sich allein auf das Modell zu verlassen. Guardrails, Berechtigungen, Datenrichtlinien, Workflow-Genehmigungen, Trace-Protokolle und die Meldung von Vorfällen tragen alle dazu bei, agentenbasierte KI von einem undurchsichtigen Workflow in ein kontrolliertes System zu verwandeln.

Modell-Governance verwaltet jedes Modell als Unternehmensressource. Sie umfasst in der Regel Modellregistrierung, Modellkarten, Dokumentation, Validierung, Genehmigungs-Workflows, Monitoring, Stilllegung und Eigentümerschaft. Eine Modell-Registry zeigt, welche Modelle existieren und wo sie bereitgestellt sind. Eine Modellkarte erfasst den vorgesehenen Verwendungszweck, Evaluierungsergebnisse, Einschränkungen, ethische Überlegungen und Bedingungen, unter denen das Modell nicht verwendet werden sollte.

Das Modellrisiko ist das Risiko, dass ein Modell falsche, unangemessene oder schädliche Ausgaben produziert oder außerhalb seines vorgesehenen Kontexts verwendet wird. Unternehmen im Bereich Finanzdienstleistungen behandeln Modell-Risikomanagement schon lange als formale Disziplin. SR 11-7, die langjährige US-Bankenrichtlinie zum Risikomanagement von Modellen, betonte Governance, Validierung, Kontrollen und Aufsicht. Im April 2026 veröffentlichte die Federal Reserve eine überarbeitete Richtlinie, die einen stärker risikobasierten Ansatz widerspiegeln soll.

In Deutschland spiegelt das Rundschreiben der BaFin zum Umgang mit Modellrisiken ähnliche Anforderungen wider und wird von deutschen Finanzinstituten als primäre regulatorische Referenz für das Management von KI-Modellrisiken herangezogen.

KI-Governance lehnt sich an die Tradition des Modellrisikos an, weitet diese jedoch auf ein breiteres Spektrum von Systemen aus. Ein Challenger-Modell kann verwendet werden, um die Performance mit einem Produktionsmodell zu vergleichen. Das Monitoring kann Drift, Genauigkeit, Latenz, Kosten, Fairness oder Raten unsicherer Ausgaben verfolgen. Eine Prüfung der verantwortungsvollen KI kann untersuchen, ob der Anwendungsfall mit den Unternehmensprinzipien, gesetzlichen Verpflichtungen und den Erwartungen der Stakeholder übereinstimmt.

Modell-Alignment fügt eine weitere Ebene hinzu, insbesondere für generative KI. Beim Alignment geht es darum, ob sich ein Modell oder eine KI-Anwendung im Einklang mit den beabsichtigten Zielen, Richtlinien und menschlichen Werten verhält. Techniken wie Constitutional AI können das Modellverhalten während des Trainings oder der Anpassung prägen, aber das Alignment im Unternehmen hängt auch von den umgebenden Kontrollen ab: genehmigte Anwendungsfälle, menschliche Überprüfung, Guardrails, Evaluierungsinfrastruktur und klare Eskalationspfade, wenn sich das System unerwartet verhält.

KI-Compliance verwandelt Governance-Kontrollen in Nachweise. Eine Richtlinie mag besagen, dass Hochrisikosysteme menschliche Aufsicht erfordern, aber eine Aufsichtsbehörde oder ein:e Kund:in könnte nach dem Genehmigungs-Workflow, den Namen der Prüfer:innen, den Prüfdaten, der Problemhistorie und dem Nachweis fragen, dass der Workflow vor der Bereitstellung angewendet wurde. Der Unterschied zwischen einer Richtlinie und einem Compliance-Programm besteht in der Fähigkeit zu zeigen, dass die Richtlinie in der Praxis angewendet wurde.

Für deutsche Unternehmen ergänzt die DSGVO (Datenschutz-Grundverordnung) den EU AI Act als weiterer Governance-Treiber. Artikel 22 der DSGVO schützt Betroffene vor rein automatisierten Entscheidungen mit erheblichen Auswirkungen – ein Aspekt, der für KI-basierte Kredit-, Einstellungs- oder Scoring-Systeme direkt relevant ist. Artikel 35 verlangt für risikoreiche Verarbeitungsvorhaben eine Datenschutz-Folgenabschätzung (DSFA), die sich inhaltlich stark mit einem KI-Impact-Assessment überschneidet. Da die deutschen Datenschutzbehörden zu den aktivsten Durchsetzungsbehörden in der EU gehören, sollten KI-Governance-Programme in Deutschland beide Regelwerke von Anfang an gemeinsam berücksichtigen.

Control Mapping hilft dabei, KI-Governance-Aktivitäten mit spezifischen Anforderungen aus Gesetzen, Standards und internen Richtlinien zu verknüpfen. Eine einzige Kontrolle – zum Beispiel die Pflege eines Modellinventars – kann den EU AI Act, ISO/IEC 42001, internes Risikomanagement und Fragebögen zur Kundensicherheit unterstützen. Ein einziges Artefakt, wie eine Modellkarte oder ein KI-Impact-Assessment, kann Transparenz, Rechenschaftspflicht, Risikoprüfung und Audit-Nachweise unterstützen.

Dokumentationen für Aufsichtsbehörden sollten präzise, aktuell und mit dem tatsächlichen System verknüpft sein. Dazu gehören der vorgesehene Zweck des KI-Systems, Datenquellen, Risikoklassifizierung, Evaluierungsergebnisse, das Modell der menschlichen Aufsicht, der Monitoring-Plan, der Prozess zur Meldung von Vorfällen und die Änderungshistorie. Für generative KI und agentenbasierte Systeme sollte die Dokumentation gegebenenfalls auch Prompts, RAG-Grounding, Tool-Nutzung, Guardrails, Herkunft der Inhalte und die Überprüfung der Ausgaben abdecken.

KI-Governance-Programme geraten oft ins Stocken, wenn die Compliance-Arbeit erst nach der Bereitstellung erfolgt. Ein nachhaltigeres Muster besteht darin, Dokumentation, Monitoring und Kontrollnachweise in die Governance-Pipeline zu integrieren, sodass jeder genehmigte KI-Anwendungsfall die Aufzeichnungen hinterlässt, die zur Überprüfung, Auditierung und Verbesserung erforderlich sind.

KI-Governance funktioniert am besten, wenn sie nah an den Systemen angesiedelt ist, die sie kontrolliert. Richtlinien müssen in Modell-Registries, Datenrichtlinien, Zugriffskontrollen, Genehmigungs-Workflows, Monitoring-Dashboards und Vorfallsberichten auftauchen. Andernfalls wird Governance zu einem parallelen Prozess, den Teams umgehen, wenn KI-Arbeiten schnell voranschreiten.

Eine praktische Implementierung beginnt in der Regel mit sechs Schritten:

1. Inventarisieren Sie jedes Modell und jeden KI-Anwendungsfall: Erstellen Sie ein Modellinventar, das traditionelles ML, Anwendungen für generative KI, eingebettete Anbieter-KI, RAG-Systeme, KI-Agenten und experimentelle Systeme umfasst, die möglicherweise bereits die Arbeit beeinflussen.
2. Klassifizieren Sie nach Risiko: Verwenden Sie ein Risiko-Stufenmodell, das Auswirkungen, Autonomie, Datensensibilität, Nutzerexposition und regulatorischen Geltungsbereich widerspiegelt.
3. Weisen Sie verantwortliche Eigentümer:innen und Prüfer:innen zu: Jedes System benötigt eine:n verantwortliche:n Eigentümer:in, eine:n technische:n Steward und einen Überprüfungspfad.
4. Betten Sie Kontrollen dort ein, wo die Daten und das Modell bereits ausgeführt werden: Kontrollen sind effektiver, wenn sie Teil der Control Plane für Daten, Modelle und Anwendungen sind.
5. Dokumentieren, überwachen und prüfen Sie kontinuierlich: Modelldokumentation, Modellkarten, KI-Impact-Assessments, Lineage, Access History und Audit-Trails sollten aktualisiert werden, wenn sich Systeme ändern.
6. Melden Sie Vorfälle und lernen Sie daraus: Die Meldung von KI-Vorfällen sollte erfassen, was passiert ist, wer betroffen war, welche Kontrolle fehlte oder versagt hat und was sich danach geändert hat.

KI-Governance profitiert von der Nähe zu kontrollierten Daten. Wenn Datenrichtlinien in einem System, die Modellentwicklung in einem anderen, Prompts in einem weiteren und KI-Anwendungen ganz woanders angesiedelt sind, verbringen Teams einen Großteil ihres Governance-Aufwands damit, Inventare abzugleichen, Nachweise zu kopieren und im Nachhinein zu rekonstruieren, was passiert ist.

Snowflake bietet Funktionen, die darauf ausgelegt sind, die KI-Governance dort zu unterstützen, wo sich kontrollierte Daten bereits befinden. Snowflake Horizon Catalog bietet eine einheitliche Governance-Schicht für Daten und KI mit Funktionen wie Zugriffskontrolle, Dynamic Data Masking, Row Access Policies und Data Classification.

Snowflake Compliance Center fügt eine Überwachungsschicht für den Sicherheitsstatus von Konten hinzu. Es bewertet Snowflake-Konten anhand von Scanner-Empfehlungen, generiert Findings, wenn es potenzielle Sicherheitsrisiken erkennt, und bietet Anleitungen zur Behebung.

Cortex Guard wurde entwickelt, um eine Laufzeit-Sicherheitsschicht für generative KI bereitzustellen, indem potenziell unsichere oder schädliche LLM-Antworten gefiltert werden, wenn er in Snowflake Cortex AI-Funktionen aktiviert ist.

Die ISO/IEC 42001-Zertifizierung von Snowflake ist ein weiteres Signal für Glaubwürdigkeit. Die Zertifizierung belegt Governance- und Aufsichtsstrukturen für die Verwaltung des KI-Lebenszyklus, mit Schwerpunkt auf Transparenz und Verantwortlichkeit bei der Entwicklung und Nutzung von KI.

Für Unternehmen ist die Einführung von KI ohne Governance nicht möglich. Sie hilft einem Unternehmen zu verstehen, was ein KI-System tut, wer dafür verantwortlich ist, welche Daten und Modelle sein Verhalten geprägt haben und ob die richtigen Kontrollen angewendet wurden, bevor eine Ausgabe Teil einer Entscheidung wurde.

Governance wird noch wichtiger, wenn KI in generative Anwendungen und Agenten vordringt, die Unternehmensdaten abrufen, Inhalte generieren, Tools aufrufen und operative Workflows beeinflussen können.

Für Unternehmen ist dies der praktische Wert von KI-Governance. Sie hilft Teams, mit einem klareren Blick auf Risiken schneller zu agieren, KI dort einzusetzen, wo Vertrauen und Verantwortlichkeit wichtig sind, und Kund:innen, Aufsichtsbehörden und internen Stakeholder:innen zu zeigen, wie KI-Systeme im Laufe der Zeit verwaltet werden.