Verantwortungsvolle KI: Prinzipien und Praktiken für vertrauenswürdige Systeme

Oft besteht eine Kluft zwischen dem, was ein Unternehmen über seine KI-Werte sagt, und dem, was es über ein System nachweisen kann, das in der Produktion läuft. Fairness, Transparenz und Verantwortlichkeit sind nützliche Prinzipien, die jedoch erst Realität werden, wenn Teams Fairness-Metriken definieren, Trainingsdaten untersuchen, das Verhalten von Modellen dokumentieren, Entscheidungsrechte zuweisen und nach der Bereitstellung auf Drift überwachen.

Das ist die Arbeit von verantwortungsvoller KI. Dabei werden grobe Prinzipien in Betriebsanforderungen umgewandelt: Wie Daten bezogen, Modelle ausgewertet, wer Outputs mit hohem Risiko überprüft, welche Nachweise aufbewahrt werden und wie Teams reagieren, wenn sich ein System unerwartet verhält.

In Unternehmen entwickelt sich verantwortungsvolle KI zu einer praktischen Disziplin für den Aufbau, die Bereitstellung und die Kontrolle von KI-Systemen, die Kontrollen unterstützen – von Behörden, Kund:innen, Mitarbeiter:innen und internen Stakeholder:innen.

Verantwortungsvolle KI beschreibt die Praxis, KI-Systeme nach ethischen Prinzipien zu entwerfen, zu entwickeln und zu betreiben, damit sie fair, transparent, verantwortlich, sicher und unter Achtung des Datenschutzes sind. Sie steht in engem Zusammenhang mit ethischer KI, vertrauenswürdiger KI und menschenorientierter KI, doch der Schwerpunkt liegt auf der Praxis: Ein verantwortungsvolles KI-Programm verwandelt Prinzipien in Anforderungen, die Teams über den gesamten KI-Lebenszyklus hinweg anwenden können.

Der operative Fokus bedeutet, dass verantwortungsvolle KI nicht als Tor fungiert, das ein System vor dem Start durchläuft. Sie gilt für den gesamten Lebenszyklus – von den Entscheidungen über Trainingsdaten, die vor der Entwicklung eines Modells getroffen werden, über die Bewertung, Bereitstellung und Überwachung bis hin zu den Governance-Überprüfungen, die bestimmen, ob ein System noch bestimmungsgemäß ist. Verantwortungsvolle KI definiert, wie „gut“ in diesen Phasen aussieht, und KI-Governance schafft die Rollen, Kontrollen und Auditpfade, die dem Unternehmen helfen, sie durchzusetzen.

Die folgenden Prinzipien werden oft separat besprochen, aber in der Produktion interagieren sie miteinander. Eine Entscheidung zum Datenschutz kann sich auf Fairnesstests auswirken, eine Transparenzanforderung kann die Modelldokumentation ändern und ein Rechenschaftsmodell kann bestimmen, ob ein menschlicher Schritt tatsächlich Autorität oder nur eine nominale Überprüfung hat.

Fairness

KI-Fairness bedeutet, dass KI-Systeme nicht zu diskriminierenden Ergebnissen über geschützte Attribute oder andere relevante Gruppen hinweg führen dürfen. Eines der häufigsten Risiken ist der algorithmische Bias: systematische Unterschiede in der Performance eines Modells für verschiedene Bevölkerungsgruppen, oft aufgrund von verzerrten Verlaufsdaten, Proxy-Variablen oder ungleichmäßiger Darstellung in Trainingsdaten. Fairness erfordert mehr als nur das Entfernen sensibler Felder aus einer Tabelle, da Proxys immer noch in Standortdaten, Einkommensmustern, Geräteverhalten oder historischen Labels erscheinen können.

Die Teams untersuchen in der Regel Fairness-Metriken wie demografische Parität, Chancengleichheit oder Fehlerquotenunterschiede und entscheiden dann, welche Metrik zum Anwendungsfall und Risikoprofil passt. Ein Betrugsmodell, ein Kreditmodell und ein medizinisches Triage-Modell erfordern möglicherweise unterschiedliche Fairnesstests, da die Folgen falsch-positiver und falsch-negativer Ergebnisse nicht dieselben sind.

Praktische Maßnahmen: Fairnesstests vor der Bereitstellung und in einem wiederkehrenden Zeitplan durchführen, die ausgewählten Kennzahlen, Ergebnisse auf Gruppenebene, bekannte Einschränkungen und Maßnahmen zur Eindämmung dokumentieren.

Transparenz

KI-Transparenz bedeutet, dass Stakeholder verstehen können, was ein KI-System leistet, warum es entwickelt wurde, welche Daten es verwendet und wo seinen Ergebnissen nicht vertraut werden sollte. Bei einigen Systemen kann dies erklärbares Modellverhalten bedeuten, bei anderen eine klare Offenlegung des Nutzenden, eine Modellkarte, ein Datenblatt oder eine Beschreibung des Verwendungszwecks in einfacher Sprache.

Ziel ist es nicht, alle Modellparameter allen Nutzenden offenzulegen. Um der richtigen Zielgruppe das richtige Maß an Informationen zu geben: Führungskräfte benötigen Informationen zur Risikoposition, Entwickler:innen brauchen Implementierungsdetails, Prüfer:innen brauchen Bewertungsnachweise und betroffene Nutzer:innen müssen möglicherweise wissen, wann KI zu einer Entscheidung beigetragen hat.

Praktische Maßnahmen: Veröffentlichen Sie eine Modellkarte oder einen gleichwertigen Systemeintrag, der den Verwendungszweck, Datenquellen, Bewertungsergebnisse, Einschränkungen, menschliche Überwachung und Eskalationspfade abdeckt.

Verantwortlichkeit

Verantwortlichkeit bedeutet, Menschen zu benennen, die die Entscheidungen rund um ein KI-System selbst treffen. Ein Modell kann eine Ausgabe generieren, aber es kann nicht seine eigene Bereitstellung genehmigen, regulatorische Risiken übernehmen, Kund:innen einen Vorfall erklären oder entscheiden, ob ein schädliches Muster behoben werden soll.

Zur klaren Rechenschaftspflicht gehören in der Regel ein:e Executive Sponsor:in, ein:e Business Owner:in, technische Eigentümer:innen, Risiko- oder Rechtsprüfer:innen sowie operative Eigentümer:innen, die nach der Bereitstellung eingreifen können. Ohne diese Struktur lässt sich verantwortungsvolle KI nur schwer durchsetzen: Niemand hat explizit die Berechtigung, ein Modell anzuhalten, eine Zugriffsrichtlinie zu ändern, eine Ausnahme zu genehmigen oder Umschulungen zu verlangen.

Praktische Maßnahmen: Weisen Sie verantwortliche Eigentümer:innen für jeden KI-Anwendungsfall zu, z. B. wer die Bereitstellung genehmigt, wer Vorfälle überprüft und wer das System aussetzen oder zurücksetzen kann.

Datenschutz

Datenschutz bedeutet, dass KI-Systeme Daten auf eine Weise nutzen sollten, die die individuellen Rechte, vertraglichen Verpflichtungen und den ursprünglichen Zweck respektiert, für den die Daten erfasst wurden. Bei KI-Teams beginnt dies oft mit der Datenminimierung und Zweckbindung – nur mit den für die Aufgabe erforderlichen Feldern, wobei Einwilligungs-, Aufbewahrungs- und Zugriffskontrollen bei Bedarf hinzugefügt werden.

Technologien für maschinelles Lernen (ML, Machine Learning), die den Datenschutz wahren, können zwar dazu beitragen, Risiken zu reduzieren, ersetzen aber nicht die Governance über Datenquellen, Labels, Prompts, Einbettungen, Protokolle und Modellausgaben. Bei einer verantwortungsvollen KI-Überprüfung sollte die Frage gestellt werden, ob personenbezogene Daten überhaupt benötigt werden, ob synthetische Daten geeignet sind, ob sensible Attribute für Tests oder Training verwendet werden und wie der Zugriff im Laufe der Zeit geprüft wird.

Praktische Maßnahmen: Überprüfen Sie Trainings-, Validierungs- und Inferenzdaten auf Zweckbindung, Einwilligung, sensible Attribute, Aufbewahrungsregeln und Zugriffskontrollen, bevor das Modell in Produktion geht.

Sicherheit

KI-Sicherheit bedeutet, dass ein KI-System vorhersehbar und reversibel ausfallen sollte. Das System sollte über Grenzen für seine Möglichkeiten verfügen, Kontrollen, die schädliche Ausgaben reduzieren, und Überwachung, die Teams hilft, unsicheres Verhalten zu erkennen, bevor es zu einem Vorfall wird.

Bei generativer KI und Agentensystemen umfasst Sicherheit oft Red Teaming, Ratenlimits, Inhaltsfilterung, Einschränkungen bei der Toolnutzung, Rollback-Pläne und menschliche Überprüfungen für Maßnahmen mit hohem Einsatz. Das System sollte auch einen definierten Pfad für Meldeprobleme haben, da unsicheres Verhalten durch Modelldrift, Prompt-Injection, Datenänderungen, kontradiktive Verwendung oder eine Inkongruenz zwischen bestimmungsgemäßer und tatsächlicher Verwendung entstehen kann.

Praktische Maßnahmen: Red teamen Sie das System vor dem Start, definieren Sie unsichere Ausgabekategorien, legen Sie Eskalationsschwellen fest und pflegen Sie einen Rollback- oder Deaktivierungspfad.

Inklusion

Inklusion bedeutet, dass verschiedene Perspektiven den Zweck des Systems bestimmen: Trainingsdaten, Evaluierung und Bereitstellungskontext. Dazu gehören die Personen, die das System entwickeln, die Geschäftsteams, die es verwenden, sowie die Gemeinschaften oder Benutzergruppen, die von seinen Ergebnissen betroffen sind.

Partizipatives Design kann Risiken aufdecken, die bei einer rein technischen Überprüfung leicht zu übersehen sind. Ein Support-Automatisierungstool kann die Eskalationserfahrung von Kund:innen verändern; ein Gesundheitsmodell kann sich zwischen Patientengruppen unterschiedlich verhalten; ein KI-Tool am Arbeitsplatz kann sich auf Mitarbeitende auswirken, die sich nie für eine Bewertung durch ein Modell entschieden haben. Inklusion bedeutet, vor der Bereitstellung Raum für diese Perspektiven zu schaffen, nicht nur nach Beschwerden oder Vorfällen.

Praktische Maßnahmen: Beziehen Sie Vertreter:innen aus betroffenen Benutzergruppen, wirtschaftlichen Interessengruppen, Risikoteams und technischen Eigentümer:innen in die Anwendungsfallüberprüfung, die Bewertungskriterien und die Feedbackschleifen nach der Implementierung ein.

Sehen Sie sich dieses Gespräch mit führenden Unternehmen von Microsoft und Snowflake über die verantwortungsvolle Entwicklung und Bereitstellung von KI an:

Verantwortungsvolle KI ist wichtig, weil ein KI-System Reputationsrisiken, rechtliche Risiken, Kundenmisstrauen, betriebliche Überarbeitungen und Modellschulden verursachen kann, wenn es ohne klare Kontrollen in Produktion geht. Der EU AI Act schafft risikobasierte Verpflichtungen für KI-Systeme, wobei Hochrisikosysteme Anforderungen in den Bereichen Risikomanagement, Data Governance, technische Dokumentation, Aufzeichnung, Transparenz, menschliche Überwachung, Genauigkeit, Robustheit und Cybersicherheit unterliegen.

Es spricht einiges dafür, verantwortungsvolle KI zu betreiben: KI und Data Governance sind an den Ruf, das Kundenvertrauen und die Frage gebunden, ob Unternehmen nachweisen können, dass sie sicher mit KI umgehen. Kunden und Beschaffungsteams betrachten Governance-Reife zunehmend als Qualifikationsschwelle, nicht als Unterscheidungsmerkmal.

Die großen KI-Governance-Frameworks spiegeln die Bedeutung von verantwortungsvoller KI wider. Das KI-Risikomanagement-Framework von NIST ist freiwillig, soll Unternehmen aber dabei helfen, Vertrauenswürdigkeitsaspekte in das Design, die Entwicklung, den Einsatz und die Bewertung von KI-Systemen zu integrieren. ISO/IEC 42001 verfolgt einen Management-System-Ansatz, der Unternehmen eine strukturierte Möglichkeit gibt, KI-Risiken und -Chancen zu managen, einschließlich ethischer Erwägungen, Transparenz und kontinuierlicher Verbesserung.

Verantwortungsvolle KI-Praktiken schaffen in den operativen Teams früher Checkpoints für verzerrte Daten, unklare Verantwortlichkeiten, fehlende Dokumentation, nicht unterstützte Anwendungsfälle und schwaches Monitoring – so sinkt die Wahrscheinlichkeit, dass das Problem nach einer Kundenbeschwerde, einer behördlichen Anfrage oder einem Produktionsvorfall entdeckt wird.

Verantwortungsbewusste KI funktioniert am besten als Lifecycle-Disziplin. Kontrollen sollten dem System von der Datenbeschaffung über die Modellentwicklung, Bereitstellung, Überwachung und regelmäßige Überprüfung folgen.

Daten: Kontrollieren der Eingaben vor Trainingsbeginn

Ein verantwortungsvoller KI-Lebenszyklus beginnt mit den Daten. Die Teams müssen wissen, woher die Trainingsdaten stammen, ob Einwilligungen oder vertragliche Grenzen gelten, wie Labels erstellt wurden, welche Attribute Bias verursachen können und ob die Daten die Grundgesamtheit widerspiegeln, auf die sich das Modell auswirken wird.

Training Data Governance sollte auch synthetische Daten umfassen. Synthetische Daten können beim Datenschutz, beim Testen oder beim Klassenausgleich helfen, aber sie brauchen trotzdem Dokumentation: was sie erzeugt haben, welche ursprünglichen Daten sie geprägt haben, wo sie verwendet werden sollten und welche Muster möglicherweise verstärkt wurden oder verloren gegangen sind.

Zu den nützlichen Artefakten in dieser Phase gehören ein Datenblatt, Datenherkunftsdatensätze, Notizen in Labelqualität, Ergebnisse bei der Bias-Erkennung, Datenzugriffsrichtlinien und Genehmigungsdatensätze für sensible Felder.

Modell: Dokumentieren Sie den Verwendungszweck und testen Sie über die reine Genauigkeit hinaus

Während der Modellentwicklung wechseln verantwortungsvolle KI-Praktiken von der Datentauglichkeit zum Systemverhalten. Eine Modellkarte sollte den Verwendungszweck, die Verwendung außerhalb des Anwendungsbereichs, Bewertungsdaten, Performanceergebnisse, Fairnesstests, Robustheitstests und dokumentierte Einschränkungen erfassen.

Hier sollten Teams testen, ob sich das Modell gruppenübergreifend unterschiedlich verhält, ob es gängige Input-Variationen zuverlässig verarbeitet und ob es Konfidenzwerte oder Erklärungen liefert, die Prüfer interpretieren können. Für Anwendungsfälle mit hohem Einsatz sollte der Genehmigungsstandard den Nachweis enthalten, dass das Modell für den Entscheidungskontext geeignet ist, nicht nur, dass es im Vergleich zu einem aggregierten Benchmark gut abschneidet.

Bereitstellung: Stellen Sie Kontrollen dort bereit, wo Entscheidungen getroffen werden

Systeme mit hohem Einsatz sollten eine menschliche Kontrolle mit realer Autorität beinhalten – keinen rein formellen Genehmigungsschritt, nachdem das System die Entscheidung effektiv getroffen hat.

Teams sollten außerdem Rate Limits, Zugriffskontrollen, Ausgangsbeschränkungen, Drift-Monitoring, Bias-Monitoring und Eskalationsschwellen definieren. Bei GenAI-Anwendungen können die Bereitstellungskontrollen Abrufbeschränkungen, Prompt-Injection-Schutz, Ausgabemoderation, Protokollierung und Einschränkungen für Toolaufrufe oder Downstream-Aktionen umfassen.

Governance: Überprüfung, Rezertifizierung und Reaktion

Ein zuständiges KI-Überprüfungsgremium oder ein gleichwertiges Governance-Gremium sollte Anwendungsfälle mit höherem Risiko bewerten, Ausnahmen genehmigen, Vorfälle prüfen und eine regelmäßige Rezertifizierung verlangen.

Der Überprüfungsprozess sollte Nachweise liefern, die Unternehmen später erneut prüfen können, z. B. Genehmigungsentscheidungen, Modellkarten, Datenblätter, Berichte über KI-Vorfälle, Richtlinienausnahmen, Überwachungsergebnisse und Korrekturpläne. Wenn sich die Systeme ändern, helfen diese Datensätze den Teams zu verstehen, ob ein Modell noch seinem Verwendungszweck entspricht, sich die Ergebnisse verändert haben und neue Vorschriften oder interne Richtlinien zusätzliche Kontrollen erfordern.

Diese Begriffe überschneiden sich, sind aber nicht austauschbar.

• KI-Ethik befasst sich mit den normativen Fragen: Was sollte ein KI-System tun dürfen? Welche Anwendungen sind inakzeptabel? Welche Verpflichtungen hat ein Unternehmen gegenüber Nutzenden, Kund:innen, Mitarbeitenden und betroffenen Gemeinden?

• Verantwortungsvolle KI setzt diese Werte in operative Prinzipien um – Fairness, Transparenz, Verantwortlichkeit, Datenschutz, Sicherheit und Inklusion – und fordert Teams auf, sie durch Designentscheidungen, Dokumentation, Tests, Überwachung und Monitoring anzuwenden.

• KI-Governance macht diese Prinzipien durchsetzbar. Sie weist Entscheidungsrechte zu, erstellt Prüfprozesse, knüpft Kontrollen an Daten und Modelle, verfolgt Genehmigungen, überwacht Produktionssysteme und erfasst Nachweise für Audit, Compliance und Vorfallreaktion.

KI-Ethik stellt die Frage. Verantwortungsvolle KI definiert die operativen Prinzipien. KI-Governance schafft das Unternehmenssystem, das sie durchsetzt.

Verantwortungsvolle KI hängt vom Kontext ab: die Daten, mit denen ein Modell trainiert oder geerdet wird, die Zugriffsrichtlinien, die bestimmen, wer es verwenden kann, die Datenherkunft, die zeigt, woher die Inputs stammen, die Überwachung, die unerwartetes Verhalten erkennt, und die Kontrollen, die die Outputs zur Laufzeit moderieren. Snowflake unterstützt Daten- und KI-Governance in derselben Umgebung, in der Unternehmen Daten, Anwendungen und KI-Workloads verwalten.

Nach einem unabhängigen Audit hat Snowflake eine Zertifizierung nach ISO/IEC 42001 erhalten. Das Audit deckt die Anforderungen des KI-Managementsystems für die Einrichtung, Implementierung, Pflege und kontinuierliche Verbesserung der Governance gegenüber KI-Technologien ab.

Snowflake Horizon Catalog vereint die Governance für Daten, Apps und Modelle durch rollenbasierte Zugriffskontrolle, attributbasierte Zugriffskontrolle, Klassifizierung, Tagging, Überwachung und Lineage. Access History, Time Travel, gemeinsam genutzte Metadaten und Datenherkunft über Snowflake und externen Speicher geben Teams den Kontext, um zu überprüfen, wie Daten verwendet werden und wie Kontrollen im Laufe der Zeit angewendet werden.

Snowflake Cortex Guard wurde entwickelt, um potenziell unsichere LLM-Antworten zur Laufzeit zu filtern und die Modellausgaben zu bewerten, bevor sie an die Applikation zurückgegeben werden.

Gemeinsam tragen diese Kontrollen dazu bei, verantwortungsvolle KI-Prinzipien mit betrieblichen Nachweisen zu verbinden, z. B. wer auf Daten zugegriffen hat, welche Richtlinien angewendet wurden, welche Datenherkunft zeigt, wo die Ausgaben moderiert wurden und wie KI-Systeme innerhalb des weiteren Datenbestands kontrolliert wurden.

Kunden- und Partnererwartungen rund um verantwortungsvolle KI steigen sogar noch schneller als die meisten gesetzlichen Vorgaben. Unternehmen, die KI-Governance einst als Compliance-Projekt behandelt haben, stellen fest, dass Beschaffungsteams, Unternehmenskund:innen und Stakeholder:innen auf Vorstandsebene vor ihrer Unterzeichnung spezifischere Fragen stellen – zu Datenpraktiken, Modelldokumentation, Fairnesstests und Reaktion auf Vorfälle. 

Die Teams, die vorne liegen, verfügen in der Regel über Trainingsdaten, die sie berücksichtigen können, Modellverhalten, das sie gruppenübergreifend getestet haben, Bereitstellungskontrollen mit realer Autorität und Governance-Überprüfungen, die Nachweise statt Genehmigungen liefern. So sieht verantwortungsvolle KI in der Praxis aus: Datenblätter, Modellkarten, Vorfallberichte und Auditpfade. Sie zeigen auch den Regulierungsbehörden, Kunden und internen Stakeholdern, dass die angegebenen Werte eines Unternehmens und seine tatsächlichen Systeme übereinstimmen.