Der Leitfaden für KI-Risiken und -Kontrollen von KPMG

Diese erste Statistik stammt vielleicht aus dem letzten Jahr, ist aber heute aktueller denn je. Laut dem KPMG 2024 U.S. CEO Outlook nennen beeindruckende 68 % der CEOs KI als oberste Investitionspriorität. Sie setzen darauf, Effizienz zu steigern, ihre Mitarbeitenden weiterzubilden und Innovationen im gesamten Unternehmen voranzutreiben.

Das ist ein großer Vertrauensbeweis für KI – wirft aber auch eine entscheidende Frage auf: Wie stellen Unternehmen sicher, dass sie KI verantwortungsvoll und ethisch einsetzen, wenn so viel auf dem Spiel steht?

Hier setzt der Leitfaden für KI-Risiken und -Kontrollen von KPMG an. Er bietet ein klares, praxisorientiertes Rahmenwerk, das Unternehmen hilft, das Potenzial von KI zu nutzen und gleichzeitig echte Risiken zu managen. In der heutigen Zeit ist der Aufbau vertrauenswürdiger KI nicht nur gute Praxis – sondern geschäftliche Notwendigkeit.

Künstliche Intelligenz (KI) revolutioniert ganze Branchen und erschließt neue Ebenen von Effizienz, Innovation und Wettbewerbsfähigkeit. Doch mit diesem Wandel gehen auch spezifische Risiken und ethische Herausforderungen einher, die Unternehmen sorgfältig steuern müssen, um Vertrauen zu erhalten und einen verantwortungsvollen Einsatz zu gewährleisten. Der KPMG-Leitfaden für KI-Risiken und -Kontrollen unterstützt Organisationen dabei, diese Komplexität zu meistern, und bietet einen praktischen, strukturierten und werteorientierten Ansatz für KI-Governance.

Der Leitfaden ist auf das Trusted AI Framework von KPMG abgestimmt und hilft Unternehmen, KI-Lösungen zu entwickeln und einzusetzen, die ethisch, menschenzentriert und konform mit globalen Regulierungsstandards sind. Er ist entlang von 10 grundlegenden Säulen aufgebaut, die jeweils einen zentralen Aspekt des KI-Risikomanagements adressieren:

1. Verantwortlichkeit: Klare Zuständigkeit für KI-Ergebnisse.
2. Fairness: Reduzierung von Vorurteilen und Förderung gerechter Ergebnisse.
3. Transparenz: KI-Prozesse verständlich und nachvollziehbar machen.
4. Erklärbarkeit: Gründe für KI-Entscheidungen offenlegen.
5. Datenintegrität: Sicherstellung von hochwertigen, zuverlässigen Daten.
6. Zuverlässigkeit: Konsistente und genaue Leistung.
7. Sicherheit: Schutz von KI-Systemen vor Bedrohungen und Schwachstellen.
8. Schutz: Systeme so gestalten, dass Schäden verhindert und Risiken gemindert werden.
9. Datenschutz: Schutz persönlicher und sensibler Daten.
10. Nachhaltigkeit: Minimierung der Umweltauswirkungen von KI-Systemen.

Durch den Fokus auf diese Säulen können Unternehmen ethische Prinzipien in jede Phase des KI-Lebenszyklus integrieren – von Strategie und Entwicklung bis hin zu Einsatz und Monitoring. Der Leitfaden erhöht nicht nur die Resilienz gegenüber Risiken, sondern fördert auch nachhaltige, vertrauenswürdige Innovationen im Einklang mit gesellschaftlichen Erwartungen.

Ob Sie Risikomanager, Führungskraft, Data Scientist oder Rechtsberater sind – dieser Leitfaden bietet Ihnen die wichtigsten Werkzeuge und Einblicke, um die Potenziale von KI verantwortungsvoll zu nutzen.

Ziel des Leitfadens

Die besonderen Herausforderungen von KI adressieren

Der KPMG-Leitfaden für KI-Risiken und -Kontrollen dient als spezialisierte Ressource, um Unternehmen beim Management der spezifischen Risiken im Zusammenhang mit künstlicher Intelligenz (KI) zu unterstützen. Er erkennt an, dass KI zwar großes Potenzial bietet, ihre Komplexität und ethischen Fragestellungen jedoch einen fokussierten Ansatz für das Risikomanagement erfordern. Der Leitfaden liefert einen strukturierten Rahmen, um diese Herausforderungen verantwortungsvoll und wirkungsvoll anzugehen.

Integration in bestehende Rahmenwerke

Der Leitfaden ersetzt keine bestehenden Systeme, sondern ergänzt vorhandene Risikomanagementprozesse. Ziel ist es, KI-spezifische Aspekte in die Governance-Strukturen einer Organisation einzubringen und so die nahtlose Integration in bestehende Abläufe zu gewährleisten. Dadurch können Unternehmen ihre Risikomanagement-Fähigkeiten stärken, ohne ihre Rahmenwerke komplett neu gestalten zu müssen.

Ausrichtung an vertrauenswürdigen Standards

Der Leitfaden basiert auf dem Trusted-AI-Rahmenwerk von KPMG, das einen wertebasierten und menschenzentrierten Ansatz für KI fördert. Er integriert Prinzipien anerkannter Standards wie ISO 42001, das NIST AI Risk Management Framework und den EU AI Act. So ist gewährleistet, dass der Leitfaden sowohl praxisnah als auch konform mit weltweit anerkannten Best Practices und regulatorischen Anforderungen an KI-Governance ist.

Ein Toolkit für praxisnahe Einblicke

Der Leitfaden bietet umsetzbare Einblicke und praktische Beispiele, die gezielt auf KI-bezogene Risiken eingehen. Organisationen werden dazu ermutigt, diese Beispiele an ihren spezifischen Kontext anzupassen – sei es bezogen auf Eigenentwicklungen oder Fremdsysteme, den verwendeten Datentyp oder die eingesetzten Methoden. Diese Anpassungsfähigkeit stellt sicher, dass der Leitfaden für verschiedene Branchen und KI-Anwendungen relevant bleibt.

Unterstützung für ethische und transparente KI-Einführung

Der Leitfaden konzentriert sich darauf, Organisationen zu einer sicheren, ethischen und transparenten Einführung von KI-Technologien zu befähigen. Durch die Betrachtung technischer, operativer und ethischer Aspekte von KI-Risiken hilft er, Vertrauen bei Stakeholdern aufzubauen und gleichzeitig die transformativen Potenziale von KI zu nutzen.

Der Leitfaden dient als Ressource, um sicherzustellen, dass KI-Systeme mit den Geschäftszielen im Einklang stehen und potenzielle Risiken gemindert werden. Er unterstützt Innovationen auf eine Weise, die Verantwortlichkeit und Verlässlichkeit in den Mittelpunkt stellt.

Wer sollte diesen Leitfaden nutzen?

Schlüsselakteure in der KI-Governance

Der KPMG-KI-Governance-Leitfaden richtet sich an Fachleute, die für die Implementierung von KI verantwortlich sind und deren sicheren, ethischen und effektiven Einsatz gewährleisten. Er ist relevant für Teams in verschiedenen Bereichen einer Organisation, darunter:

• Risikomanagement- und Compliance-Abteilungen: Mitarbeitende dieser Bereiche können KI-Governance-Praktiken mit bestehenden Risikorahmenwerken und regulatorischen Anforderungen in Einklang bringen.
• Cybersecurity-Spezialisten: Angesichts zunehmender Angriffe auf KI-Systeme hilft der Leitfaden IT-Sicherheits-Teams bei der Entwicklung starker Schutzmaßnahmen.
• Datenschutz-Teams: Datenschutzbeauftragte erhalten Werkzeuge, um sensible Informationen verantwortungsvoll zu verwalten und Compliance-Anforderungen im Umgang mit personenbezogenen Daten zu erfüllen.
• Recht und Regulierung: Jurist:innen können sich auf die Ausrichtung des Leitfadens an globalen Rahmenwerken wie DSGVO, ISO 42001 und EU AI Act verlassen, um die Einhaltung der Gesetze zu gewährleisten.
• Interne Revisoren: Prüfer können mit dem Leitfaden beurteilen, ob KI-Systeme ethischen und betrieblichen Standards entsprechen.

Führung und strategische Entscheider

Führungskräfte auf C-Ebene wie CEOs, CIOs und CTOs finden im Leitfaden Unterstützung, um KI als strategische Priorität zu steuern. Laut dem KPMG 2024 US CEO Outlook betrachten 68 % der CEOs KI als zentrale Investition. Der Leitfaden hilft der Führungsebene, KI-Strategien mit den Zielen der Organisation abzustimmen und die zugehörigen Risiken zu adressieren.

KI-Entwickler und Ingenieure

Softwareingenieur:innen, Data Scientists und andere, die KI-Lösungen konzipieren und implementieren, können mithilfe des Leitfadens ethische Prinzipien und wirksame Kontrollen direkt in ihre Systeme integrieren. Der Fokus liegt darauf, Risikomanagement an die Architektur und Datenflüsse der jeweiligen KI-Modelle anzupassen.

Organisationen aller Größen und Branchen

Der Leitfaden ist für Unternehmen aller Größen skalierbar, egal ob sie KI-Systeme selbst entwickeln, von Drittanbietern beziehen oder proprietäre Datensätze nutzen. Besonders relevant ist er für Branchen wie Finanzen, Gesundheitswesen und Technologie, in denen fortschrittliche KI-Anwendungen und sensible Daten eine zentrale Rolle spielen.

Warum dieser Leitfaden wichtig ist

Der Einsatz von KI ohne klares Governance-Rahmenwerk kann finanzielle, regulatorische und Reputationsrisiken nach sich ziehen. Der KPMG-Leitfaden ergänzt bestehende Prozesse und bietet einen strukturierten, ethischen Ansatz für das Management von KI. Er fördert Verantwortlichkeit, Transparenz und ethische Praktiken und hilft Unternehmen, KI verantwortungsvoll zu nutzen und gleichzeitig deren Potenzial auszuschöpfen.

Einstieg in den Leitfaden

KI-Risiken mit bestehender Risikoklassifikation verknüpfen

Organisationen sollten damit beginnen, KI-spezifische Risiken mit ihrer bestehenden Risikoklassifikation (Risk Taxonomy) zu verbinden. Eine Risikoklassifikation ist ein strukturiertes System zur Identifizierung, Organisation und Behandlung möglicher Schwachstellen. Da KI neue Herausforderungen mit sich bringt, müssen klassische Taxonomien um KI-spezifische Faktoren erweitert werden – etwa die Genauigkeit der Datenflüsse, die Logik hinter Algorithmen und die Zuverlässigkeit der Datenquellen. So werden KI-Risiken Teil des übergeordneten Risikomanagements der Organisation statt isoliert behandelt zu werden.

Der Leitfaden betont die Notwendigkeit, den gesamten Lebenszyklus von KI-Systemen zu evaluieren. Wichtige Aspekte sind die Herkunft der Daten, deren Verarbeitungsschritte sowie die zugrunde liegende Logik des KI-Modells. Diese ganzheitliche Sicht hilft, Schwachstellen im Entwicklungs- und Einsatzprozess frühzeitig zu erkennen.

Kontrollen auf organisatorische Anforderungen zuschneiden

KI-Systeme unterscheiden sich je nach Zweck, Entwicklungsmethode und Datentyp. Ob ein Modell intern entwickelt oder extern bezogen wird, beeinflusst die Risiken maßgeblich. Auch die Art der Daten – proprietär, öffentlich oder sensibel – und die verwendeten Methoden erfordern angepasste Risikomanagement-Strategien.

Der Leitfaden empfiehlt, Kontrollmaßnahmen individuell auf die Anforderungen der eigenen KI-Systeme abzustimmen. Wer zum Beispiel auf proprietäre Daten setzt, benötigt strengere Zugriffskontrollen. Bei Fremdsystemen sind umfassende Risikoanalysen von Drittanbietern erforderlich. Durch dieses maßgeschneiderte Vorgehen können die spezifischen Herausforderungen der jeweiligen KI-Systeme effektiver adressiert werden.

Risikobetrachtung über den gesamten KI-Lebenszyklus hinweg einbetten

Der Leitfaden rät dazu, Risikomanagement in jede Phase des KI-Lebenszyklus zu integrieren: Risiken werden schon in der Designphase berücksichtigt, Monitoring-Systeme während des Betriebs eingerichtet und Risikoeinschätzungen regelmäßig aktualisiert. So werden Schwachstellen früh erkannt und KI-Systeme bleiben ethisch und zuverlässig.

Wer den ersten Schritt macht und KI-Risiken mit bestehenden Taxonomien verknüpft sowie Kontrollen auf individuelle Anforderungen zuschneidet, legt die Grundlage für vertrauenswürdige KI. So können Unternehmen Risiken systematisch identifizieren, bewerten und steuern und ein robustes Fundament für KI-Governance schaffen.

Die 10 Säulen vertrauenswürdiger KI

Das Trusted-AI-Rahmenwerk von KPMG basiert auf zehn zentralen Säulen, die ethische, technische und operative Herausforderungen künstlicher Intelligenz adressieren. Diese Säulen helfen Unternehmen, KI-Systeme verantwortungsvoll zu gestalten, zu entwickeln und einzusetzen und Vertrauen sowie Verantwortlichkeit über den gesamten Lebenszyklus zu gewährleisten.

Verantwortlichkeit

Menschliche Aufsicht und Verantwortlichkeit müssen in jeder Phase des KI-Lebenszyklus gewährleistet sein. Das bedeutet, dass klar definiert wird, wer für das Management von KI-Risiken zuständig ist, Compliance sicherstellt und im Zweifel in der Lage ist, einzugreifen, Entscheidungen zu übersteuern oder rückgängig zu machen.

Fairness

KI-Systeme sollten darauf abzielen, Vorurteile und Verzerrungen zu minimieren, die Individuen, Gemeinschaften oder Gruppen benachteiligen könnten. Dazu gehört die sorgfältige Überprüfung von Daten auf Diversität, die Anwendung von Fairness-Maßnahmen während der Entwicklung und das kontinuierliche Monitoring von Ergebnissen zur Förderung gerechter Behandlung.

Transparenz

Transparenz bedeutet, offen zu legen, wie KI-Systeme funktionieren und warum sie bestimmte Entscheidungen treffen. Dazu gehören die Dokumentation von Systemgrenzen, Leistungsdaten sowie Testmethoden. Nutzer sollten informiert werden, wenn ihre Daten erfasst werden, KI-generierte Inhalte müssen klar gekennzeichnet sein und bei sensiblen Anwendungen wie biometrischer Kategorisierung sind eindeutige Hinweise erforderlich.

Erklärbarkeit

KI-Systeme müssen nachvollziehbare Gründe für ihre Entscheidungen liefern. Organisationen sollten Datensätze, Algorithmen und Leistungsmetriken detailliert dokumentieren, sodass Stakeholder Ergebnisse analysieren und reproduzieren können.

Datenintegrität

Die Qualität und Zuverlässigkeit von Daten über den gesamten Lebenszyklus hinweg – von Erhebung, Kennzeichnung und Speicherung bis zur Analyse – ist essenziell. Kontrollen müssen Risiken wie Datenkorruption oder Verzerrung adressieren. Regelmäßige Qualitätsprüfungen und Regressionstests bei System-Updates sichern die Genauigkeit und Verlässlichkeit von KI-Systemen.

Datenschutz

KI-Lösungen müssen Datenschutzgesetze und -vorschriften beachten. Organisationen müssen Anfragen von Betroffenen korrekt bearbeiten, Datenschutz-Folgenabschätzungen durchführen und fortschrittliche Methoden wie Differential Privacy einsetzen, um den Nutzen von Daten mit dem Schutz der Privatsphäre in Einklang zu bringen.

Zuverlässigkeit

KI-Systeme sollten ihre Aufgaben zuverlässig und mit der geforderten Genauigkeit erfüllen. Das erfordert umfassende Tests, Mechanismen zur Anomalieerkennung und kontinuierliche Feedbackschleifen zur Validierung der Systemausgaben.

Schutz

Schutzmaßnahmen verhindern, dass KI-Systeme Schaden anrichten – für Menschen, Unternehmen oder Sachwerte. Dazu gehören das Design von Failsafes, Monitoring auf Probleme wie Datenvergiftung oder Prompt Injection sowie die Einhaltung ethischer und operativer Standards.

Sicherheit

Starke Sicherheitspraktiken sind unerlässlich, um KI-Systeme vor Bedrohungen und Angriffen zu schützen. Organisationen sollten regelmäßige Audits, Schwachstellenanalysen und Verschlüsselung nutzen, um sensible Daten zu sichern.

Nachhaltigkeit

KI-Systeme sollten so konzipiert werden, dass sie Energieverbrauch minimieren und Umweltziele unterstützen. Nachhaltigkeitsaspekte sind schon in der Designphase zu berücksichtigen, mit kontinuierlicher Überwachung von Energieverbrauch, Effizienz und Emissionen über den gesamten Lebenszyklus hinweg.

Wer diesen zehn Säulen folgt, schafft KI-Systeme, die ethisch, vertrauenswürdig und im Einklang mit gesellschaftlichen Erwartungen stehen. Das Framework bietet eine klare Struktur für das Management von KI-Herausforderungen und fördert verantwortungsvolle Innovation.

Zentrale Risiken und Kontrollen – Datenintegrität

Datenintegrität in KI-Systemen

Datenintegrität ist entscheidend, um die Genauigkeit, Fairness und Zuverlässigkeit von KI-Systemen zu sichern. Schlechte Datenverwaltung kann zu Risiken wie Verzerrungen, Ungenauigkeiten und unzuverlässigen Ergebnissen führen. Solche Probleme untergraben das Vertrauen in KI-Ausgaben und können schwerwiegende operative sowie reputative Folgen haben. Das Trusted-AI-Rahmenwerk von KPMG betont daher die Bedeutung hochwertiger Daten über den gesamten Lebenszyklus, damit KI-Systeme effektiv funktionieren und ethischen Standards genügen.

Hauptrisiken bei der Datenintegrität

Fehlende Daten-Governance

Ohne eine starke Daten-Governance liefern KI-Systeme möglicherweise fehlerhafte Ergebnisse. Unvollständige, ungenaue oder irrelevante Daten führen zu verzerrten oder unzuverlässigen Ausgaben und erhöhen die Risiken für verschiedene KI-Anwendungen.

Datenkorruption bei Transfers

Daten werden häufig zwischen Systemen übertragen, z. B. für Training, Tests oder Betrieb. Werden diese Übertragungen nicht korrekt gehandhabt, können Daten beschädigt, verloren oder verschlechtert werden – mit negativen Auswirkungen auf die Leistungsfähigkeit von KI-Systemen.

Kontrollmaßnahmen zur Risikominimierung

Entwicklung umfassender Daten-Governance-Richtlinien

Für eine bessere Daten-Governance können Organisationen:

• Richtlinien für Datenerhebung, Speicherung, Kennzeichnung und Analyse erstellen und durchsetzen.
• Prozesse zum Datenlebenszyklus-Management etablieren, um Daten akkurat, vollständig und relevant zu halten.
• Regelmäßige Qualitätskontrollen durchführen, um Probleme rasch zu erkennen und zu beheben.

Schutz von Datentransfers

Zur Minimierung von Risiken bei Datenübertragungen sollten Organisationen:

• Sichere Protokolle einsetzen, um Datenkorruption oder -verlust zu verhindern.
• Trainings- und Testdatensätze regelmäßig prüfen, insbesondere bei System-Updates, um deren Eignung und Aktualität zu gewährleisten. Dazu gehört das Hinzufügen neuer Daten, wenn nötig, um die Systemleistung zu sichern.

Fortlaufendes Monitoring und Validierung

Der Einsatz kontinuierlicher Überwachungssysteme unterstützt die Datenintegrität über den gesamten KI-Lebenszyklus hinweg. Solche Systeme erkennen Probleme wie unerwartete Veränderungen der Datenqualität oder Unstimmigkeiten im Datenmanagement, sodass schnell korrigierende Maßnahmen ergriffen werden können.

Fazit

Die Sicherstellung der Datenintegrität ist essenziell für vertrauenswürdige KI-Systeme. Durch starke Governance-Rahmenwerke, den Schutz von Dateninteraktionen und kontinuierliche Validierungsprozesse können Organisationen Risiken minimieren, die Zuverlässigkeit der KI-Ausgaben steigern und ethische sowie operative Standards erfüllen – und so das Vertrauen in KI-Technologien stärken.

Zentrale Risiken und Kontrollen – Datenschutz

Datenschutzrechte von Betroffenen

Der Umgang mit Anfragen von Betroffenen ist eine große Herausforderung für den Datenschutz in der KI. Unternehmen müssen sicherstellen, dass Personen ihre Rechte auf Zugang, Berichtigung oder Löschung persönlicher Daten nach Gesetzen wie DSGVO und CCPA wahrnehmen können. Werden diese Anfragen nicht korrekt bearbeitet, drohen Regelverstöße, Vertrauensverlust bei Verbraucher:innen und Reputationsschäden.

Um dieses Risiko zu verringern, sollten Unternehmen Programme aufsetzen, die Betroffene über ihre Datenschutzrechte im Umgang mit KI aufklären. Systeme müssen eingerichtet werden, um diese Anfragen schnell und transparent zu bearbeiten. Organisationen sollten zudem detaillierte Aufzeichnungen über die Bearbeitung führen, um die Einhaltung im Rahmen von Audits nachweisen zu können.

Datenschutzverstöße durch Datenpannen

KI-Systeme verarbeiten häufig sensible personenbezogene Daten und sind daher attraktive Ziele für Cyberangriffe. Kommt es zu einem Vorfall, drohen erhebliche Bußgelder, Reputationsschäden und Vertrauensverluste bei Kund:innen.

Das Trusted-AI-Rahmenwerk von KPMG empfiehlt deshalb ethische Überprüfungen für KI-Systeme, die personenbezogene Daten nutzen, um die Einhaltung von Datenschutzvorgaben zu gewährleisten. Regelmäßige Datenschutz-Audits und Datenschutz-Folgenabschätzungen (PIA) sind insbesondere bei sensiblen Trainingsdaten notwendig. Methoden wie Differential Privacy, bei denen statistisches Rauschen hinzugefügt wird, helfen zudem, Informationen zu anonymisieren und dennoch Analysen zu ermöglichen.

Fehlende Privacy by Design

KI-Systeme, in denen Datenschutz nicht von Anfang an berücksichtigt wird, bergen erhebliche Risiken. Ohne die Prinzipien von Privacy by Design drohen die Offenlegung sensibler Daten oder die Nichteinhaltung rechtlicher Vorgaben.

Unternehmen sollten Datenschutzmaßnahmen bereits in der Entwicklungsphase von KI-Systemen verankern. Dazu gehört die Einhaltung von Datenschutzgesetzen und -vorgaben durch wirksame Datenmanagementpraktiken. Eine klare Dokumentation der Datenerhebung, -nutzung und -speicherung ist essenziell. Organisationen müssen zudem die ausdrückliche Einwilligung der Nutzer:innen für die Erhebung und Verarbeitung personenbezogener Daten einholen, insbesondere bei sensiblen Bereichen wie biometrischen Daten.

Transparenz bei Nutzerinteraktionen

Wenn KI-Systeme nicht klar erklären, wie mit Nutzerdaten umgegangen wird, kann dies zu Misstrauen und rechtlicher Überprüfung führen. Nutzer sollten wissen, wann ihre Daten erfasst und wie sie verwendet werden