Compliance-konforme Einführung von künstlicher Intelligenz in Unternehmens­prozesse

Unternehmen stehen vor der Heraus­forderung, die Chancen – aber auch die Risiken –, die sich durch die Einführung von künstlicher Intelligenz ergeben, zu steuern. KI findet bereits in vielen Bereichen Anwendung bzw. ist in der Erprobung. Der nächste Schritt ist deren Implemen­tierung und Skalierung in die produktiven Geschäfts­prozesse. Hierbei gilt es, so vorzugehen, dass KI nicht nur effizient, sondern auch rechtssicher und verantwortungs­voll eingesetzt wird. Als signifikante Barrieren hinsichtlich der Skalierung zeigen sich die Themen rechtskonforme Umsetzung sowie Vertrauen relevanter Stakeholder in KI.1 Dieser Artikel richtet sich an Unternehmensleiter, Compli­ance-Beauftragte und IT-Manager und beleuchtet die wichtigsten Aspekte einer Compliance-konformen Einführung von KI in Unternehmensprozesse. Compliance bei KI-Systemen Compliance umfasst die Einhaltung aller einschlägigen gesetzlichen, regulatorischen und internen Vorgaben. Eine Compliance-konforme KI-Einführung bedeutet, dass Unternehmen bei Entwicklung, Inverkehrbringen, Bereitstellung und Nutzung von KI-Systemen diese Anforde­rungen erfüllen. Ein funktionie­rendes Compliance-Management schützt Unternehmen vor rechtlichen Risiken, Imageschäden und finanziellen Sanktionen. Im Kontext von KI gehören hierzu Aspekte wie u.a.: • Datenschutz und Datensicherheit • Transparenz und Nachvollziehbarkeit • Voreingenommenheit (Bias) und Fairness (Nichtdiskriminierung) • Haftungs- und Verantwortungsfragen • Regulatorische Anforderungen Regulatorische Übersicht Zu den regulatorischen Anforderungen mit Bezug zu KI gehören u.a. die EU KI-Verordnung (EU AI Act), die Datenschutzgrundverordnung (DSGVO) sowie länder- und branchenspezifische Vorgaben (z.B. im Finanzsektor, Gesundheitswesen oder in der Automobilindustrie). Darüber hinaus gelten weitere regulatorische Anforderungen für IT-Systeme (worunter natürlich auch KI-Systeme fallen), die ebenfalls zu berücksichtigen sind, z.B. hinsichtlich Cyber- und Informationssicherheit wie NIS-2 und/oder KRITIS oder aus der Produkthaftung. Der EU AI Act ist aktuell das umfassendste regulatorische Rahmenwerk für den Einsatz von KI. Diesem liegt im Kern ein risikobasierter Ansatz zugrunde, der ausgehend vom konkreten Anwendungsfall und vom Einfluss des KI-Systems auf Gesundheit, Sicherheit und Grundrechte von Bürgern innerhalb der EU die Systeme in Risikokategorien mit unterschiedlichen Anforderungen unterteilt. Für Unternehmen bedeutet dies, dass es je nach Risikoklasse spezifische Pflichten hinsichtlich z.B. Dokumentation, Risiko­management, Transparenz und menschlicher Aufsicht gibt. Neben dem EU AI Act ist insbesondere auch die DSGVO zu beachten. Unternehmen müssen sicherstellen, dass KI-Systeme datenschutz­konform entwickelt und betrieben werden. Hierzu gehören u.a. die Sicherstellung der Rechtsgrundlage für die Datenverarbeitung (z.B. Einwilligung, Vertragserfüllung), Transparenz und Informationspflichten gegenüber Betroffenen, Betroffenenrechte wie Auskunft, Löschung und Widerspruch, Datensparsamkeit und Zweck­bindung sowie technische und organisa­torische Maßnahmen zur Datensicherheit. Diese sind bei KI-Systemen nicht immer einfach zu erfüllen. Hier gilt es, ggf. entsprechende Maßnahmen festzulegen, um Daten DSGVO-konform nutzbar zu machen. Schritte zur Compliance-konformen Einführung von KI Die Sicherstellung der Compliance bei KI-Systemen erfordert ein systematisches Vorgehen. Nachfolgend sind vereinfacht die grundlegenden Aktivitäten dargestellt, die die Basis zur Erfüllung der Anforderungen des EU AI Act und anderer Anforderungen bilden. Darauf aufbauend können detaillierte Maßnahmen und Kontrollen Anwendung finden. Abb. 1 – Schrittweises Vorgehen der Befähigung zur EU AI Act Compliance (vereinfachte Darstellung)

Die Einführung von KI und die damit verbundenen Risiken erfordern den Einsatz adäquater Kontrollmechanismen. Risiken sollten durch entsprechende interne Kontrollen über den End-to-End AI Lifecycle adressiert und mitigiert werden. Ein effektives internes Kontrollsystem (IKS) trägt maßgeblich dazu bei, diese Risiken zu minimieren, und ermöglicht eine sichere und verantwortungsvolle Nutzung von KI. Der anzustrebende Soll-Zustand interner Kontrollen bezüglich KI kann sich dabei an den Kriterien für vertrauenswürdige KI orientieren, wie sie von der Expertengruppe der Europäischen Union definiert wurden2: 1. Menschliche Aufsicht: KI-Systeme müssen überwacht werden können und jederzeit menschliche Eingriffe ermöglichen. 2. Datenschutz und Governance: Strikte Mechanismen für Datenverwaltung und -schutz sind zu implementieren. 3. Diversität, Inklusion und Fairness: KI-Systeme dürfen nicht diskriminieren und sollen Inklusion fördern. 4. Rechenschaftspflicht: Unternehmen müssen ihre Verantwortung für den KI-Einsatz klar definieren. 5. Technische Robustheit und Sicherheit: KI-Systeme müssen widerstandsfähig, zuverlässig, sicher, genau und ihre Ergebnisse reproduzierbar sein. 6. Transparenz: Entscheidungen, Fähigkeiten und Grenzen von KI-Systemen sollen nachvollziehbar sein. 7. Ökologische und soziale Auswirkungen: Die Folgen der KI-Entwicklung und des KI-Einsatzes für Umwelt und Gesellschaft sind zu berücksichtigen. Diese Kriterien bilden die Grundlage der KI-Verordnung der Europäischen Union. Sie basiert auf den Prinzipien Rechtmäßigkeit, Ethik und Robustheit und hat das Ziel, für die Nutzer:innen sichere und vertrauenswürdige KI-Systeme zu gewährleisten. AI Literacy (Schulungen und Awareness), Mitarbeitereinbindung und Sensibilisierung Die Akzeptanz und das Verständnis für KI-Systeme sind entscheidend für deren Erfolg und Compliance-Konformität. Unternehmen sollten gezielte Schulungen und Awareness-Maßnahmen durchführen: • Schulungen für Fachbereiche: Vermittlung von Grundlagen zu KI, Datenschutz und Compliance • Awareness-Kampagnen: Sensibilisierung für Risiken und verantwortungsbewusste Nutzung von KI • Verhaltensregeln: Entwicklung klarer Richtlinien zum Umgang mit KI-Systemen Die Einbindung der Mitarbeitenden in den Veränderungsprozess fördert das Vertrauen und die Compliance. Schulungen sollten regelmäßig aktualisiert und an neue Entwicklungen angepasst werden. Kontinuierliche Überwachung und Anpassung: Audits, Monitoring, Reporting KI-Systeme und Compliance-Anforderungen unterliegen einem ständigen Wandel. Unter­nehmen müssen Erstere kontinuierlich überwachen und anpassen: • Audits: regelmäßige Überprüfung auf Einhaltung von Compliance-Vorgaben und Funktionalität • Monitoring: laufende Überwachung von Prozessen, Datenflüssen und Ergebnissen • Reporting: Dokumentation und Berichtswesen, um Transparenz gegenüber internen und externen Stakeholdern zu gewährleisten Die frühzeitige Erkennung von Abweichungen oder neuen Risiken ermöglicht eine schnelle Reaktion und Anpassung der Maßnahmen. Moderne Monitoring-Tools und automatisierte Prüfmechanismen unterstützen dabei. Bei KI-Systemen werden häufig Dienstleister mit einbezogen. Dies ist i.d.R. mit der Verlagerung von Prozessen und internen Kontrollen verbunden. Bei der Auswahl empfiehlt es sich, das Vorhandensein von entsprechenden Zertifizierungen und Prüfungen z.B. gemäß den AICPA-Standards SOC 1®/SOC 2®/SOC 3®3, IDW PS 951 n.F. (03.2021)4, ISAE 30005 (auch in Verbindung mit IDW PS 8616) u.a. in Bezug auf Compliance-, Security-, Datenschutz- oder KI-Regularien zu betrachten. Es empfiehlt sich weiterhin, die Einhaltung der vertraglich vereinbarten Maßnahmen hinsichtlich verschiedener Kriterien zu bewerten. Kriterien für KI-Systeme können z.B. Modelltransparenz und angemessene Schutzmaßnahmen sein, die Bewertung auf Risiken (z.B. Datenschutz, Modellverhalten, Sicherheitslücken, Regulatorik) sowie solche Kriterien, die sich z.B. aus KI-Standards zur Einführung von KI-Systemen (z.B. ISO 420017, NIST AI RMF8, BSI-Testkriterienkatalog9), dem EU AI Act (Risikoeinstufung des KI-Modells) oder branchenspezifischen Standards ergeben. Fazit Die Compliance-konforme Einführung von künstlicher Intelligenz ist für Unternehmen eine komplexe Aufgabe. Die Einhaltung regulatorischer Vorgaben in einem von sehr hoher Dynamik und Unsicherheit geprägten Umfeld erfordert ein strukturiertes Vorgehen, Kenntnisse der rechtlichen Rahmenbedingungen, der Technologien und der damit verbundenen Risiken. Dies erfordert eine enge Zusammenarbeit aller Beteiligten. Durch Maßnahmen wie gezielte Risikoanalysen, klare Governance-Strukturen, Kontrollmaßnahmen über die KI, Transparenz, kontinuierliche Schulungen und eine fortlaufende Überwachung können Unternehmen die Vorteile von KI auch im großen Maßstab rechtssicher nutzen. Mit einer proaktiven und verantwortungsvollen Herangehensweise können Unternehmen KI erfolgreich und Compliance-konform in ihre Prozesse integrieren und so nachhaltig von den Möglichkeiten durch den Einsatz von künstlicher Intelligenz profitieren. Unternehmen, die diese Aspekte ernst nehmen, schaffen nicht nur Rechtssicherheit, sondern auch Vertrauen – und das ist im Zeitalter der KI ein entscheidender Erfolgsfaktor.

[1] Deloitte: State of Generative AI in the Enterprise: Quarter Four Report, Januar 2025.

[2] Principles for achieving Trustworthy AI (EU HLEG).

[3] American Institute of Certified Public Accountants (AICPA), System and Organization Controls (SOC): SOC for Service Organizations: ICFR (SOC 1®), SOC for Service Organizations: Trust Services Criteria (SOC 2®), SOC for Service Organizations: Trust Services Criteria for General Use Report (SOC 3®).

[4] IDW Prüfungsstandard PS 951 n.F. (03.2021): Die Prüfung des internen Kontrollsystems bei Dienstleistungsunternehmen.

[5] International Standard on Assurance Engagements: Assurance Engagements Other than Audits or Reviews of Historical Financial Information (ISAE 3000 (Revised)).

[6] IDW Prüfungsstandard PS 861: Prüfung von KI-Systemen.

[7] ISO/IEC 42001:2023 AI Management System.

[8] National Institute of Standards and Technologies: Artificial Intelligence Risk Management Framework (AI RMF 1.0).

[9] Bundesamt für Sicherheit in der Informationstechnik (BSI): Prüfkatalog für Systeme der Künstlichen Intelligenz im Finanzbereich.