zurück

»Während in anderen Ländern die Anforderungen gelockert werden, beobachten wir eine steigende Nachfrage nach vertrauenswürdigen KI-Systemen, die Sicherheit, Transparenz und Fairness garantieren.«

»Künstliche Intelligenz mit europäischen Qualitätsstandards sicher und vertrauenswürdig gestalten« – so lautet das Projektziel von ZERTIFIZIERTE KI. Das interdisziplinäre Forschungsprojekt entwickelt Zertifizierungsverfahren für Künstliche Intelligenz. Als Teil der KI.NRW Flagship-Initiative und in Zusammenarbeit mit dem Fraunhofer IAIS sowie dem Bundesamt für Sicherheit in der Informationstechnik (BSI) arbeitet das Projektteam an Standardisierungsverfahren, um Qualitätsanforderungen für Werkzeuge, Prozesse und Anwendungsfelder Künstlicher Intelligenz zu definieren. Diese dienen als Grundlage für die Entwicklung praxistauglicher KI-Prüfungen. Wie diese Werkzeuge und Prozesse aussehen und warum das Thema aktuell immer wichtiger wird, darüber haben wir mit Projektleiter Fabian Malms gesprochen.

Wozu braucht es eigentlich standardisierte Prüfverfahren speziell für KI?
KI-Systeme übernehmen zunehmend kritische Aufgaben, beispielsweise medizinische Diagnosen, Kreditwürdigkeitsprüfungen oder die Steuerung autonomer Fahrzeuge. Damit diese Systeme gesellschaftlich akzeptiert werden, müssen sie verlässlich, sicher und nachvollziehbar sein. Genau dabei helfen standardisierte Prüfverfahren, mit denen sich diese zentralen Qualitätskriterien systematisch prüfen lassen. Die Prüfverfahren bilden damit die Grundlage für Zertifizierungen und Gütesiegel. Diese schaffen wiederum Vertrauen in unserer Gesellschaft, da die Qualität damit einheitlich nachgewiesen wird. Ohne Standards müsste jedes Unternehmen eigene Prüfkonzepte entwickeln, was ineffizient und teuer wäre.

ZERTIFIZIERTE KI treibt Standardisierungsaktivitäten (z. B. DIN SPEC 92001-3 zur Erklärbarkeit und DIN/TS 92004 zu KI-Risiken) voran, um allgemeingültige Anforderungen und einheitliche Prüfprozesse zu definieren. Diese Normbausteine sind essenziell für standardisierte Prüfverfahren.

Die Europäische Union hat im vergangenen Jahr den »EU AI Act« verabschiedet. Wie zahlt Ihr Projekt ZERTIFIZIERTE KI darauf ein, was im vergangenen Jahr mit der KI-Verordnung beschlossen wurde.
ZERTIFIZIERTE KI liefert eine interdisziplinäre Perspektive auf das Thema »AI Act«, um insbesondere die Lücke zwischen den Rechtswissenschaften und der Informatik zu schließen und konkrete Handlungsschritte für die Umsetzung bereitzustellen. Dafür stellt das Projekt einen umfangreichen, frei verfügbaren KI-Prüfkatalog bereit, der die Dimensionen vertrauenswürdiger KI operationalisiert. Dazu gehörten unter anderem Fairness, Transparenz, Robustheit, Sicherheit und Datenschutz. Der Prüfkatalog dient als Kriterienwerk oder auch als Leitfaden zur Planung und Durchführung technischer und prozessualer Prüfungen, sodass Organisationen die Anforderungen des AI Acts belastbar in Prüfpläne, Metriken und Nachweise übersetzen können.

Darüber hinaus wurden im Rahmen des Projekts mehrere Whitepaper veröffentlicht, beispielsweise »KI-Anwendungen systematisch prüfen und absichern«, in dem ein Prüf-Framework und Werkzeuglandschaften beschrieben werden, die für automatisierbare, reproduzierbare Assessments benötigt werden – das ist ein Kernpunkt für AI-Act-Konformitätsnachweise.

Das Projekt bietet außerdem eine kostenlose Workshop-Reihe zur »Europäischen KI-Verordnung und ihre Operationalisierung« an. Dabei werden unter anderem die Themen Risikoklassifikation, Qualitäts- und Risikomanagementsysteme sowie Prüfwerkzeuge behandelt. Ziel ist es, Unternehmen Schritt für Schritt durch die Pflichten des AI Act zu führen und Umsetzungswege zu erarbeiten.

Die USA scheinen da einen ganz anderen Weg einzuschlagen und nicht mehr so großen Wert auf »AI safety«, »responsible AI« und »AI fairness« zu legen. Was bedeutet das für Ihre Arbeit und im weiteren Sinne auch für »AI made in Europe«?
Dies eröffnet große Chancen für unsere Arbeit und für »KI made in Europe«. Während in anderen Ländern die Anforderungen gelockert werden, beobachten wir eine steigende Nachfrage nach vertrauenswürdigen KI-Systemen, die Sicherheit, Transparenz und Fairness garantieren. Der EU AI Act schafft klare Regeln und Rechtssicherheit. Das heißt, der AI Act sowie insbesondere auch die europäischen Standards helfen Unternehmen, die langfristig auf Compliance und Qualität setzen, belastbare und nachvollziehbare Entwicklungsprozesse zu etablieren und hochqualitative KI-Systeme zu entwickeln. Dadurch können sie einen entscheidenden Wettbewerbsvorteil erlangen.

Projekte wie ZERTIFIZIERTE KI in Zusammenarbeit mit den Normungsinitiativen liefern die notwendigen Prüfverfahren, um diese Nachfrage zu bedienen. So wird »KI made in Europe« zum Gütesiegel für verantwortungsvolle Innovation und stärkt die Position Europas auf dem globalen Markt für »vertrauenswürdige KI«. 

Dann mal in medias res: Wie funktioniert denn so eine Prüfung von KI-Systemen?
Die Prüfung eines KI-Systems erfolgt nach einem strukturierten Vorgehen, das sich u.a. auch an dem erwähnten KI-Prüfkatalog orientiert.

Zunächst wird das KI-System hinsichtlich seiner Risikoklasse (z. B. Hochrisiko nach EU AI Act) und seines Einsatzkontexts bewertet. Dies legt die erforderliche Prüftiefe und die zu beachtenden Anforderungen aus der KI-Verordnung fest. Der KI-Prüfkatalog deckt Dimensionen wie Verlässlichkeit, menschliche Aufsicht, Transparenz, Fairness, Sicherheit und Datenschutz ab. Für jede Dimension gibt es messbare Kriterien und Prüfziele, die zu definieren sind. Diese Dimensionen operationalisieren viele der Anforderungen aus der KI-Verordnung, die für Hochrisiko-KI-Systeme einzuhalten sind.

Darüber hinaus wird geprüft, ob die erforderlichen Tests durchgeführt wurden und die entsprechende technische Dokumentation vorliegt. Letzteres ist essenziell für die Konformitätsbewertung nach der KI-Verordnung. Dazu gehören z. B. Bias-Tests, Robustheitsprüfungen, Accuracy-Bewertungen und Maßnahmen zur Erklärbarkeit oder menschlichen Aufsicht. Die Ergebnisse werden gegen die definierten Grenzwerte und Standards validiert.

Am Ende entsteht ein Prüfbericht mit Empfehlungen, Abweichungen und ggf. einer Zertifizierungsvorbereitung und dient als Nachweis für Compliance, etwa im Rahmen des EU AI Act.

Dieses Vorgehen gemäß KI-Prüfkatalog bietet eine standardisierte, praxisnahe Grundlage, um Prüfungen reproduzierbar und skalierbar durchzuführen – sowohl für interne Qualitätssicherung als auch für externe Zertifizierungen.

Welche Perspektiven spielen bei der Zertifizierung von KI eine Rolle?
Bei der Zertifizierung von KI-Systemen spielen verschiedene Perspektiven eine zentrale Rolle, die sich in den sechs Dimensionen der Vertrauenswürdigkeit widerspiegeln. Verlässlichkeit ist dabei essenziell: Das System muss stabil und zuverlässig funktionieren – auch unter wechselnden Bedingungen. Dazu gehören robuste Modelle, konsistente Ergebnisse und die Fähigkeit, Fehler zu erkennen und zu korrigieren.

Ein weiterer wichtiger Punkt ist die Menschliche Aufsicht, denn KI darf nicht völlig autonom agieren. Es muss Mechanismen geben, die menschliche Kontrolle ermöglichen, etwa Eingriffsmöglichkeiten bei kritischen Entscheidungen oder klare Verantwortlichkeiten.

Die Transparenz spielt ebenfalls eine große Rolle, da die Funktionsweise der KI nachvollziehbar sein muss. Dies schließt verständliche Dokumentationen, die Erklärbarkeit der Modelle und die Offenlegung relevanter Informationen für Nutzer und Prüfer ein.

Darüber hinaus dürfen KI-Systeme keine diskriminierenden Ergebnisse erzeugen, was die Dimension Fairness betrifft. Prüfungen in diesem Bereich umfassen Bias-Analysen, diverse Testdatensätze und Maßnahmen zur Sicherstellung von Chancengleichheit. Ebenso essenziell ist die Sicherheit, also der Schutz vor Manipulation, Cyberangriffen und Fehlfunktionen. Hierzu gehören technische Sicherheitsmaßnahmen, Robustheitstests und kontinuierliche Risikoüberwachung.

Schließlich ist der Datenschutz Pflicht, da die Einhaltung von Datenschutzgesetzen und der Schutz sensibler Daten gewährleistet sein müssen. Das umfasst Datenminimierung, sichere Speicherung und transparente Einwilligungsprozesse.

Diese sechs Dimensionen bilden die Grundlage für die Konformität nach europäischen Standards und dem EU AI Act. Sie sorgen dafür, dass KI-Systeme nicht nur leistungsfähig, sondern auch verantwortungsvoll und vertrauenswürdig sind.

Wo gibt es wirtschaftliche Bedarfe? Mit welchen Unternehmen und Branchen arbeiten Sie zusammen?
Wirtschaftliche Bedarfe für die Zertifizierung und Prüfung von KI-Systemen entstehen vor allem dort, wo Unternehmen auf regulierte, sicherheitskritische oder datenintensive KI-Anwendungen setzen. Besonders relevant sind:

In der Industrie und Produktion erfordert der Einsatz von KI in Qualitätskontrolle, Predictive Maintenance und Automatisierung verlässliche und geprüfte Systeme. Im Gesundheitswesen und in der Medizintechnik sind Datenschutz, Sicherheit und Fairness essenziell, etwa bei Diagnosesystemen oder klinischen Entscheidungsunterstützungen. Die Finanz- und Versicherungsbranche nutzt KI für Kreditentscheidungen oder Versicherungsprämien, weshalb diese Anwendungen transparent und diskriminierungsfrei sein müssen.

Im Bereich Mobilität und Automotive verlangen autonomes Fahren und intelligente Verkehrssteuerung robuste und zertifizierte KI-Lösungen. Schließlich benötigen auch die Öffentliche Verwaltung und Bildung KI-Anwendungen für digitale Services und Lernplattformen klare Standards sorgen dabei für Transparenz und Datenschutz.

So hat das Fraunhofer IAIS kürzlich beispielsweise eine Prüfung des neuen Schufa-Scores durchgeführt. Dabei wurden die mathematisch-statistische Qualität, die Vorgehensweise bei der Entwicklung/Validierung sowie die Signifikanz der verwendeten Daten bescheinigt. Wir arbeiten aber auch mit Unternehmen aus der Automobilindustrie, der Versicherungsbranche, mit Krankenkassen sowie mit Unternehmen aus dem Bereich kritischer Infrastrukturen zusammen.

Wie können Unternehmen feststellen, ob das Thema für Sie relevant ist? Was sind erste Schritte, die sie gehen können, um das Thema in ihrer Organisation voranzubringen?
Unternehmen können die Relevanz des Themas KI-Prüfung und -Zertifizierung für sich feststellen, indem sie zunächst prüfen, ob KI-Systeme in kritischen Prozessen oder regulierten Bereichen eingesetzt werden, beispielsweise in der Medizin, im Finanzwesen, in der Produktion oder in der öffentlichen Verwaltung. Weiterhin sollten Unternehmen überprüfen, ob ihre Systeme dem EU AI Act unterliegen, also insbesondere ob sie als Hochrisiko-KI klassifiziert werden. Ist die Relevanz gegeben, können Unternehmen die folgenden vier essenziellen Schritte als Roadmap zur erfolgreichen Umsetzung der KI-Compliance in ihrer Organisation beschreiten:

Der Prozess beginnt mit einer umfassenden Bestandsaufnahme aller im Unternehmen verwendeten KI-Anwendungen. Hierbei wird identifiziert, welche Systeme überhaupt existieren und welche davon, gemäß den Bestimmungen des EU AI Acts, in eine höhere Risikoklasse fallen. Dieser initiale Schritt beantwortet die grundlegende Frage, welche Systeme einer strengeren Prüfung unterzogen werden müssen.

Im zweiten Schritt werden die relevanten Anforderungen abgeleitet. Hierzu muss das Unternehmen die Vorgaben aus dem EU AI Act sowie aus relevanten, unterstützenden Standards, wie beispielsweise bestimmten ISO-Normen, prüfen. Aus diesen Vorgaben werden anschließend die notwendigen »Kontrollen« abgeleitet. Dies definiert präzise, welche Kriterien die internen KI-Systeme erfüllen müssen, um Compliance zu erreichen.

Um die Umsetzung dieser Anforderungen zu gewährleisten, ist der Aufbau robuster Governance-Strukturen essenziell. Dazu gehört die Definition klarer Verantwortlichkeiten und Prozesse für die durchgängige KI-Compliance. Es ist wichtig, in diesem Schritt sowohl die Fachbereiche als auch das Management umfassend über die regulatorischen Notwendigkeiten und die sechs Dimensionen der Vertrauenswürdigkeit von KI zu informieren und zu schulen.

Abschließend wird zur Konkretisierung der Prüfung auf etablierte Prüfgrundlagen zurückgegriffen. Basierend auf diesem strukturierten Vorgehen kann eine Pilotprüfung durchgeführt werden, indem eine zentrale KI-Anwendung ausgewählt und diese anhand der zuvor identifizierten Anforderungen und Prüfdimensionen getestet wird. Dies schafft wertvolle Erfahrung und etabliert interne Standards für alle zukünftigen KI-Entwicklungen und -Implementierungen.

Mit der rasanten Entwicklung von KI-Systemen wächst auch die Bedeutung der KI-Prüfung. Welche Meilensteine will das KI.NRW Flagship-Projekt ZERTIFIZIERTE KI in der Projektlaufzeit noch erreichen, was sind die nächsten Schritte?
Die Bedeutung der KI-Prüfung wächst und ZERTIFIZIERTE KI möchte diese Entwicklung aktiv mitgestalten. Wir hoffen, dass das Projekt bis Ende 2026 verlängert wird, um drei zentrale Meilensteine zu realisieren:

Ein zentrales Ziel ist die Erstellung eines praxisorientierten Leitfadens zur Umsetzung des AI Acts. Dieser soll Unternehmen eine strukturierte und bewährte Vorgehensweise zur Umsetzung der KI-Verordnung bieten. Er enthält konkrete Handlungsschritte und zeigt, wie sich die juristischen Anforderungen für Hochrisiko-KI-Systeme technisch umsetzen lassen. Damit schließen wir die Lücke zwischen Rechtswissenschaften und Informatik.

Zweitens stehen Prüftools für AI Governance auf der Agenda. Geplant sind Assistenzsysteme auf Basis großer Sprachmodelle, die Entwickler und Auditoren bei der Umsetzung der KI-Verordnung unterstützen. Sie helfen bei der Risikoklassifizierung von KI-Systemen, der Risikobewertung und der Mitigation von KI-Risiken – ein entscheidender Schritt für skalierbare Compliance.

Als drittes Ziel streben wir den Ausbau der KI-Prüfplattform an. Wir entwickeln einen Onboarding-Mechanismus, der die einfache und reproduzierbare Integration von Werkzeugen, Modellen und Softwarekomponenten ermöglicht. Zusätzlich sollen API-basierte KI-Services und -Modelle (z. B. OpenAI) eingebunden werden. Auch Prüfworkflows mit manuellen Anteilen (Human-in-the-Loop) werden integriert, um flexible und praxisnahe Prüfprozesse zu gewährleisten.

Diese Schritte stärken die europäische Position im Bereich vertrauenswürdiger KI und schaffen ein Ökosystem, das Unternehmen bei der Umsetzung des EU AI Act unterstützt.