Planmäßig ab August 2026 werden Betreiber sogenannter Hochrisiko-KI-Systeme durch Art. 27 der EU-Verordnung zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und in bestimmten Fällen zur Durchführung von "Grundrechte-Folgenabschätzungen" (GRFA) verpflichtet (engl. "Fundamental Rights Impact Assessment", kurz: FRIA). Welche Rolle spielt die GRFA im Rahmen der KI-VO, welche Besonderheiten gibt es, und wie gelingt die Handhabung in der Praxis?

Die KI-VO ist vor nunmehr über einem Jahr als weiterer Teil der EU-Digitalstrategie in Kraft getreten. Seitdem entfaltet diese als Produktsicherheitsrecht für KI-Systeme schrittweise ihre Wirkung. Seit Februar 2025 gelten die allgemeinen Bestimmungen der KI-VO und das Verbot besonders gefährlicher KI-Praktiken. Seit August 2025 gibt es unter anderem die Aufsichts- und Durchsetzungsregeln sowie die Regulierung von KI-Modellen mit allgemeinem Verwendungszweck (GPAI-Modelle). Dazu gehören beispielsweise auch die beliebten Large Language Models (LLM). Für die Umsetzung der Anforderungen gibt es schrittweise Fristen.

Das Herzstück: Die Regulierung von Hochrisiko-KI-Systemen

Das Herzstück der KI-VO ist die Regulierung von Hochrisiko-KI-Systemen im Sinne des Art. 6 KI-VO, die größtenteils ab August 2026 Anwendung findet. Diese Vorschriften stellen den umfassendsten Teil des risikobasierten Regelungsansatzes der KI-VO dar, welcher der Grundprämisse "je riskanter der Verwendungsbereich, desto strikter die Regulierung" folgt.  

Die KI-VO verpflichtet in diesem Rahmen vorerst Anbieter, d.h. Personen oder Unternehmen, die ein KI-System oder ein allgemeines KI-Modell entwickeln (lassen) und unter eigenem Namen auf den Markt bringen oder in Betrieb nehmen, zur Einhaltung verschiedener Anbieterpflichten. Hierzu gehört beispielsweise die Einführung eines Risikomanagementsystems oder das Sicherstellen ausreichender menschlicher Aufsicht über das Hochrisiko-KI-System. 

Daneben hat im Rahmen der Hochrisiko-KI-System-Regulierung auch die in Art. 27 Abs. 1 KI-VO normierte Pflicht zur Grundrechte-Folgenabschätzung eine besondere Bedeutung. Die Pflicht zur GRFA betrifft dabei alle Hochrisiko-KI-Systeme im Sinne des Art. 6 Abs. 2 KI-VO mit Ausnahme von Hochrisiko-KI-Systemen im Bereich der kritischen Infrastruktur.  In diesem Bereich sind Betreiber von der Pflicht zur GRFA ausgenommen (und unterliegen auch keiner vergleichbaren bereichspezifischen Verpflichtung).

Anders als die Anbieterpflichten richtet sich diese Pflicht an Betreiber, also jeden, der ein Hochrisiko-KI-System eigenverantwortlich verwendet. Die KI-VO verpflichtet insgesamt drei Gruppen von Betreibern zur Vornahme einer GRFA: Einrichtungen des öffentlichen Rechts sowie private Einrichtungen, die öffentliche Dienste erbringen und Betreiber im Banken- und Versicherungssektor. Letztere sind allerdings nur erfasst, wenn sie ihre KI-Systeme für die Kreditwürdigkeitsprüfung und Bonitätsbewertung natürlicher Personen verwenden oder diese der Risikobewertung und Preisbildung in Bezug auf natürliche Personen im Fall von Lebens- und Krankenversicherungen dient.  

Inhalt und Zweck der Grundrechte-Folgenabschätzung 

Die GRFA ist eine Prognoseentscheidung des Betreibers eines Hochrisiko-KI-Systems. Dieser muss die Auswirkungen abschätzen, welche die Verwendung eines solchen Systems auf die Grundrechte haben kann. Die Abschätzung muss dabei grundsätzlich nur vor erstmaliger Inbetriebnahme des Hochrisiko-KI-Systems vorgenommen werden. Zweck der GRFA ist, dass der Betreiber vorab die spezifischen Risiken einschätzt, die sich aus dem KI-System zulasten der Grundrechte einzelner Personen ergeben, und präventiv Maßnahmen festlegt, die im Falle der Realisierung der Risiken ergriffen werden können. 

Der notwendige Inhalt einer GRFA wird durch die KI-VO weitgehend vorgegeben. Systematisiert lässt sich dieser in drei Phasen aufteilen:  

In der Vorbereitungsphase legt der Betreiber den Grundstein für die GRFA: Hierbei muss der Betreiber darlegen, wie das Hochrisiko-KI-System eingesetzt wird. Dazu gehören seine Verwendung, die Verwendungshäufigkeit und Verwendungsdauer sowie die betroffenen Personen und deren Grundrechte aus EU-Grundrechtecharta, EMRK und den Rechtsordnungen der Mitgliedstaaten.  

In der anschließenden Durchführungsphase der GRFA identifiziert der Betreiber mögliche Schadensrisiken für die betroffenen Personen und deren Rechte. Die Risiken werden sodann anhand einer Kombination aus der Wahrscheinlichkeit des Auftretens eines Schadens und dessen Schwere bewertet. Hierauf aufbauend sind Risikominimierungsmaßnahmen zu identifizieren, die im Falle des Eintretens der Risiken zu ergreifen sind. Zudem müssen die Betreiber die konkreten Maßnahmen zur Umsetzung der menschlichen Aufsicht beschreiben, die sie im Einklang mit der (vom Anbieter zur Verfügung gestellten) Betriebsanleitung umsetzen. Auch Restrisiken sind zu identifizieren. 

Die Umsetzungsphase dient der Implementierung der Risikominimierungsmaßnahmen und der Überprüfung ihrer Wirksamkeit.

Aktualisierungspflichten, aber keine ständige Überprüfung

Eine ständige Überprüfung hinsichtlich der GRFA verlangt die KI-VO hingegen nicht ausdrücklich. Eine Aktualisierungspflicht besteht aber zumindest, wenn sich aus Sicht des Betreibers Änderungen bei den Abschätzungsfaktoren ergeben haben oder diese nicht mehr auf dem neuesten Stand sind. Der Betreiber muss diese Informationen dann in der EU-Datenbank aktualisieren oder die zuständige Behörde informieren. Unter Umständen kann überdies auch eine erneute GRFA notwendig sein.

Nach Abschluss der GRFA ist der Betreiber dazu verpflichtet, sein Ergebnis der zuständigen Marktüberwachungsbehörde mitzuteilen. Dazu muss der Betreiber einen vom EU-KI-Büro – der zentralen KI-Verwaltungsbehörde der EU – noch auszuarbeitenden Musterfragebogen nutzen. Hierdurch soll der Compliance-Aufwand auf Betreiberseite vereinfacht und standardisiert werden.  

Verhältnis der GRFA zur Datenschutz-Folgenabschätzung der DS-GVO 

Das Konzept der GRFA stellt in seiner konkreten Form ein Novum in der EU-Digitalgesetzgebung dar. Es bestehen jedoch gewisse Ähnlichkeiten mit bereits existierenden Regelungen in anderen EU-Digitalrechtsakten, so u.a. die Verpflichtung zu einer "Datenschutz-Folgenabschätzung" (DSFA) aus Art. 35 Abs. 1 S. 1 DS-GVO. Diese ist durch den datenschutzrechtlich Verantwortlichen vor jeder Verarbeitung personenbezogener Daten mit hohem Risiko für den Betroffenen durchzuführen. 

Während sowohl die DSFA als auch die GRFA den Grundrechtsschutz bezwecken, unterscheiden sie sich in ihrem Anwendungsbereich und -umfang. So steht der dargestellte, weite Anwendungsbereich der DSFA einem recht eng beschränkten Anwendungsbereich bei der GRFA im Rahmen der KI-VO gegenüber. Der Prüfungsmaßstab der GRFA ist indes um ein Vielfaches weiter und nicht, wie bei der DSFA, auf den Schutz personenbezogener Daten beschränkt. Deswegen sind im Rahmen der GRFA auch Grundrechte wie die Meinungsfreiheit, das Recht auf Nichtdiskriminierung oder die Justizgrundrechte in der Abschätzung zu berücksichtigen. 

Aufgrund der verschiedenen Anwendungsbereiche und Prüfungsmaßstäbe kann es zu Konstellationen kommen, in denen der Betreiber eines Hochrisiko-KI-Systems als datenschutzrechtlich Verantwortlicher sowohl der Pflicht zur DSFA als auch der Pflicht zur GRFA unterliegt. Für diesen Fall stellt die KI-VO klar, dass die GRFA die DSFA ergänzt. Ihre zusätzlichen Anforderungen müssen in eine eigene Folgenabschätzung eingestellt werden, während die schon im Rahmen der DSFA getroffenen Abschätzungen nicht erneut zu beurteilen sind.