Künstliche Intelligenz (KI) ist faszinierend, vor allem wenn Deep Learning, eine Form des maschinellen Lernens, zum Einsatz kommt: Ein Netz vieler künstlicher Neuronen, das dem menschlichen Gehirn grob nachempfunden ist, wird dabei mit vielen Beispielen trainiert. Dafür sind weder Regeln noch eine Analyse des Problems erforderlich. Das maschinelle Lernen basiert auf der Hoffnung, dass nach dem Trainieren mit bekannten Beispielen auch unbekannte Fälle richtig gelöst werden. Lernen bedeutet, von den Trainingsbeispielen zu abstrahieren und selbst Regeln zu bilden. Solche Systeme werden gerne als „Black Box“ bezeichnet. Aber die Box ist offen. Nur sind die „Regeln“ darin wirr. Hinzu kommt: Es gibt auch Bereiche, in denen diese Systeme Falsches „lernen“. Sogenannte „Artefakte“ führen zu unerwartet falschen Entscheidungen. Ähnlich wie Menschen lassen sich auch Deep-Learning-Systeme etwa durch Äußerlichkeiten triggern. Wer diese Triggerpunkte findet, kann die KI zu falschen Ergebnissen führen – und diese hat keine Ratio, die das hinterfragen könnte.
Faszinierend, aber unzuverlässig
Trotz dieser inhärenten Unzuverlässigkeit generieren diese Systeme vielfach faszinierend „gute“ Ergebnisse. Wie soll man eine Technologie regulieren, die einerseits Dinge kann, die bislang nicht automatisierbar waren, und andererseits unzuverlässig ist? Die EU hat in ihrem Entwurf für eine KI -Verordnung einen risikobasierten Ansatz gewählt: Das Risiko hängt einerseits von der konkreten Technologie ab. Eine klare Rechenformel, die über Taschenrechner, Excel oder ein Programm ausgeführt wird, ist gut beherrschbar. Der Code ist verständlich, kann einfach getestet oder gar formal bewiesen werden. Das ist keine Risikotechnologie. Bei trainierten Systemen ist das jedoch nicht so. Wie so ein System auf unbekannte Fälle reagieren wird, ist immer mit Unsicherheiten verbunden. Dieses Risiko muss beim Einsatz abgefangen werden. Zum anderen hängt das Risiko von den betroffenen Rechtsgütern ab: Ein System, das beim Fotografieren automatisch Gesichter erkennt und auf diese scharf stellt, kann allenfalls zu ein paar unscharfen Aufnahmen führen. Das ist ein geringes Risiko – anders bei einem System, welches darüber entscheidet, ob ein Straftäter auf Bewährung frei kommt.
Diese beiden sinnvollen Kriterien werden jedoch im Verordnungsentwurf mangelhaft umgesetzt. Die Risikotechnologie KI wird in Anhang I so breit definiert, dass selbst einfache Suchfunktionen und Abfragelogiken darunterfallen. Es wird kaum ein Computersystem geben, welches künftig nicht als „KI“ gilt. Auch bei dem zweiten Kriterium ist der Entwurf über das Ziel hinausgeschossen: Während ein „Robo-Judge“ menschliche Entscheidungen ersetzt oder massiv beeinflusst, ist das bei vielen entscheidungsunterstützenden Systemen weit weniger der Fall. Aber laut Anhang III Nr. 8 lit. a soll alles als Hochrisikotechnologie gelten, was Justizbehörden bei der Ermittlung und Auslegung von Sachverhalten und Rechtsvorschriften sowie bei der Anwendung des Rechts auf konkrete Sachverhalte unterstützen soll. Damit dürften bereits gängige juristische Informationssysteme als Hochrisikosysteme gelten, wären sie nicht als Bestandssysteme gemäß Art. 83 II ausgenommen.
Für Hochrisikosysteme gelten umfangreiche Pflichten, an deren Nichteinhaltung zudem die geplante KI-Haftungsrichtlinie eine verschärfte Haftung knüpft. Dies könnte die weitere Digitalisierung der Justiz durch dann als „KI“ qualifizierte Systeme deutlich bremsen. Während der Kommissionsvorschlag hier überreguliert, lässt er umgekehrt ein einfaches Werkzeug für mehr Transparenz ungenutzt: Man könnte in Verwaltung und Justiz eingesetzte Systeme zum Testen öffentlich bereitstellen. Fachöffentlichkeit, Anwender und vor allem potenziell Betroffene könnten dann ausprobieren, welche Änderungen an Eingabeparametern zu einem anderen Ergebnis führen. Dieses „was wäre, wenn“ bietet auch technischen Laien mehr Transparenz als oberflächliche Erklärungen. Technische Experten könnten darüber hinaus diese Analyse automatisieren und damit problematische Artefakte aufspüren.
Die öffentliche Bereitstellung der Systeme böte die Chance, Fehler früher zu finden und damit die Akzeptanz zu steigern. Die KI – Verordnung sollte diese Chance nutzen.
Dieser Inhalt ist zuerst in der NJW erschienen. Sie möchten die NJW kostenlos testen? Jetzt vier Wochen gratis testen inkl. Online-Modul NJWDirekt.
