Dr. Iva Kostov
KIR 2025, 425 Künstliche Intelligenz (KI) ist in den letzten Jahren zum Objekt der Faszination und zugleich Synonym für Misstrauen geworden. Die Catchwords sind oft das Erste, was auffällt: Blackbox, Opazität, Unberechenbarkeit. Doch was bedeuten sie eigentlich? Was ist mit „Blackbox“ konkret gemeint? Was genau ist bei KI undurchsichtig? Ist es ihr Einsatz oder ihre Funktion? Und wie kann eine Technik, die auf statistisch-mathematischen Verfahren basiert, unberechenbar sein?
Oft wird bei diesem Fragenkomplex das Recht adressiert. Ist das alles aber ein Rechtsproblem? Die These hier – nicht alles und nicht evident. Was sich hinter solchen Aussagen verbirgt, ist Nichtwissen, das systematisiert und verstanden werden muss, ehe es als (Rechts)Problem untersucht wird.
Maschinelles Lernen (ML), ein Teilgebiet der KI-Forschung, ist ein Sammelbegriff für bestimmte Verfahren zur algorithmischen Datenverarbeitung. Algorithmen lassen sich als Folge von technischen Handlungsregeln verstehen – sie sind das Kernstück jeder Automatisierung. Häufige Aufgabe von Algorithmen ist die Einteilung von Daten (zB über Personen) in verschiedenen Kategorien (Klassifikation). Dadurch können sie Entscheidungen über Personen unterstützen. Die „Intelligenz“ von ML-Algorithmen besteht im Spielraum, den sie bei Gestaltung der Regeln für eine Datenverarbeitung haben. Es ist ebendieser Spielraum, der sowohl der Faszination als auch dem Misstrauen zugrunde liegt.
Was sind aber die genauen Probleme? Obwohl in der Rechtswissenschaft früh nach Lösungen gesucht wurde, blieb diese vorgelagerte Frage zunächst unadressiert. Es gibt mehrere Fragen, deren gemeinsamer Nenner Nichtwissen ist (Kostov, Nichtwissen bei maschinellem Lernen, 2024). Sie stellen sich, wenn bereits der Einsatz der Technologie nicht offengelegt wird, und auch wenn die Öffentlichkeit oder die Akteure, die ML einsetzen, nicht über Kompetenzen im Umgang damit verfügen. Das ist Nichtwissen, das primär auf soziale Akteure und Praktiken zurückzuführen ist. Anders verhält es sich mit zwei weiteren ML-Aspekten, die Nichtwissen erzeugen – der technologischen Komplexität und rein statistischen Funktionsweise. Dadurch bedingte Wissensdefizite sind primär dem Wesen der Technologie zuzurechnen und Ausdruck eines unabsichtlichen Nichtwissens. Meist sind mehrere dieser Nichtwissensformen bei einem ML-Einsatz präsent.
Nichtwissen begleitet ML in allen Einsatzbereichen. Allerdings wird die Verwendung durch staatliche Akteure gesellschaftlich besonders kritisch gesehen. Anders als Private ist der Staat unmittelbar zur Einhaltung und zum Schutz von Grundrechten verpflichtet sowie zu Eingriffen befugt. Eine demokratische Gesellschaft erwartet von staatlichen Entscheidungen daher ein hohes Maß an Transparenz, Kompetenz, Kontrollierbarkeit, Nachvollziehbarkeit und Plausibilität. Nichtwissen bei ML ist geeignet, all diese Werte zu gefährden. Die Frage nach Nichtwissen als Rechtsproblem ergründet somit, inwieweit diese Werte beim Einsatz der Technologie rechtlich zu schützen sind.
Welche rechtlichen Konsequenzen hat es, wenn der Staat eine ungewisse Technologie zur Unterstützung von Entscheidungen einsetzt, die in die Rechte von Personen eingreifen, und es nicht offenlegt? Darf er den Einsatz geheim halten? Ist es ein Rechtsproblem, wenn Bürger die Funktion der Technologie nicht verstehen? Ist es das, wenn der Staat sie nicht versteht? Was bedeutet es für das Recht, wenn niemand in der Lage ist, ML vollständig nachzuvollziehen, weil es in seiner Komplexität menschliche Denklogik übersteigt? Und wirken sich Unterschiede zwischen ebendieser und der Denklogik von ML auf das Recht aus?
Hier werden drei zentrale Nichtwissensformen bei ML und ihre rechtliche Bedeutung aufgezeigt: Die oft (zu) kontrovers diskutierte Intransparenz iSd Nichtoffenlegung technologischer Details, die Komplexität von ML als Problem, das nicht nur die Informatik bewegt und die auf statistischen Korrelationen basierende Funktionsweise, die nicht direkt einen Bezug zu Nichtwissen erkennen lässt, jedoch das anspruchsvollste Nichtwissensproblem der Technologie sein dürfte.
I. Intransparenz
Soweit staatliche Akteure Nichtwissen erzeugen, indem sie den Einsatz von ML geheim halten, stellt sich die Frage, ob die Offenlegung notwendig ist. Gibt es ein Rechtsgebot zur Herstellung algorithmischer Transparenz? Oder handelt es dabei vielmehr um eine diffuse Forderung, die dahinterstehende Ziele und Werte nur schemenhaft erkennen lässt?
Als einen grundsätzlich außerrechtlichen Maßstab hat Transparenz an sich keinen eigenständigen Rechtsgehalt. Das ändert sich, wenn sie der Verwirklichung von Rechtswerten dient. Relevante Rechtswerte sind hier insbesondere der Datenschutz und die Gleichheitsrechte. Wären sie beim verdeckten staatlichen ML-Einsatz unzureichend gewährleistet, erlangt algorithmische Transparenz eine rechtliche Bedeutung. Bei der Bewertung dieser Frage sind jedoch bereichsspezifische Unterschiede zu berücksichtigen. So sind Offenlegungen von Behördeninterna in manchen Bereichen staatlicher Tätigkeit, anders als in anderen, systemimmanent schwierig – so etwa im Sicherheitsbereich.
ML verarbeitet Daten auf eine besondere Art und ermöglicht so die Generierung von sonst schwer zugänglichem Entscheidungswissen. Das ist datenschutzrechtlich unbedenklich, soweit rechtmäßig erhobene Daten iRd Erhebungszwecke verarbeitet werden. Denn das informationelle Selbstbestimmungsrecht ist durch bestehende datenschutzrechtliche Mechanismen hinreichend gewährleistet – es wird durch ML nicht „mehr“ beansprucht. Ähnliches gilt für die Gleichheitsrechte. ML diskriminiert nicht per se mehr oder stärker als Menschen. Risiken direkter Diskriminierung adressiert das Verbot der Verarbeitung besonders sensibler Daten. Indirekte Diskriminierung ist subtil und schwer zu erkennen. Bei ML erfordert das (ähnlich wie bei Menschen) eine langfristige Beobachtung des Entscheidungssystems im Einsatz sowie empirische Untersuchungen und statistische Auswertungen ihrer Ergebnisse. Das wäre selbst bei Offenlegung aller technologischen Details nicht trivial, abgesehen davon, dass dies den Einsatz der Technologie zu bestimmten (insbesondere präventiven) Zwecken inhibiert. Reale Diskriminierungsrisiken durch ML werden durch die Offenlegung technologischer Details nicht besser bewältigt.
Daher ist algorithmische Transparenz oft ein Thema ohne rechtlichen Gehalt. In vielen Bereichen handelt es sich dabei vielmehr um ein politisches Thema. Staatlichen Akteuren steht es frei, den Einsatz offenzulegen. Rechtlich sollen sie dazu nicht verpflichtet sein. Das mag ein Störgefühl auslösen. Wie kann es sein, dass die Nichtoffenlegung einer datenbasierten Technologie, die personenbezogene Daten (und damit Personen) klassifiziert, weder Datenschutz- noch Gleichheitsrechte besonders gefährdet? Es zeigt aber viel mehr, dass die Probleme auf anderer Ebene als die der Transparenz liegen und nicht mit herkömmlichen Rechtsgarantien zu bewältigen sind.
II. Komplexität
ML basiert auf mathematischen Verfahren, die sehr hohe Komplexität erreichen können. Das führt u.a. dazu, dass es unmöglich sein kann zu verstehen, wie es einzelne Ergebnisse generiert. Folglich bleibt unklar, anhand welcher Informationsgrundlage eine Entscheidung über eine Person getroffen wird. Das wird spätestens dann zur Rechtsfrage, wenn auf der Basis einen Rechtseingriff erfolgt.
Das Komplexitätsniveau des maschinellen Lernens hängt von der Schwierigkeit der damit zu lösenden Probleme ab. Geht es um die Vorhersage und Klassifikation menschlichen Verhaltens (zB als (un)verdächtig, (un)zuverlässig etc.) anhand großer und komplexer Datenbestände, erweisen sich solche Lernmodelle als besonders leistungsfähig, die mit einem komplexitätsbedingten Nachvollziehbarkeitsverlust einhergehen. Die Beseitigung solcher Komplexität kann das Recht (zB durch Einsatzverbote komplexer Algorithmen) nicht anordnen, ohne auf die Leistungsfähigkeit zu verzichten, die für eine adäquate Aufgabenbewältigung in anspruchsvollen Einsatzbereichen notwendig ist. Nachvollziehbare Entscheidungssysteme können kein rechtlich erstrebenswertes Ziel sein, wenn sie der Herstellung schlechter Entscheidungen dienen.
Dieser Zielkonflikt zwischen Nachvollziehbarkeit und Leistungsfähigkeit macht komplexitätsbedingtes Nichtwissen zum Rechtsproblem. Das Recht kann es jedoch navigieren. Im Grundsatz hinterfragt es nicht abstrakte Entscheidungsgrundlagen (ganze Lernmodelle), sondern konkrete Entscheidungen (einzelne Outputs). Aber auch bei Letzteren verlangt es keine absolute Nachvollziehbarkeit. Das zeigt die Parallele zwischen algorithmischer und menschlicher Entscheidungsfindung. In beiden Fällen kann und muss nicht jeder noch so kleine statistische bzw. gedankliche Zusammenhang verstanden werden. Werden algorithmische Entscheidungen jedoch Anlass für Rechtseingriffe, müssen sie zumindest in Grundzügen nachvollziehbar sein. Das ergibt sich daraus, dass Gesetze Rechtseingriffe idR erst dann erlauben, wenn eine Informationsgrundlage von gewisser Substanz vorliegt (sog. Eingriffsschwelle). Fehlt sie, ist oft nur eine sehr eingeschränkte Verwertung der Ergebnisse von ML möglich, die entweder gar nicht oder nur geringfügig in Rechte eingreift. Diese Wirkung ergibt sich bereits aus dem System des Eingriffsrechts; sie tritt von Gesetzes wegen ein und setzt zugleich Anreize zum Einsatz von möglichst nach vollziehbaren Modellen.
III. Korrelationen
Was macht eine gute Entscheidung aus? Wann geben wir uns mit einer Begründung zufrieden? ML sorgt dafür, dass solche Fragen nicht nur die Philosophie, sondern auch das Recht beschäftigen. Die Technologie basiert auf statistische Beziehungen (Korrelationen) in Daten. Das führt zu einem der heikelsten Vorwürfe – „Korrelationen sind keine Kausalitäten“.
Dahinter steckt grundlegendes Misstrauen. Denn kausale Annahmen sollen – so die Vermutung jedenfalls – nach vertrauten logischen Denkmustern hinterfragt und qualitativ bewertet werden können. Bei Korrelationen gibt es keine „Logik“, die hinterfragt werden kann. Sie bilden nur das häufige Auftreten bestimmter Zusammenhänge in Daten ab. Inwieweit sie mit menschlichen Intuitionen und Werten übereinstimmen, ist ungewiss. Einzelne Korrelationen sind auf logischer, auch kausaler Art interpretier- und hinterfragbar. Andere können sehr vorhersagestark, aber zunächst völlig unplausibel und einfach seltsam erscheinen. Was hat die Sitzplatznummer eines Fluggasts mit dem Verdacht auf Drogenschmuggel zu tun? Und wie ist zu reagieren, wenn bei einer Kontrolle Drogen tatsächlich entdeckt werden? Kann eine solche Entscheidungsgrundlage einen solchen Eingriff rechtfertigen?
Erneut ist das Recht mit einem Zielkonflikt konfrontiert. Was hat Vorrang, Leistungsfähigkeit oder Plausibilisierbarkeit? Dieser Zielkonflikt kann je nach Einsatzkonstellation unterschiedlich gelöst werden, steht aber im Zentrum von jedem entscheidungsunterstützenden ML-Einsatz.
Das Recht baut auf die Annahme auf, dass jede Entscheidung infrage gestellt und bewertet werden kann. Bei der qualitativen Bewertung von Entscheidungen muss es jedoch Stand und Grenzen von Theorie und Praxis im jeweiligen Einsatzbereich beachten. Anderenfalls läuft es Gefahr, unrealistische Standards zu setzen. Natürlich wäre eine Entscheidung, die auf nachvollziehbaren, theoretisch und praktisch fundierten Kausalitätsannahmen beruht, sehr plausibel. Solche Entscheidungsgrundlagen stehen aber nicht immer zur Verfügung. Je ungewisser die Bedingungen sind, bei denen Behörden Entscheidungen treffen müssen, desto weniger haben bewährte praktische Erfahrungen, sichere theoretische Annahmen und letztendlich – Kausalität – etwas zu bieten. In solchen Fällen kann es verfehlt sein, eine zusätzliche, korrelationsbasierte Erkenntnisquelle abzulehnen.
Im Ansatz interessiert sich das Recht nicht dafür, woher Erkenntnisse kommen, sondern dafür, wie überzeugend, wie plausibel sie im Einzelfall sind. So gesehen können algorithmische Korrelationen es nur dann irritieren, wenn ihre Plausibilität nicht unmittelbar hinterfragbar ist – weil sie keiner logischen oder intuitiven Narrative folgen, weil sie zu seltsam sind. Vielleicht aber sollte logische Überzeugungskraft nicht der alleinige Qualitätsmaßstab sein, wenn das besondere Leistungspotenzial solcher Korrelationen genutzt werden soll.
Der Weg ist hier nicht zwingend vorgegeben. Das Recht könnte seltsame Korrelationen verbieten oder als Erkenntnisquelle ignorieren. Damit würde es sich aber dem Wissen über noch unerkannte vorhersagestarke Wirkungszusammenhänge verschließen. Stattdessen lassen sich seltsame Korrelationen in einem Regime mittelbarer Hinterfragung einbetten, das nicht ihre augenscheinliche Überzeugungskraft, sondern die sozio-technischen Kontexte ihrer Entstehung sowie ihre Bewährung über die Zeit zur Plausibilisierung heranzieht. Durch eine solche strukturierte Langzeitbeobachtung lässt sich diese Erkenntnisquelle ohne Überforderung rechtlicher Qualitätsstandards anzapfen.
Dr. Iva Kostov ist wissenschaftliche Mitarbeiterin und Habilitandin am Fachgebiet Öffentliches Recht, IT-Recht und Umweltrecht (Prof. Dr. Gerrit Hornung) und am Wissenschaftlichen Zentrum für Informationstechnik-Gestaltung (ITeG) an der Universität Kassel.