Editorial Heft 1/2022

Immer wieder zeigt sich sowohl an den Debatten als auch an den Regulierungen und Regulierungsvorschlägen, dass lernende Systeme grundlegendere Fragen aufzuwerfen scheinen als die uns bisher bekannten Werkzeuge. Woran genau das liegt, ob die Entwicklung tatsächlich qualitativ neuartig oder nur quantitativ besonders komplex ist, und ob die Systeme überhaupt jemals hinreichend autonom sein werden, dass es dieser intensiven Diskussionen bedürfe, soll hier nicht hinterfragt werden. Denn es ist jedenfalls bemerkenswert, dass im Kielwasser dieser Entwicklung grundlegende Fragen des Rechts und Staatssystems neu aufgeworfen werden. Es reicht ein Blick auf die nationale Debattenlandschaft: "Demokratie und künstliche Intelligenz" (hrsg. von Unger/Ungern-Sternberg) oder "Freiheit und Kalkül - Die Politik der Algorithmen" (Müller-Mall) - schon diese Titel zeigen, wie grundlegend die Diskussionen ansetzen. Unter dem Stichwort "Impossibility Structures" (für die nationale Debatte exemplarisch Rademacher) wird gar gefragt, ob "Künstliche Intelligenz als Ende des (Straf-)Rechts" (Burchard) gewertet werden könnte, bzw. ob das Recht für seine Legitimation und Weiterexistenz zwingend der Möglichkeit des Rechtsbruchs bedarf, ja ob es sogar ein subjektives Recht auf Rechtsbruch gebe. Oder, anders gewendet, ob es für ein Rechtssystem nicht zwingend ist, dass wir uns bewusst und immer wie-der für die Einhaltung der Normen bzw. für dieses System entscheiden. Auch der zentrale Wert unserer Verfassung, die Menschenwürde, begegnet uns nicht selten in diesem Kontext. Sei es, dass über die Kriterien nachgedacht wird, die zur Erlangung der Würde bzw. subjektiver Rechte für Maschinen erfüllt sein müssten, sei es, dass die Menschenunwürdigkeit einer Existenz mit stark reduzierten menschlichen Kontakten befürchtet wird (etwa beim Einsatz von Robotern und KI in Medizin und Pflege), sei es, dass die mit lernenden Systeme verbundene Diskriminierung bzw. statistische Kategorisierung der Betroffenen deren Würde als Individuen entgegen-stehen könnte.
All diese Fragestellungen sind es wert, weiterhin intensiv diskutiert zu werden. Eine Perspektive, die m.E. diese grundlegenden Debatten vereinen und zugleich die technische Entwicklung einbeziehen könnte, ist die der "bedeutsamen menschlichen Kontrolle" bzw. "Meaningful Human Control (MHC)". Auch dieses Konzept ist seit einigen Jahren Gegenstand verschiedener Diskussionen, zunächst im Kontext autonomer Waffensysteme (LAWs), später auch in anderen Lebensbereichen⁴ und verstärkt auch in der deutschen Diskussion⁵, etwa in aktuellen Forschungsprojekten⁶. 
Dieser Diskussion liegt der Gedanke zugrunde, dass eine Verantwortungszurechnung - sei es moralisch, haftungsrechtlich oder strafrechtlich - zu einem Menschen, der in Interaktion mit einem lernenden System entscheidet oder handelt, nur dann angemessen ist, wenn dieser Mensch eine bedeutsame Kontrolle über die Entscheidung oder Handlung hatte. Bedeutsame Kontrolle meint dann mehr als die Möglichkeit eines Eingriffs in die autonome Aktion der Maschine unter großem Zeitdruck, ein zentraler Kritikpunkt an bestimmten technischen Ausgestaltungen von Waffensystemen, die letztlich nur darauf abzielten, sich dem Vorwurf weitreichender Autonomie der Waffensysteme zu entziehen: Es sei schließlich ja weiterhin ein "Human in the Loop". 
Ein genauerer Blick auf diese Konstellation zeigte, dass die Einbindung eines Menschen in den Entscheidungsprozess (,Human in the Loop') per se keine Lösung dar-stellen konnte - weder auf technischer Ebene für die Produktion ,besserer' Entscheidungen, noch auf gesellschaftlicher Ebene für die politische Legitimation zunehmen-der autonom agierender Maschinen, noch auf rechtlicher Ebene für die Erhaltung der Möglichkeit, auf bisherige normative Konzepte wie menschliche (moralische und strafrechtliche) Verantwortung oder zivilrechtliche Verschuldenshaftung zurückzugreifen. Auch wenn das Recht selbst diese Einbindung teilweise zu fordern scheint (Art. 22 DSGVO), darf daher nicht vergessen lassen, dass die schlichte Mitwirkung eines Menschen keinen intrinsischen Wert hat. Im Gegenteil: Wird der Mensch lediglich deshalb eingesetzt, um an bestehenden normativen Konzeptionen festzuhalten, die Gesellschaft zu beruhigen und einen Adressaten für Haftungsansprüche zu haben, ist das sogar höchst problematisch. Einer von zahlreichen potentiellen, fragwürdigen Effekten ist, dass der mitwirkende Mensch zum ,Haftungsknecht' reduziert wird, d.h. möglicherweise verantwortlich gemacht wird und haftet, obwohl das angesichts der begrenzten Entscheidungs- und Haftungsmöglichkeiten eigentlich nicht angemessen erscheint. In aller Regel wird es sich hierbei auch nicht um diejenigen Personen handeln, die das lernende System herstellen, programmieren oder trainieren, oder über die Einführung eines lernenden Systems in einer bestimmten Institution oder einem Unternehmen entscheiden. Vielmehr droht die Verantwortlichkeit für die gemeinsam mit dem lernenden System getroffene Entscheidung häufig der unter Zeitdruck agierenden Soldatin, dem auf seinen Job dringend angewiesenen Lkw-Fahrer oder der ohnehin bereits gegen viele ökonomische Zwänge kämpfenden Ärztin. Eine mögliche Lösung für diese Problematik könnte das eben das Konzept der ,Meaningful Human Control' (MHC) sein - die Betonung liegt auf meaningful. Erneut geht es dabei um grundlegende Gedanken zum Rechtssystem, nämlich dass ein Mensch i.d.R. nur dann verantwortlich gemacht werden sollte, wenn er Kontrolle über das Geschehen hatte⁷.  
Dieses Konzept bedarf m.E. näherer Aufmerksamkeit, zum einen, weil es für viele der oben genannten Aspekte von Relevanz sein kann, wenn man es hinreichend weit interpretiert⁸. So ist es zentral für die Erhaltung demokratischer Strukturen, dass die Bürger:innen eines Staates Kontrolle über die Informationen behalten, die sie für die Ausübung ihrer Rechte benötigen. Dafür müssen sie unter anderem wissen, ob sie mit einer Maschine oder einem Menschen kommunizieren, um die erhaltenen Informationen einschätzen zu können. Auch die staatlichen Institutionen bedürfen der Kontrolle über digitale Kommunikation, zumindest insofern, als unzweifelhafte und gefährliche Fehlinformationen und strafbare Aussagen gestoppt werden sollten. Und natürlich muss kontrolliert werden, dass Wahlen und andere Ausübungen der Bürger-rechte nicht durch Maschinen gestört werden. Bedeutsame menschliche Kontrolle ist weiterhin wichtig mit Blick auf die Debatte um ,Impossibility Structures', da die Erhaltung dieser Kontrolle weiterhin ermöglicht, sich im konkreten Moment für oder gegen das Recht oder als Individuum bewusst für die Nutzung derartiger Systeme zu entscheiden, oder zumindest als Gesellschaft in spezifischen Lebensbereichen zu entscheiden, dass diese technische Kontrolle der Einhaltung des Rechts hier, im konkreten Fall relevanter ist als die freiwillige Wahl des Rechts über das Unrecht. Und schließlich ist jedenfalls die Wahrnehmung eines Betroffenen als bloßes Mitglied einer statistischen Gruppe - wie es lernende Systeme zwangsläufig tun - durch die Einschaltung eines Menschen mit bedeutsamer Kontrolle auflösbar. Damit ist natürlich nicht jede Form von Diskriminierung ausgeräumt, doch die Gefahr der spezifischen Diskriminierung durch lernende Systeme, die sich hinter ihrer vermeintlichen technischen Objektivität verbirgt, wird durch Kontrolle über die zum Lernen verwendeten Daten, die Lernprozesse, die Ergebnisse der Entscheidungen der Systeme usw., abgeschwächt.
Zum anderen ist der Blick auf das Konzept der MHC deshalb von Vorteil, weil es die normativen Debatten mit der technologischen Entwicklung zusammenbringt. Denn die Antwort auf die Frage, ob die jeweilige Kontrolle als bedeutsam anzusehen ist, kann nicht losgelöst davon erfolgen, wie die konkrete Interaktion zwischen Mensch und Maschine ausgestaltet ist. Zweifellos muss jeweils im Detail diskutiert werden, welche Kriterien im spezifischen Fall für MHC erforderlich sind - das wer-den, wenn es um die Auswahl einer medizinischen Diagnose geht, andere Kriterien sein, als wenn die Kontrolle eines Fahrzeugs im Straßenverkehr im Raum steht oder wenn demokratische Prozesse vor maschineller Beeinflussung geschützt werden sollen. Auch kann die Kontrolle zu unterschiedlichen Zeitpunkten erfolgen. So kann Kontrolle heißen, spezifische Daten für das Lernen des Systems auszuwählen oder die Vorgaben für die Zulassung festzusetzen, die Ergebnisse der Entscheidungsprozesse lernender Systeme zu überwachen oder im konkreten Moment der Entscheidung ein hinreichendes Verständnis für die Gründe eines Vorschlags zu haben, der von dem System unterbreitet wurde, ggf. nachfragen oder sich gut begründet anders entscheiden zu können. All dies hängt vom konkreten Design und vom konkreten Einsatzszenario der lernenden Systeme ab. Insofern ist es zentral für die Herstellung von MHC in allen Bereichen der technologischen Entwicklung, dass normative Disziplinen von Beginn an in die Entwicklung eingebunden sind, Ideen für die möglichen Ausgestaltungen liefern oder die angebotenen Alternativen bewerten. Forderungen wie Transparenz oder Kontrolle müssen in den konkreten Kontexten mit Leben gefüllt werden, d.h. es ist ganz konkret zu entscheiden, welche Informationen ein mit einem lernenden System agierender Mensch haben muss, wieviel Verständnis er über die Funktionsweise haben muss, welche Entscheidungsmöglichkeiten ihm zur Verfügung stehen müssen, wie mit Zeit-druck bei der Entscheidung umzugehen ist, etc. Letztlich kann dann MHC im konkreten Fall - etwa wenn die Maschinen nachweislich besser (was auch immer das heißen mag) entscheiden, wenn die Menschen sich zurückhalten - auch bedeuten, dass eine gesellschaftliche Entscheidung über die Einführung lernender, weitgehend autonomer Maschinen in einem bestimmten Lebensbereich herbeigeführt wird und die Reaktionen auf mögliche Fehlentscheidungen, Schädigungen und negative Konsequenzen vorab ebenfalls auf gesellschaftlicher Ebene festgelegt werden. Dies wird aber voraussichtlich nicht für alle Kontexte der Fall sein, so dass für die anderen Szenarien spezifische, anpassende Ausgestaltungen der Technologie in adäquater, interdisziplinärer Kooperation gefunden werden müssen. Das Konzept der MHC kann die Debatte also in vielerlei Hinsicht bereichern und einen bestimmten, pragmatischen und auf konkrete Ergebnisse abzielenden Fokus setzen. 
An uns Rechtswissenschaftler:innen ist damit die Aufgabe gerichtet, uns dieser interdisziplinären Arbeit zu stellen, uns nicht nur den interessanten, grundlegenden und theoretischen Fragen zu widmen, sondern gleichzeitig in der konkreten Anwendung zu agieren und dort nach konkreten Lösungen zu suchen. Nur auf diese Weise können wir, ohne die technologische Entwicklung zu stark zu behindern, die lernenden Systeme rechtlich einhegen und zugleich unser Rechtssystem an die damit verbundenen Veränderungen anpassen. 

---

1) Document 52021PC0206, COM/2021/205 final.
2) Verordnung (EU) 2019/2144.
3) Gesetz zur Änderung des Straßenverkehrsgesetzes und des Pflichtversicherungsgesetzes - Gesetz zum autonomen Fahren vom 12. Juli 2021, BGBl. 2021 Teil I Nr. 48, S. 3108 ff.
4) https://www.tudelft.nl/evenementen/2019/tbm/meaningful-human-control-over-intelligent-machines-public (zuletzt abgerufen 30.01.2022), https://www.tudelft.nl/citg/over-faculteit/afdelingen/transport-planning/research/projects/mhc-ads (zuletzt abgerufen 30.01.2022).
5) Algorithms between Trust and Control, Ringvorlesung, https://www.normativeorders.net/de/veranstaltungen/ringvorlesungen/38-veranstaltungen/ringvorlesungen/8105-algorithms-between-trust-and-control (zuletzt abgerufen 30.01.2022).
6) So etwa in dem vom BMBF geförderten Projekt vALID (https://www.gesundheitsforschung-bmbf.de/ de/valid-klinische-entscheidungsfindung-durch-kunstliche-intelligenz-ethische-rechtliche-und-10430.php, zuletzt abgerufen am 31.01.2022).
7) Zweifellos gibt es hiervon Ausnahmen, etwa im Bereich der Haftung, zugleich basiert die Idee der Verantwortung grundsätzlich auf der Zurechnung zu einem Akteur, der auf das Geschehen ,antworten' kann.
8) Weite Interpretationen bergen selbstverständlich die Gefahr der Aufweichung solcher Konzepte. Zugleich erlaubt das Konzept der MHC durchaus, dass es in verschiedenen Kontexten unter-schiedlich interpretiert wird, dass für seine Bejahung in diversen Lebensbereichen passende Kriterien aufgestellt werden können und dass es somit jedenfalls als grundsätzliche Orientierung für die Richtung der jeweiligen Debatte genutzt werden kann.

---