Beim Deutschen Anwaltstag (DAT) 2024 in Bielefeld (6./7. Juni 2024) herrschte unter den Teilnehmerinnen und Teilnehmern eine eigentümliche Mischung aus Euphorie, Skepsis, Furcht und Genervtheit ob des "Mode-Themas" Künstliche Intelligenz (KI), das den Kongress dominierte. Während sich manche noch mit dem Gedanken an automatisierte Zivilverfahren im Bereich kleiner Streitwerte anfreunden können, ist die Furcht vor der Übernahme der KI in einem Bereich besonders groß, und zwar dort, wo der Staat am stärksten in die Freiheitsrechte der Menschen eingreift: in Polizeiarbeit und Strafjustiz.
Die Beispiele, wie Ermittlungsbehörden auf die Fähigkeiten hochentwickelter KI-Systeme zurückgreifen könnten, sind vielfältig: Computergenerierte Verdachtsanalysen und Verhaltensprofile könnten in Zukunft etwa als Grundlage für Durchsuchungsanordnungen herangezogen werden. Diese könnten aus massenhaft potenziellen Datenquellen generiert werden, wie Handystandorten, Überwachungskameras oder Chat-Nachrichten. Wer demnach häufig in einer Gegend verkehrt, die als Drogenumschlagsplatz bekannt ist, könnte von der KI als potenzieller Verdächtiger identifiziert werden. Sie könnte aber auch schlicht Ermittlungsakten durchforsten und hieraus Verdachtsmomente ableiten – könnte sie am Ende sogar ein Urteil fällen?
Die Debatte ist erstaunlich alt. Schon vor Jahrzehnten stellte man sich die Frage, ob eines Tages Maschinen Urteile schreiben würden. So fragte bereits 1979 der amerikanische Jura-Professor Anthony D'Amato in einem Artikel im Georgia Law Review: "Can/Should Computers Replace Judges?" Vielleicht hätte man damals sogar vermutet, dass dies im Jahr 2024 schon der Fall wäre. Doch während ein "Robo-Judge" immer noch entfernte Zukunftsmusik ist, greifen Polizeibehörden im Bereich der Ermittlungsarbeit heute schon auf KI zurück. Das BVerfG mag zwar den Einsatz der hochproblematischen Software Palantir untersagt haben. Doch auf dem Markt befindet sich mittlerweile eine unüberschaubare Vielzahl an Angeboten, die weit über das allgegenwärtige ChatGPT hinausgehen. Somit stellt sich die gar nicht mehr so hypothetische Frage, wo der Einsatz von KI zulässig sein und was unbedingt in menschlicher Hand bleiben sollte.
Die vielen Baustellen der KI…
Zum einen steht infrage, inwieweit Richterinnen und Richter noch unabhängig und eigenverantwortlich entscheiden können, wenn KI für sie die Beweismittel auswertet und daraus vielleicht sogar Schlussfolgerungen ableitet. Zumal KI auch Verzerrungen und Manipulationen unterliegen kann. Wird sie mit diskriminierenden Daten gefüttert, wirft sie diskriminierende Ergebnisse aus – nach dem Motto: garbage in, garbage out. So könnten Menschen schlicht aufgrund ihres Wohnorts in einem kriminalitätsgeprägten Viertel ins Visier der Ermittlungsbehörden gelangen.
Eine der seit jeher geäußerten Befürchtungen beim Einsatz von KI bezieht sich zudem auf ihre sogenannten Halluzinationen. Die Geschichte eines New Yorker Anwalts, der einen mithilfe von ChatGPT erstellten Schriftsatz einreichte und dann feststellen musste, dass die darin zitierten Urteile gar nicht existierten, dient dafür fast überall als Referenz. Grund hierfür ist: Wenn das Programm eine Antwort nicht kennt, erfindet es im Zweifel einfach eine. Der Schluss liegt nahe: Auf so etwas Unzuverlässiges dürfen keine strafrechtlichen Ermittlungen oder polizeilichen Eingriffe gegründet werden, geschweige denn ein Urteil.
Ein weiterer Einwand ist, dass die Fehler der Maschine praktisch in einer Art Blackbox passierten, also von außen gar nicht nachzuvollziehen seien. Daran arbeitet die Branche unter dem Stichwort "Explainable AI". Dahinter steht die Idee, der KI nicht nur beizubringen, wie sie Entscheidungen treffen soll, sondern auch, zu erklären, wie sie zu ihren Ergebnissen gelangt. Dies würde einen Ansatz liefern, die Erkenntnisse des Computers zu hinterfragen, Branchenkenner sehen die bislang existierenden Modelle aber noch nicht in dem Stadium, die maschinelle Entscheidung hinreichend transparent machen zu können.
Schließlich stellt sich bei im Ausland programmierter Software ein Datenschutzproblem: Wie stellt man sicher, dass eine Software wie bspw. Palantir, dessen gleichnamige Entwicklerfirma aus den USA eng mit der CIA zusammenarbeitete, nicht sensible Daten deutscher Staatsbürgerinnen und -bürger über den Atlantik schickt? Zumindest dieses Problem könnte man lösen, wenn deutsche Behörden ihre eigenen Programme entwickelten, doch da dreht man sich schnell im Kreis: Wenn in Deutschland aufgrund höherer Datenschutzstandards weniger Daten für das Training der KI zur Verfügung stehen, ist es schwer, ein ähnliches Level an Zuverlässigkeit zu erreichen. Denn um zu lernen und Fehler zu minimieren, brauchen die Systeme möglichst große Datenmengen.
…ähneln den Baustellen des Menschen
Abseits der Datenschutzthematik wirft die KI-Debatte aber eine spannende Grundfrage auf, die zunächst einmal gar nichts mit Computern zu tun hat: Wie gehen Juristinnen und Juristen, wie geht die Justiz überhaupt mit ihren eigenen Fehlern um? Die Furcht vor den Fehlern der KI ist sicher berechtigt, aber hat nicht auch ein Richter schon einmal einen Rechtsprechungsverweis blind zitiert, obwohl er bei näherem Nachlesen hätte erkennen können, dass der dort entschiedene Fall völlig anders gelagert war? Gewiss, erfinden dürften Justizbedienstete Urteile in aller Regel nicht, doch es bleibt die Erkenntnis: Menschen machen Fehler, KI auch.
Dass auch in Ermittlungsbehörden rassistische Vorurteile anzutreffen sind, dürfte für viele keine Neuigkeit sein. Auch hiermit muss eine Richterin im Strafverfahren umgehen, wenn es um die Glaubwürdigkeit eines Polizeizeugen geht. Ein Zeuge ist gewissermaßen auch eine Blackbox, denn warum er eine bestimmte Situation so und nicht anders wahrgenommen hat, entzieht sich regelmäßig der Kenntnis des Gerichts.
Mensch und Maschine haben nicht zufällig die gleichen Probleme: Das Phänomen erklärte auf dem Anwaltstag der KI-Forscher Thomas Clemen, Professor für Datenmanagement und Künstliche Intelligenz an der Hochschule für Angewandte Wissenschaften in Hamburg. Eine KI, so Clemen, lerne wie Menschen. Das heißt: Genauso, wie ein Kind dadurch ein Auto von einem Haus zu unterscheiden lernt, dass ihm konstant Informationen aus seiner Umwelt zufliegen, lernt auch die KI mit zunehmender Datengrundlage mehr über Menschen, die Welt, auch das Recht. Clemen warf damit die Frage auf, ob es überhaupt sinnvoll ist, zwischen künstlicher und menschlicher Intelligenz zu unterscheiden. Insofern zeigt die Diskussion um Fehler der KI auch grundsätzliche Fehlerquellen im Strafprozess auf.
Verteidiger lehnt KI im Strafverfahren nicht per se ab
Ob der Einsatz von KI diese Fehler intensiviert oder gar verringert, dürfte maßgeblich davon abhängen, wie und mit welcher Zielrichtung man sie nutzt. So könnte die Software Richterinnen und Richtern auch eine wertvolle Hilfe dabei sein, bestimmte Dinge im hektischen Alltag an den richtigen Stellen zu hinterfragen. Der Strafverteidiger Eren Basar, Partner in der Düsseldorfer Kanzlei Wessing & Partner, lehnt daher den Einsatz von KI im Strafverfahren nicht grundsätzlich ab. Man müsse sich zunächst einmal klar darüber werden, welche Anwendungsbereiche für die Nutzung der KI sinnvoll sein könnten, so Basar am Rande des DAT gegenüber beck-aktuell. So könne KI die Qualität von Strafverfahren auch aus Beschuldigtensicht deutlich verbessern. Er zeigte sich etwa offen dafür, die KI bei der Frage der Fluchtgefahr im Rahmen von Haftentscheidungen unterstützend einzusetzen. Das könne Haftentscheidungen auf eine tragfähigere Grundlage stellen.
Allerdings, betonte der Düsseldorfer Strafverteidiger, dürfe man die Wirklichkeit des Strafverfahrensrechts nicht aus den Augen verlieren. Die Justiz habe in den vergangenen Jahren eine "mentale Trägheit" erreicht, die dazu führen könnte, dass der Umgang mit der KI nur dazu genutzt werde, bereits bestehende Verdachtshypothesen zu verstärken. Die Debatte um das Gesetz zur Dokumentation der Hauptverhandlung zeige, wie unbeweglich die Justiz geworden sei. Basar kritisierte daher Vorschläge, die KI nutzen wollen, um Personalprobleme der Justiz zu bewältigen. KI im Strafprozess könne nur dann einen Mehrwert bieten, wenn sie unter menschlicher Aufsicht vorgenommen werde. Einen "KI-Staatsanwalt" oder eine "KI-Subsumtionsrichterin" dürfe es nicht geben.
Der Einsatz von KI in Polizeiarbeit und Strafverfolgung dürfte – wie in praktisch allen anderen Rechtsbereichen – ohnehin unumgänglich sein, denn technische Entwicklungen lassen sich erfahrungsgemäß nur begrenzte Zeit aufhalten. Es geht somit eher um den Umgang mit ihr und das richtige Verständnis der neuen Technik. "KI ist kein Tool, sondern ein virtuelles Gegenüber von uns selbst" erklärte KI-Forscher Clemen. Dies zu verinnerlichen, wird für Polizei und Justiz sehr wichtig sein, aber auch für die Gesellschaft als Ganzes.
Marie Herberger, Professorin u.a. für Bürgerliches Recht, Recht der Digitalisierung und Legal Tech an der Universität Bielefeld, schloss ihren Festvortrag zur Eröffnung des DAT mit einem Zitat von Konrad Zuse, dem Erfinder des ersten universellen Computers der Welt: "Die Gefahr, dass der Computer so wird wie der Mensch, ist nicht so groß, wie die Gefahr, dass der Mensch wird wie der Computer." Vielleicht ist die größte Gefahr, dass der Mensch nicht erkennt, wie ähnlich ihm der Computer ist.
