Die Verlockung, KI einzusetzen, ist groß. Zugleich ist vielen Anwendern noch nicht bewusst, dass die Halluzination – also das komplette Ausdenken von Quellen durch die KI – noch ein technisch nicht abstellbares Problem ist. Die Fundstellen wirken echt und finden sich meist in einer Reihe korrekter Quellenangaben. So ist zunächst kaum erkennbar, dass es sich nur um eine auf statistischen Berechnungen beruhende Zeichenfolge handelt. Anders als in den USA wurden solche Fälle hierzulande bis vor Kurzem nicht öffentlich. Man hört aber aus den Gerichten, dass sie solche Halluzinationen in Schriftsätzen entdecken und von der Partei Klarstellung verlangen. Die Dunkelziffer ist vermutlich hoch, denn Richterinnen und Richter prüfen nicht jedes Zitat, gerade bei Standardausführungen.

Eine Entscheidung des AG Köln (Beschl. v. 2.7.​2025 – 312 F 130/25, BeckRS 2025, 15539) hat jetzt deutlich gemacht, welche Konsequenzen drohen, wenn Anwältinnen oder Anwälte blind der KI vertrauen. Dem betroffenen Kollegen wurden in dem Beschluss mehrere Fundstellen zum Vorwurf gemacht, die entweder völlig falsch oder schlicht erfunden waren. Beispielsweise wurde ein Autor dem falschen Kommentar zugeordnet, eine zitierte Monografie existierte nicht, und eine vermeintlich familienrechtliche Fundstelle behandelte tatsächlich eine grundbuchrechtliche Frage.

Die Häme ist groß. Wegen dieses Falls Künstliche Intelligenz zu verteufeln, geht aber an der Sache vorbei. Denn „KI halluziniert“ beschreibt nicht nur ein technisches Problem, sondern offenbart ein Delegationsdefizit. Wer Fundstellen und Ergebnisse ungeprüft übernimmt, wird seiner anwaltlichen Verantwortung nicht gerecht. Ein Schriftsatz bleibt ein Dokument, für dessen inhaltliche Richtigkeit und juristische Substanz Anwältinnen und Anwälte persönlich einstehen müssen. Da gilt bei der Nutzung einer Maschine nichts anderes als bei menschlicher Zuarbeit. Das sollte eigentlich eine Selbstverständlichkeit sein, bei KI fehlen aber offensichtlich noch die Erfahrung und/oder das technische Verständnis.

Halluzinationen wie im Kölner Fall werden seltener, wenn KI-Tools mit juristischen Datenbanken verknüpft werden. Die zitierten Fundstellen werden dann existieren. Aber ob drei Randnummern weiter ein Argument folgt, das die eigene Prozessstrategie zunichtemacht, ob die Quelle taktisch sinnvoll eingesetzt wird oder eher schadet, kann auch künftig keine KI entscheiden. Diese Verantwortung verbleibt bei uns. Und das ist doch vor dem Hintergrund, dass schon eine vollständige Ablösung der Anwaltschaft durch KI prognostiziert wird, ein positiver Befund.

Dieser Inhalt ist zuerst in der NJW erschienen. Sie möchten die NJW kostenlos testen? Jetzt vier Wochen gratis testen inkl. Online-Modul NJWDirekt.