Konkret ging es um Urteile von zwei US-Bundesbezirksrichtern, Henry Wingate und Julien Neals. Die KI-Halluzinationen kamen auf eine Rüge der Verfahrensparteien ans Licht – die Fehler waren laut Heise wohl offensichtlich. Beide Richter nahmen die Rüge zum Anlass, das von ihnen ausgefertigte Urteil zu berichtigen. Es gehe ihnen darum, einer Verwendung der fehlerhaften Urteile als Präzedenzfälle vorzubeugen.

Eine darüber hinausgehende Verantwortung wollten Wingate und Neals nicht übernehmen. Wingate habe den Fehler auf einen juristischen Mitarbeiter geschoben, Neals auf einen Jurastudenten, der als Praktikant im Gericht arbeitete, so Heise. Nicht erklärt hätten sie aber, warum die Urteilsentwürfe – anders als normalerweise üblich – nicht überprüft worden seien.

Bei beiden Gerichten gab es wohl keine schriftlichen Vorgaben zum Einsatz generativer KI. Zwar gebe es vorläufige Richtlinien für alle US-Bundesgerichte, so Heise, allerdings würden diese nur zu Vorsicht oder besonderer Vorsicht raten, letzteres, wenn es um neue Rechtsfragen gehe. Auch müsse die Benutzung von KI nicht offengelegt werden, ein Nachdenken darüber werde aber empfohlen.

Eine Studie der Stand­ford Uni­ver­si­ty von Mai 2024 hatte ergeben, dass juristische KI-Tools noch zu unzuverlässig sind, um wirklich mit ihnen arbeiten zu können. Vor allem in Schriftsätzen von Anwältinnen und Anwälten sind immer wieder Erfindungen der KI aufgetaucht - nicht nur in den USA, sondern etwa auch vor dem AG Köln.