KI-Ergebnisse nicht geprüft: "Robo-Lawyer"-Anbieter muss Strafe zahlen

Das US-Legal-Tech-Unternehmen DoNotPay will Verbrauchern dabei helfen, ihre Rechtsansprüche geltend zu machen – mithilfe von KI. Nun hat die Kartellbehörde beanstandet, dass die KI-Ergebnisse nicht durch Menschen geprüft werden, die Firma muss 193.000 Dollar Strafe zahlen.

Ob rechtswidriger Strafzettel, Kündigung ungewollter Abos oder sogar Sorgerechtsstreitigkeiten, der Legal-Tech-Anbieter DoNotPay unterstützt nach eigenen Angaben Verbraucherinnen und Verbraucher dabei, rechtliche Ansprüche geltend zu machen. Dazu hat das Unternehmen eine Software entwickelt, den sogenannten KI-Anwalt, der Dokumente prüft, per Chatbot rechtliche Ratschläge gibt und sogar Verträge erstellt. DoNotPay machte seinen Kunden gegenüber sogar das Versprechen, der "KI-Anwalt" könne menschlichen Rechtsrat komplett ersetzen.

Das Problem: Die Antworten des "KI-Anwalts" lässt das Unternehmen nach Ermittlungen der Kartellbehörde Federal Trade Commission (FTC) nicht noch einmal gesondert durch rechtskundige Menschen überprüfen. Es habe zudem keinerlei Tests oder Erhebungen angestrengt, um die Wertigkeit der KI-Ergebnisse zu verifizieren – und seine Versprechungen gegenüber Kundinnen und Kunden zu belegen. Nun muss das Unternehmen knapp 200.000 US-Dollar Strafe zahlen und sein Angebot einschränken.

DoNotPay muss Kunden warnen

Im September 2024 hatte die FTC in einer Pressemitteilung angekündigt, gegen die unlautere Nutzung von KI vorzugehen. Im Visier der Behörde war – neben anderen Anbietern – auch DoNotPay. Die FTC erhob den Vorwurf, das Legal-Tech-Unternehmen verlasse sich einzig auf die KI, ohne die Richtigkeit oder Qualität der Ergebnisse zu kontrollieren. Dadurch bestünde das Risiko, dass Verbraucher getäuscht oder irregeführt würden. Außerdem würden "ehrliche" Unternehmen benachteiligt.

"Die Durchsetzungsmaßnahmen der FTC machen deutlich, dass es keine Ausnahme für KI von den geltenden Gesetzen gibt", sagte die FTC-Vorsitzende Lina Khan in der Mitteilung der Kartellbehörde. "Indem sie gegen unfaire oder betrügerische Praktiken auf diesen Märkten vorgeht, stellt die FTC sicher, dass ehrliche Unternehmen und Innovatoren eine faire Chance haben und die Verbraucher geschützt werden."

Nun hat das Unternehmen einer Strafzahlung zugestimmt und wurde darüber hinaus dazu verdonnert, sein Angebot einzuschränken. Nach einer zweiten Pressemitteilung der FTC ist es DoNotPay künftig nicht mehr gestattet, nicht-verifizierte Aussagen gegenüber Kunden zu tätigen. Zudem soll das Unternehmen alle Kundinnen und Kunden darauf hinweisen, dass das Angebot eingeschränkt werde, wie u.a. das Portal t3n berichtet.

"Robo-Lawyer" sollte auch vor Gericht vertreten

Erst 2023 hatte DoNotPay sogar noch weiter gehen wollen. Statt Rechtssuchende nur am heimischen PC bei ihren Rechtsfragen zu beraten, sollte der "KI-Anwalt" auch vor Gericht auftreten. Dass hatte der CEO von DoNotPay, Joshua Browder, auf X angekündigt: "Am 22. Februar um 13.30 Uhr wird Geschichte geschrieben. Zum ersten Mal überhaupt wird ein Roboter jemanden in einem US-Gerichtssaal vertreten. DoNotPay A.I. wird jemandem genau ins Ohr flüstern, was er sagen soll. Wir werden die Ergebnisse veröffentlichen und mehr darüber berichten, wenn es so weit ist. Wünscht uns Glück!"

Bei dem Fall, den das Unternehmen auserkoren hatte, ging es um einen angefochtenen Strafzettel. Die Idee: Mithilfe eines Smartphones sollte die Software "mithören", was im Gericht gesagt wurde, und dem Nutzer schlaue Antworten über einen Kopfhörer vorschlagen.

Daraus wurde allerdings nichts. Kurz vor der Verhandlung vereitelte der vehemente Protest der lokalen Rechtsanwaltskammer das Vorhaben. Browder selbst schrieb auf X zudem, "Staatsanwälte" hätten ihm mit einer sechsmonatigen Gefängnisstrafe gedroht, sollte er den "KI-Anwalt" auf Gerichte loslassen.

Redaktion beck-aktuell, dd, 2. Oktober 2024.