KI-Er­geb­nis­se nicht ge­prüft: "Robo-La­wy­er"-An­bie­ter muss Stra­fe zah­len

Das US-Legal-Tech-Un­ter­neh­men Do­NotPay will Ver­brau­chern dabei hel­fen, ihre Rechts­an­sprü­che gel­tend zu ma­chen – mit­hil­fe von KI. Nun hat die Kar­tell­be­hör­de be­an­stan­det, dass die KI-Er­geb­nis­se nicht durch Men­schen ge­prüft wer­den, die Firma muss 193.000 Dol­lar Stra­fe zah­len.

Ob rechts­wid­ri­ger Straf­zet­tel, Kün­di­gung un­ge­woll­ter Abos oder sogar Sor­ge­rechts­strei­tig­kei­ten, der Legal-Tech-An­bie­ter Do­NotPay un­ter­stützt nach ei­ge­nen An­ga­ben Ver­brau­che­rin­nen und Ver­brau­cher dabei, recht­li­che An­sprü­che gel­tend zu ma­chen. Dazu hat das Un­ter­neh­men eine Soft­ware ent­wi­ckelt, den so­ge­nann­ten KI-An­walt, der Do­ku­men­te prüft, per Chat­bot recht­li­che Rat­schlä­ge gibt und sogar Ver­trä­ge er­stellt. Do­NotPay mach­te sei­nen Kun­den ge­gen­über sogar das Ver­spre­chen, der "KI-An­walt" könne mensch­li­chen Rechts­rat kom­plett er­set­zen.

Das Pro­blem: Die Ant­wor­ten des "KI-An­walts" lässt das Un­ter­neh­men nach Er­mitt­lun­gen der Kar­tell­be­hör­de Fe­de­ral Trade Com­mis­si­on (FTC) nicht noch ein­mal ge­son­dert durch rechts­kun­di­ge Men­schen über­prü­fen. Es habe zudem kei­ner­lei Tests oder Er­he­bun­gen an­ge­strengt, um die Wer­tig­keit der KI-Er­geb­nis­se zu ve­ri­fi­zie­ren – und seine Ver­spre­chun­gen ge­gen­über Kun­din­nen und Kun­den zu be­le­gen. Nun muss das Un­ter­neh­men knapp 200.000 US-Dol­lar Stra­fe zah­len und sein An­ge­bot ein­schrän­ken.

Do­NotPay muss Kun­den war­nen

Im Sep­tem­ber 2024 hatte die FTC in einer Pres­se­mit­tei­lung an­ge­kün­digt, gegen die un­lau­te­re Nut­zung von KI vor­zu­ge­hen. Im Vi­sier der Be­hör­de war – neben an­de­ren An­bie­tern – auch Do­NotPay. Die FTC erhob den Vor­wurf, das Legal-Tech-Un­ter­neh­men ver­las­se sich ein­zig auf die KI, ohne die Rich­tig­keit oder Qua­li­tät der Er­geb­nis­se zu kon­trol­lie­ren. Da­durch be­stün­de das Ri­si­ko, dass Ver­brau­cher ge­täuscht oder ir­re­ge­führt wür­den. Au­ßer­dem wür­den "ehr­li­che" Un­ter­neh­men be­nach­tei­ligt.

"Die Durch­set­zungs­maß­nah­men der FTC ma­chen deut­lich, dass es keine Aus­nah­me für KI von den gel­ten­den Ge­set­zen gibt", sagte die FTC-Vor­sit­zen­de Lina Khan in der Mit­tei­lung der Kar­tell­be­hör­de. "Indem sie gegen un­fai­re oder be­trü­ge­ri­sche Prak­ti­ken auf die­sen Märk­ten vor­geht, stellt die FTC si­cher, dass ehr­li­che Un­ter­neh­men und In­no­va­to­ren eine faire Chan­ce haben und die Ver­brau­cher ge­schützt wer­den."

Nun hat das Un­ter­neh­men einer Straf­zah­lung zu­ge­stimmt und wurde dar­über hin­aus dazu ver­don­nert, sein An­ge­bot ein­zu­schrän­ken. Nach einer zwei­ten Pres­se­mit­tei­lung der FTC ist es Do­NotPay künf­tig nicht mehr ge­stat­tet, nicht-ve­ri­fi­zier­te Aus­sa­gen ge­gen­über Kun­den zu tä­ti­gen. Zudem soll das Un­ter­neh­men alle Kun­din­nen und Kun­den dar­auf hin­wei­sen, dass das An­ge­bot ein­ge­schränkt werde, wie u.a. das Por­tal t3n be­rich­tet.

"Robo-La­wy­er" soll­te auch vor Ge­richt ver­tre­ten

Erst 2023 hatte Do­NotPay sogar noch wei­ter gehen wol­len. Statt Rechts­su­chen­de nur am hei­mi­schen PC bei ihren Rechts­fra­gen zu be­ra­ten, soll­te der "KI-An­walt" auch vor Ge­richt auf­tre­ten. Dass hatte der CEO von Do­NotPay, Jo­shua Brow­der, auf X an­ge­kün­digt: "Am 22. Fe­bru­ar um 13.30 Uhr wird Ge­schich­te ge­schrie­ben. Zum ers­ten Mal über­haupt wird ein Ro­bo­ter je­man­den in einem US-Ge­richts­saal ver­tre­ten. Do­NotPay A.I. wird je­man­dem genau ins Ohr flüs­tern, was er sagen soll. Wir wer­den die Er­geb­nis­se ver­öf­fent­li­chen und mehr dar­über be­rich­ten, wenn es so weit ist. Wünscht uns Glück!"

Bei dem Fall, den das Un­ter­neh­men aus­er­ko­ren hatte, ging es um einen an­ge­foch­te­nen Straf­zet­tel. Die Idee: Mit­hil­fe eines Smart­pho­nes soll­te die Soft­ware "mit­hö­ren", was im Ge­richt ge­sagt wurde, und dem Nut­zer schlaue Ant­wor­ten über einen Kopf­hö­rer vor­schla­gen.

Dar­aus wurde al­ler­dings nichts. Kurz vor der Ver­hand­lung ver­ei­tel­te der ve­he­men­te Pro­test der lo­ka­len Rechts­an­walts­kam­mer das Vor­ha­ben. Brow­der selbst schrieb auf X zudem, "Staats­an­wäl­te" hät­ten ihm mit einer sechs­mo­na­ti­gen Ge­fäng­nis­stra­fe ge­droht, soll­te er den "KI-An­walt" auf Ge­rich­te los­las­sen.

Redaktion beck-aktuell, dd, 2. Oktober 2024.

Mehr zum Thema