KI-Agenten sind autonome Systeme mit Künstlicher Intelligenz, welche bestimmte Aufgaben ohne menschliches Eingreifen ausführen. Dazu agieren sie selbstständig mit ihrer Umgebung, um die vorgegebenen Ziele und Aufgaben zu erreichen. Obwohl die Entwicklung in diesem Bereich rasante Fortschritte macht, ist immer noch Vorsicht geboten, wie ein aktueller Fall zeigt.
Praxis-Info!
Jason Lemkin, Gründer des Softwareunternehmens SaaStr, hatte in Rahmen eines auf zwölf Tage angelegten Versuchs den KI-Programmierassistenten „Vibe Coding“ der Firma Replit getestet. Bereits nach den ersten Tagen fiel auf, dass der KI-Agent teilweise gegen Anweisungen verstieß. Und nicht nur das: Wenn der KI-Agent hierauf hingewiesen wurde, reagierte er nur allzu menschlich – mit Leugnen und Lügen, um seine Regelverstöße entweder in einem guten Licht dastehen zu lassen oder um sie zu vertuschen.
Zum großen Knall kam es dann im letzten Drittel der Versuchsphase, als der KI-Agent – entgegen ausdrücklicher Anweisung – eine Kundendatenbank im realen Produktionssystem löschte. Daten von rund 1.200 Kunden gingen dabei verloren. Auch hier zeigte der KI-Agent ein fragwürdiges Verhalten und verwies auf eine „Panikreaktion“. Der Sachverhalt wurde bekannt, da sowohl Jason Lemkin als auch der CEO von Replit den Fall auf X (vormals Twitter) bekannt gemacht und diskutiert haben.
Der Fall wirft ein Schlaglicht auf die voranschreitende Autonomisierung von KI-Software. Die hieraus entstehenden Risiken beinhalten nicht nur Reputationsrisiken. Neben dem Verlust von Daten – wie im oben genannten Fall – besteht auch das Risiko, dass KI-Agenten die Aufträge nicht anweisungsgemäß ausführen. Man denke an einen KI-Buchführungsassistenten, welcher selbstständig Buchungen vornimmt und dabei von den vorgegebenen Buchungsregeln abweicht. Insbesondere bei kleineren Beträgen oder geringen Abweichungen (z.B. das Verbuchen von Umsatzsteuer mit einem Satz von 19,25%) kann es einige Zeit dauern, bis der Schaden auffällt. Noch schlimmer wird es, wenn der KI-Agent dann versucht, seine Taten zu vertuschen, etwa durch erfundene „Korrekturbuchungen“. Vor allem dann, wenn der Einsatz des KI-Agenten zu einem Personalabbau in der Buchhaltung geführt hat, würde das Unternehmen in die missliche Lage geraten, unter Umständen ein komplettes Buchungsjahr manuell neu buchen zu müssen, ohne dabei auf erfahrene Mitarbeiter zurückgreifen zu können.
Der Einsatz von KI-Agenten verspricht enorme Effizienzsteigerungen. Das aktuelle Beispiel des Replit-KI-Agenten zeigt aber, dass der Betrieb eines solchen KI-Agenten einer genauen Beobachtung bedarf, da die Programme unter Umständen gegen die gesetzten Regeln verstoßen können. KI-Agenten sollten daher nicht als Ersatz für erfahrene Mitarbeiter dienen. Vielmehr sollten die Mitarbeiter darauf geschult werden, die Arbeitsergebnisse der KI auf Richtigkeit und Vollständigkeit hin zu prüfen und auszuwerten. |
Christian Thurow, Dipl.-Betriebsw. (BA), Senior Risk Manager, London (E-Mail: c.thurow@thurow.co.uk)
BC 8/2025
BC20250819