Plaudertasche 2.0 – nur mit Datenschutz

KIR 2026, 277   Jeder kennt sie aus Verwandtschaft, Büro oder Freizeit: die Plaudertasche. Ein unbedacht gesetztes Stichwort genügt – und der Schieber am oberen Ende der Kaskade ist aufgedreht. Dann plätschert der Redefluss munter von einer Stufe auf die nächste hinunter, es fließt und hört gar nicht mehr auf. Da geht es um alles, um jede und jeden. Datenschutz? Ja, mei … Es war nur eine Frage der Zeit, dass die Plaudertasche in die digitale Welt findet. Jetzt gibt es sie auch ohne Verwandtschaft, Kollegen oder Bekannte: rein virtuell.

Seit Entwicklung der großen Sprachmodelle (Large Language Models – LLMs) ist eine Kommunikation von Menschen mit Maschinen in natürlicher Sprache unkompliziert möglich. Während Menschen dabei auf der Grundlage von Sprach(lern)kompetenzen kommunizieren, arbeiten LLMs zumeist mithilfe einer Transformer-Architektur der neuronalen Netze. Diese versetzt die zugrunde liegenden generativen Deep Learning-Modelle in die Lage, aufgrund probabilistischer Algorithmen (unstrukturierte) menschliche Sprache zu „verstehen“ und zumeist überzeugend zu generieren (natürliche Sprachverarbeitung, Natural Language Processing); die Kommunikation mit den (menschlichen) Nutzenden findet dabei regelmäßig über Schnittstellen mittels Arbeitsaufforderungen (Prompts) statt, die das LLM aufgrund von Wahrscheinlichkeiten „beantwortet“ (Ausgaben) (KI-System iSd Art. 3 Nr. 1 iVm Erwägungsgrund 97 S. 6-8 KI-VO). Dieses umfassende Verständnis der Struktur von Sprache sowie der Interaktion mittels Sprache erfordert ein Training mit sehr großen (kuratierten) Textmengen jeglichen Inhalts, welche regelmäßig personenbezogene Daten enthalten, und befähigt LLMs für vielfältige sprachliche Aufgaben im Zusammenhang mit der Verarbeitung, Analyse und Generierung von Texten.

Eine wichtige Fähigkeit dieser Modelle ist die Imitation von „Unterhaltungen“ (Chats) mit menschlichen Nutzenden. Bei der Einbindung in Chatbots können LLMs in natürlicher Sprache zB Anfragen beantworten, Dokumente durchsuchen und – im Gegensatz zu einfachen, regelbasierten Bots – mit den Nutzenden interagierend kommunizieren. LLM-gestützte Chatbots können damit für verschiedene Zwecke sowohl der internen als auch der externen Kommunikation eingesetzt werden. Datenschutzrechtliche Herausforderungen stellen sich bei LLM-gestützten Chatbots dabei nicht weniger als bei menschlichen Plaudertaschen. Nur sind erstere leichter regulierbar als letztere.

Die Datenschutzaufsichtsbehörden sind mit Datenverarbeitungen im Kontext der KI und speziell mit LLM-gestützten Chatbots bereits seit längerem befasst. Der Bayerische Landesbeauftragte für den Datenschutz hat der KI-Regulierung durch Datenschutzrecht eine umfassende Orientierungshilfe „Datenschutz bei KI-Projekten in der bayerischen Verwaltung“ gewidmet, die im Frühjahr 2026 erschienen ist. Seitdem gruppiert sich um diese Orientierungshilfe ein wachsender Kranz von kleineren Papieren zu konkreten Anwendungsszenarien (Reihentitel: „AI in a nutshell“), welche die Orientierungshilfe in komprimierter Übersichtsform themenbezogen erschließen und handlungsleitend weiterdenken.

So thematisiert AI in a nutshell 3 mit Fokus auf den „Einsatz eines LLM-gestützten Chatbots“ zunächst Fragen, die für sämtliche KI-Systeme relevant sind, wie etwa

• den Personenbezug des eingebundenen KI-Modells und die daraus resultierenden Pflichten für den Verantwortlichen unter Berücksichtigung der Stellungnahme 28/2024 des EDSA;

• die Ausgestaltung der „Betriebsmittelumgebung“, zB als offenes oder abgeschottetes KI-System, eine Nutzung mittels Cloud oder eine Anbindung weiterer Datenquellen (speziell zu Retrieval Augmented Generation bereits AI in a nutshell 1 „Anbindung eines RAG-Subsystems an ein KI-System mit Sprachmodell“);

• die Identifikation der relevanten (Weiter-)Verarbeitungsvorgänge von personenbezogenen Daten und der diesbezüglichen datenschutzrechtlichen Verantwortlichkeiten;

• die Rechtmäßigkeitsanforderungen, insbesondere mit dem Erfordernis einer Rechtsgrundlage, sowie

• die Gewährleistung der Transparenzpflichten und der Betroffenenrechte.

Diese Aspekte sind maßgeblich für den grundsätzlichen Umfang bzw. die Beschränkung der „Sprachfähigkeiten“ eines LLM. Die Produktbeschreibung des jeweiligen Systems sollte entsprechende Informationen enthalten; bei einer Beschaffung (Stichwort: Vergabeverfahren) sollte frühzeitig an entsprechende Vorgaben (etwa in einer Leistungsbeschreibung) gedacht werden.

Im Anschluss befasst sich das Papier mit spezifischen Fragestellungen betreffend die Implementierung und konkrete Nutzung eines LLM-gestützten Chatbots. Diesbezüglich sollte aus Datenschutzsicht vor allem sichergestellt werden, dass die Erweiterung der „Sprachfähigkeit“ des LLM durch Zugriff auf nutzungsspezifische personenbezogene Daten je nach Einsatzumgebung konfiguriert bzw. ausgeschlossen wird und die „Arbeitsergebnisse“ des Chatbots datenschutzkonform sind.

AI in a nutshell 3 hebt insoweit die Fragen des Ob und Wie der Verarbeitung personenbezogener Daten bei der Nutzung von LLM-gestützten Chatbots, die Historie und das Nachtraining als zentrale Punkte hervor. Über diese für die Verwaltungspraxis besonders relevanten Aspekte hinaus sind einzelfallspezifisch weitere Maßnahmen denkbar: So können etwa datenschutzfreundliche Systemprompts mit übergeordneten Vorgaben zum Beispiel auf die vielen LLMs antrainierte „Beflissenheit“ einwirken, jede Eingabe als Aufforderung für eine Antwort zu verstehen, die zudem „hilfreich“ und „angenehm“ sein soll – auch weil LLMs zu diesem Zweck mitunter selbst Inhalte generieren, die frei erfunden oder sachlich falsch sein können (Halluzinationen). LLMs können auch angewiesen werden, sich auf die Beantwortung von Anfragen zu beschränken, ohne diese zu bewerten, nachzufragen (und dadurch ggf. weitere Daten zu generieren) oder zu „belehren“.

Denn die „Sprachfähigkeit“ von LLM-gestützten Chatbots kann gerade im Zusammenhang mit den Ausgaben zu (weiteren) datenschutzrechtlichen Problemen führen – sowohl gegenüber internen als auch gegenüber externen Nutzenden: Enthalten diese Ausgaben personenbezogene Daten, ist nicht nur eine Rechtsgrundlage für die damit verbundene Verarbeitung erforderlich, sondern mit Blick auf Art. 5 Abs. 1 lit. a und d DS-GVO auch Diskriminierungsfreiheit, Richtigkeit und Vollständigkeit. Mit der Einhaltung dieser Anforderungen kann Datenschutzrisiken insbesondere aufgrund der (unter Umständen Bias-behafteten) Beschaffenheit von Trainingsdatensätzen, des Antwort- und Service-orientierten Trainings von LLMs sowie von Halluzinationen begegnet werden. Zudem schaffen die Vorgaben im besten Fall eine Sensibilität dafür, dass die Fähigkeit von LLMs zu inhaltlich und im Ton an die Eingaben angepassten, „sprachkundig“ formulierten und damit auch überzeugend erscheinenden Ausgaben den Nutzenden womöglich leicht vergessen lassen, dass er keine „Konversation“ mit einem menschlichen Gegenüber führt, sondern sich auf Grundlage der Algorithmen einer Maschine quasi mit einer Doppelung seiner selbst unterhält. Präsentiert sich dieses sympathische Gegenüber noch als allwissend und geduldig, werden dessen Äußerungen schnell ungeprüft übernommen, zumal, wenn die Mitteilsamkeit des Gegenübers keine Grenzen zu kennen scheint.

Datenschutzrecht kann bei der Plaudertasche 2.0 also etwas leisten, was bei Verwandtschaft, Kollegen oder Bekannten eher illusorisch ist: eine Steuerung des Redeflusses, jedenfalls, soweit darin personenbezogene Daten mitschwimmen. Wenn das kein Grund ist, eine konsequente Umsetzung der entsprechenden Vorgaben anzustreben?