Laura Braam zeigt auf einen der Monitore: "Die Farben der Hakenkreuzflagge", sagt sie, fast nebenbei. In der geöffneten Eingabemaske ist ein Emoji zu sehen: drei Herzen, schwarz, weiß und rot. "Absolut unzulässig", steht daneben. Was niedlich aussieht, ist ein rechtsextremistischer Code und begründet einen Anfangsverdacht für den Straftatbestand der Volksverhetzung. Und die Software KIVI, die die Landesanstalt für Medien Nordrhein-Westfalen (LFM NRW) seit mittlerweile vier Jahren einsetzt, um Hass und Hetze zu finden, erkennt das.
Die KI-basierte Software hat auch zahlreiche Meldungen mit arabischen Schriftzeichen als unzulässig identifiziert. "KIVI kann jetzt auch Arabisch und Englisch", erklärt Braam. Das Team Aufsicht, ein Teil der von ihr geleiteten Abteilung Recht, werde bald um einen Islamwissenschaftler verstärkt. Er soll die Juristinnen und Juristen, die die Meldungen der Software überprüfen und bewerten, bei der Entscheidung unterstützen, ob die Posts gegen geltendes Recht verstoßen. Hält sie Äußerungen für strafbar, schaltet die Landesmedienanstalt, bevor sie eigene, aufsichtsrechtliche Maßnahmen ergreift, das Bundeskriminalamt (BKA) ein.
Von Germany‘s next Topmodel zur Volksverhetzung im Netz
Aufgabe der 14 deutschen Landesmedienanstalten ist eigentlich die Überwachung privater Rundfunkanbieter und Telemedien. Als Direktor Tobias Schmid im Jahr 2017 die Leitung der Regulierungsbehörde für das bevölkerungsreichste Bundesland in dem hellen Glasgebäude in Düsseldorf übernahm, ging es noch viel um lineares Fernsehen. Gern hätten Menschen damals Regelverstöße bei Sendungen wie Germany’s Next Topmodel moniert, sagt er – "und Impressumsverstöße im Internet". Echter Regulierung im Netz habe die Behörde sich dann zunächst über die Werbung genähert, vor allem über die von Influencern in den sozialen Medien. Danach begann das Team, sich auch mit der Bekämpfung von Hassrede im Internet zu beschäftigen.
Sie stützt das auf den Schutz der Jugend vor schädlichen Inhalten, der seit jeher zu den Aufgaben der Landesmedienanstalten gehört. Was die LFM verfolgt, ergibt sich aus dem Jugendmedienschutz-Staatsvertrag, vor allem dessen § 4. Die Norm deckt sich inhaltlich weitgehend mit Tatbeständen aus dem StGB, fast wortgleich definiert sie die Strafbarkeit der Volksverhetzung (§ 130 StGB), des Verwendens verfassungswidriger Kennzeichen (§ 86a StGB) oder von Verbreitung, Erwerb und Besitz kinderpornographischer Inhalte (§ 184b StGB). Die Aufgabe der Landesmedienanstalten: Diese Inhalte müssen aus dem Netz verschwinden.
Verfolgen statt nur löschen
Obwohl es der LFM NRW primär darum geht, Inhalte durch die Plattformen löschen zu lassen, tragen die Beschäftigten schon seit Jahren auch dazu bei, dass diejenigen strafrechtlich verfolgt werden, die die Inhalte ins Netz stellen. "Verfolgen statt nur löschen" nennt das Team um Direktor Schmid das.
Dabei dürfen die medienrechtlichen Maßnahmen nicht ihrerseits eine effiziente Strafverfolgung verhindern, erklärt Braam. Wenn sie neben einem medienrechtlichen Verstoß auch einen strafrechtlichen identifizieren, wie zum Beispiel eine Volksverhetzung, bereiten die Juristinnen und Juristen gleichzeitig eine Meldung vor und schicken dieses Ergebnis an die Zentrale Meldestelle für strafbare Inhalte im Internet im BKA (ZMI BKA). Die ermittelt den mutmaßlichen Verfasser und übergibt die Angelegenheit an die zuständigen Strafverfolgungsbehörden in den Bundesländern. Etwa nach zwei Wochen schickt das BKA eine sogenannte Löschanregung an die Landesmedienanstalt, in deren Zuständigkeit der verbotene Inhalt fällt. So haben die örtlich zuständigen Strafverfolger 14 Tage Zeit, um ihre Beweise zu sichern, bevor die LFM ihrerseits selbstständig prüft, ob ebendiese Beweise nun aus dem Netz gelöscht werden müssen.
Das Düsseldorfer Team übernimmt dann die Kommunikation mit den Anbietern der sozialen Netzwerke. Diese gingen mit Löschungsaufforderungen unterschiedlich um, konstatiert Abteilungsleiterin Braam: Bei Telegram und dem russischen Netzwerk vk sei es etwas schwieriger. Bei den anderen großen Plattformen funktioniere Löschung aber mittlerweile relativ gut, die Netzwerke von TikTok bis Instagram reagierten und löschten in der Regel schnell.
Schnellere Zusammenarbeit, weniger Belastung mit KI
Mittlerweise arbeiten sämtliche deutsche Landesmedienanstalten so mit dem BKA zusammen. Die Ermittlerinnen und Ermittler dort finden idealerweise nicht nur heraus, wer hinter den Inhalten steckt, sondern auch, wo der- oder diejenige sitzt. Danach richtet sich auch die Zuständigkeit der 14 Medienanstalten. Stellt sich nachträglich heraus, dass ein Inhalt aus NRW stammt, der zunächst einem anderen Bundesland zugeordnet war, wird er nach NRW umgeschlüsselt. Eine doppelte Bearbeitung ist ebenso ausgeschlossen wie, dass eine von KIVI identifizierte Meldung verlorengeht.
Diese stringenten Prozesse verdanke man nicht zuletzt auch KIVI, betont Schmid. Der Direktor hat das KI-Tool für die Düsseldorfer Landesmedienanstalt im Jahr 2021 vom Berliner Unternehmen Condat entwickeln lassen. Ab 2022 wurde es in alle anderen Bundesländer exportiert und wird seitdem dort eingesetzt. Wo menschliche Angestellte zuvor händisch zwischen ca. 50 bis 100 Meldungen pro Tag geprüft hätten, könne das auf Künstlicher Intelligenz basierende Tool nun mehr als 10.000 Seiten pro Tag durchsuchen, schildert Braam.
Die KI schützt auch die Mitarbeitenden, die bei ihrer Arbeit mit pornografischen oder Gewaltdarstellungen konfrontiert würden. Die Software sortiert dazu die Rubriken vor. "Anders als früher, als Kollegen einfach frei im Netz suchten, weiß man nun vorher, dass etwas auf einen zukommt, und hat zudem eine ungefähre Vorstellung davon, worum es geht. So kann man sich wappnen", sagt eine Jurastudentin, die – wie alle anderen Mitarbeitenden in der Abteilung Monitoring – zu ihrem Schutz nicht namentlich genannt werden soll. Sie arbeitet in einem Recherche-Team, das die Meldungen von KIVI zuerst auswertet. Außerdem enthält die Software eine Unschärfefunktion: Ein Schieberegler macht es möglich, den klassifizierten Inhalt erst langsam sichtbar zu machen. So kann, wer damit arbeitet, sich ein paar weitere Momente lang darauf einstellen, was einen erwarten kann.
"Die KI braucht kein Erfolgserlebnis vor dem Feierabend"
Das Team, dem Clara angehört, sieht die von der KI gefundenen Inhalte durch, ordnet und kontextualisiert sie in einer vom System automatisiert angelegten Grundstruktur. Diese Bewertung wird danach noch einmal von Volljuristinnen und -juristen geprüft: Ist, was die Software und die jungen Kolleginnen und Kollegen als unzulässig bewertet haben, wirklich ein Rechtsverstoß? Oder gibt es einen Kontext, der einen eigentlich unzulässigen Post doch wieder als zulässig erscheinen lässt – Satire vielleicht, die Kunst- oder die Pressefreiheit?
Es gibt schwierige Abgrenzungsfälle, aber auch "schon ein Hakenkreuz, das hierzulande verboten ist, ist in nordischen Ländern zulässig", gibt Braam zu bedenken. Für die KI ändert das nichts: KIVI lerne trotzdem, dass sie den Fund zu Recht als unzulässig bewertet hat. Die Software werde immer weiter trainiert, erklärt die Leiterin Recht.
Die Trefferquote von KIVI liege in etwa bei 20%, sagt sie: 20 von 100 von der KI zunächst als rechtswidrig eingeschätzte Inhalte bewerteten auch die nachgeschalteten menschlichen Prüferinnen und Prüfer als Verstöße. Wie die Anzahl der von KIVI gefundenen Meldungen sei auch diese Trefferquote wesentlich höher als früher, als Mitarbeitende noch händisch das Netz durchsuchten.
Das liegt laut Braam auch daran, dass Menschen etwas finden wollten, bevor sie Feierabend machten: "Menschen suchten also im Zweifel dort, wo sie ein Erfolgserlebnis erwarten – in bestimmten extremistischen Netzwerken zum Beispiel, die sie kannten und wo die Wahrscheinlichkeit hoch war, etwas Unzulässiges zu finden. So erweitert man aber den eigenen Erkenntniskreis nicht", sagt Braam. Die KI hingegen brauche keine Erfolgserlebnisse. "Das Programm hat grundsätzlich die volle Bereite des Internets im Blick. Wir können außerdem auf akute Gefährdungslagen reagieren, wie zum Beispiel 2023 nach dem Überfall der Hamas auf Israel am 7. Oktober 2023. Damals haben wir KIVI schwerpunktmäßig nach antisemitischen Inhalten suchen lassen, um dem Anstieg von Hass gegenüber jüdischen Mitbürgerinnen und Mitbürgern im Netz entgegenzutreten".
Islamistische Aktivitäten und verbotene Vereine
Aktuell nehmen Braam und ihr Team verstärkt die Aktivitäten islamistischer Organisationen ins Visier. Das sei nicht unkompliziert, erklärt die Juristin. Zu den sprachlichen und spezifisch inhaltlichen Unterschieden, bei denen nun ein Islamwissenschaftler unterstützen soll, und dem sachlich wie rechtlich nicht trivialen Kriterium des notwendigen Deutschlandbezugs der Online-Inhalte spiele bei der Bewertung der Aktivitäten von Islamistinnen und Islamisten neben der Meinungs- auch die Religionsfreiheit eine Rolle.
Doch die Arbeit hält noch weitere Hürden bereit. Wird eine Seite mit verbotenen Inhalten gelöscht, dauere es manchmal nur Minuten, bis eine andere Webseite wieder online geht: eine nur geringfügig veränderte URL, exakt dieselben Inhalte. Solche sog. Mirrorpages seien von der Löschanordnung nicht erfasst, der gesamte Prozess müsse von neuem beginnen, moniert Braam. Zudem könne die LFM NRW aktuell, selbst wenn eine Organisation verboten sei, deren Webseite nicht ohne Weiteres sperren lassen – keine Ermächtigungsgrundlage.
Stille aus Brüssel
Als bislang eher ernüchternd bezeichnet sie auch die aus ihrer Sicht mangelhafte Schützenhilfe aus Brüssel: Wie viele andere deutsche Medienanstalten liefere die LFM NRW mithilfe der KI-basierten Software zahlreiche Fallzahlen an die EU-Kommission – aus Sicht von Braam eine ideale Grundlage, damit die dafür zuständige Kommission auch wegen sog. systemischer Risiken Maßnahmen gegen die großen Online-Plattformen einleiten könnte, wofür sie nach dem Digital Services Act (Art. 65) zuständig wäre. Doch auch wenn es zahlreiche Hinweise auf ein solches systemisches Versagen gebe, passiere nichts – die Kommission gehe derzeit nicht gegen die großen Tech-Unternehmen vor.
Und doch sehen Braam und Schmid ihre Landesmedienanstalt auf einem guten Weg. Im Dezember tritt der 7. Medienänderungsstaatsvertrag in Kraft. Dann dürfen die Regulierer Internetserviceprovider direkt anweisen, auch Mirrorpages und -domains sofort zu sperren.
Für fast noch wichtiger hält Direktor Schmid die dann kommende sog. Follow-the-money-Strategie. Die Landesmedienanstalten können voraussichtlich ab dem 1. Dezember auch Finanzdienstleister wie Banken oder zum Beispiel das Unternehmen Paypal anweisen, Überweisungen nicht auszuführen. Zahlreiche Seiten mit rechtswidrigen Inhalten, vor allem solche im Bereich der Pornografie, finanzierten sich über bezahlte Inhalte jedweder Art. "Ich wüsste nicht, was noch stärker zur Kooperation der Seitenbetreiber beitragen könnte als ausbleibende Zahlungen", erklärt Schmid.
