Derzeit setzen sich viele Anwältinnen und Anwälte mit Künstlicher Intelligenz (KI), großen Sprachmodellen (LLMs) und Chatbots auseinander. Die einen sind ganz begeistert und sehen eine Zeitenwende für den Rechtsmarkt, andere sind eher zurückhaltend und wissen nicht, wie sie in das Thema KI in der Kanzlei am besten einsteigen. Die dritte Gruppe steht dem Einsatz von KI in der Kanzlei sogar kritisch gegenüber. Die Gründe sind vielfältig: Oft werden das anwaltliche Berufsrecht sowie die Verschwiegenheitspflicht und die hohen Anforderungen bei der Inanspruchnahme von externen Dienstleitungen nach § 43e BRAO genannt.
Richtig ist, dass man beim Einsatz von KI in der Kanzlei natürlich das anwaltliche Berufsrecht einhalten muss. Sowohl der Deutsche Anwaltverein (DAV) als auch die Bundesrechtsanwaltskammer (BRAK) haben in den letzten Monaten ausführliche Hinweise und Stellungnahmen dazu veröffentlicht, wie der berufsrechtskonforme Einsatz von KI in der Kanzlei sichergestellt werden kann. Die Stellungnahme des DAV kam unter anderem zu dem Ergebnis, dass es zwar diverse gesetzliche Vorgaben zu beachten gibt, sich diese jedoch durchweg bewältigen lassen. Der Anwaltschaft steht es somit grundsätzlich frei, die durch KI eröffneten Möglichkeiten zu nutzen.
Die vermeintliche Hürde: Verschwiegenheitspflicht
Im Mittelpunkt der Diskussion steht in der Regel die Verschwiegenheitspflicht nach § 43a Abs. 2 BRAO. Rechtsanwältinnen und Rechtsanwälte haben über das Mandat zu schweigen. Der Einsatz von KI ist aber regelmäßig mit der Nutzung von externen Cloud-Diensten und bei generativer KI – wie modernen Chatbots – auch häufig mit der Verarbeitung von Mandatsdaten durch Externe verbunden.
Um die Einbindung externer Dienstleister zu regeln, hat der Gesetzgeber bereits im Jahr 2017 mit der Einführung des § 43e BRAO eine neue Rechtsgrundlage geschaffen. Nach § 43e Abs. 3 BRAO muss insbesondere eine vertragliche Vereinbarung mit dem externen Dienstleister getroffen werden. Darin muss man den Dienstleister unter Belehrung über die strafrechtlichen Folgen einer Pflichtverletzung zur Verschwiegenheit verpflichten.
Das alles verursacht einen gewissen Aufwand. Zudem zögern manche KI-Anbieter auch, entsprechende Verschwiegenheitsvereinbarungen zu unterzeichnen. Es ist also nicht unmöglich, als Anwältin oder Anwalt KI berufsrechtskonform zu nutzen, einfach ist es aber auch nicht.
Bühne frei für Open-Weight-Modelle
Diese Überlegungen spielen jedoch keine Rolle mehr, wenn gar kein externer Dienstleister benötigt wird und keine Daten die Kanzlei verlassen, weil die KI lokal unter dem eigenen Kanzleidach läuft. Der Einsatz von KI ist dann im Ergebnis damit vergleichbar, dass man Zahlen aus einem Mandat mit dem eigenen Taschenrechner auf dem Schreibtisch zusammenrechnet. Der Hersteller des Taschenrechners muss selbstverständlich nicht zur Verschwiegenheit verpflichtet werden, weil er gar nichts mehr mit den später verarbeiteten Daten zu tun hat.
Das Problem: Die bekannten kommerziellen Angebote von modernen Chatbots laufen alle in großen Rechenzentren unter der Kontrolle der Anbieter und nicht der Nutzerinnen und Nutzer. Neben diesen Closed-Source-Modellen gibt es aber auch Open-Source-Modelle. Die Handhabung kann allerdings durchaus komplex sein.
Eine Zwischenlösung sind sogenannte Open-Weight-Modelle. Das sind KI-Modelle, bei denen die fertigen "Gewichte" – also die eingestellten Regler – frei und kostenlos zum Download bereitstehen. Man bekommt also das fertige Modell und kann es sofort lokal benutzen und darüber hinaus in der Regel auch mit eigenen Daten weitertrainieren.
Zum Verständnis hilft folgender Vergleich: Ein Open-Weight-Modell ist wie eine kostenlose Pizza, die bereits fertig gebacken ist und die man in seinen Händen hält. Man kann die Pizza direkt essen, weitere Zutaten ergänzen und auch ansonsten frei über die Pizza verfügen. Beim Open-Source-Modell bekommt man zusätzlich noch das Rezept, sodass man die Pizza auch nachbacken darf und kann – zumindest, wenn man einen vernünftigen Ofen hat. Ein Closed-Source-Modell ist hingegen wie ein Stück Pizza im Schaufenster eines Italieners – gegen Bezahlung kann man es essen, wie es ist – nicht mehr, aber auch nicht weniger.
Wie kommt man an die Pizza?
Mehrere der bekannten internationalen KI-Anbieter bieten neben den klassischen Closed-Scource-Modellen auch Open-Weight-Modelle an. Aus Europa sind vor allem die Open-Weight-Modelle von Mistral bekannt. Von Alibaba gibt es zudem die Qwen-Modelle; Meta hat Llama im Angebot und OpenAI hat kürzlich mit GPT-OSS – in einer großen 120B-Variante und einer kleineren 20B-Variante – zwei leistungsstarke Modelle veröffentlicht, die sich vor vielen kommerziellen Closed-Scource-Modellen nicht verstecken müssen.
Um diese Modelle lokal in der eigenen Kanzlei laufen zu lassen, gibt es verschiedene Softwarelösungen. Verbreitet sind unter anderem Ollama oder LM Studio. Damit ist es möglich, Open-Weight-Modelle auf Knopfdruck herunterzuladen und direkt auf dem eigenen Rechner zu nutzen. Das Ganze ist etwas schwieriger als die Nutzung kommerzieller Chatbots im Internet. Wer allerdings einen Drucker installieren kann und bereit ist, ein wenig Zeit zu investieren, schafft das in der Regel auch. Für den laufenden Betrieb wäre es allerdings gut, wenn auch der zuständige Systemadministrator, also die Person in der Kanzlei, die für die Verwaltung, Wartung und Überwachung von IT-Systemen, Netzwerken und Servern verantwortlich ist, ein wenig Ahnung davon hat.
Der begrenzende Faktor: Der eigene Rechner
Das größte Hindernis in der Praxis ist oft die in der Kanzlei zur Verfügung stehende Hardware. Einige kleinere Open-Weight-Modelle laufen auch auf Laptops und teilweise sogar auf Smartphones. Viele Rechner bringen jedoch nicht die Voraussetzungen mit, um aktuell selbst das kleine Modell von GPT-OSS laufen zu lassen. Wer beim Kauf ein wenig Geld investiert, und unter anderem auf eine gute Grafikkarte geachtet hat, kann Glück haben. Wer allerdings das große Modell von GPT-OSS lokal betreiben möchte, wird in der Regel um die Anschaffung spezieller Hardware nicht herumkommen.
Um beim Pizza-Vergleich zu bleiben: Für ein kleines Stück Pizza haben die meisten einen passenden Teller im Schrank. Aber bei einer großen Pizza mit über 30 cm Durchmesser wird es manchmal schon eng. Wer eine 2qm Party-Pizza für die ganze Kanzlei bestellt, muss sich in der Regel vorher gut überlegen, auf welcher Unterlage die Pizza präsentiert und verspeist werden soll. Wer diese Hürde jedoch gemeistert hat, wird mit völliger Unabhängigkeit belohnt. Das Open-Weight-Modell läuft dann unter eigener Verantwortung auf der eigenen IT-Infrastruktur, vergleichbar mit dem eigenen Taschenrechner auf dem Schreibtisch.
Ein weiterer Vorteil: Ein Betrieb der Open-Weight-Modelle ist auch im vollständigen Offline-Modus möglich. Wer also Sorge vor Cyberattacken hat und hochsensible Daten so gut wie möglich schützen möchte, muss den Rechner, auf dem die Modelle laufen und die relevanten Daten verarbeiten, nicht einmal an das Internet anschließen. Zudem sind Anwältinnen und Anwälte dann auch unabhängig von den Preismodellen und Nutzungsbedingungen eines externen KI-Anbieters. Schließlich kann auch niemand das Modell einfach über Nacht abstellen und durch ein anderes ersetzen.
Die offene Frage: Sind Open-Weight-Modelle gut genug?
Auf die Frage, ob in naher Zukunft viele Kanzleien lokal Open-Weight-Modelle betreiben werden, kann man nur mit einem "es kommt drauf an" antworten.
Je mehr Erfahrungen deutsche Rechtsanwältinnen und Rechtsanwälte mit externen Dienstleistern haben und umso eher sich die internationalen KI-Anbieter an den Papierkram bei der Zusammenarbeit mit deutschen Kanzleien gewöhnt haben, desto weniger Relevanz haben Open-Weight-Modelle.
Ein weiterer Faktor ist der Qualitätsunterschied zwischen den modernsten Closed-Source-Modellen und den frei verfügbaren Open-Weight-Modellen. Die kommerziell angebotenen Modelle werden immer besser sein als die kostenlosen Open-Weight-Modelle und einige der älteren und kleineren Open-Weight-Modelle sind so schlecht, dass sie praktisch kaum einsetzbar waren. Aber alle Modelle werden immer besser und das gilt eben auch für die Open-Weight-Modelle.
Entscheidend wird zudem sein, wofür man KI in der Kanzlei überhaupt einsetzen möchte und ob die verfügbaren Open-Weight-Modelle dafür ausreichen. Wer beispielsweise eher Anwendungsbereiche aus der normalen Sprachverarbeitung anstrebt – Zusammenfassen von Akten oder Auswertung von Verträgen – braucht dafür in der Regel nicht zwingend das modernste High-End-Modell. Für viele Anwältinnen und Anwälte können Open-Weight-Modelle also unter dem Strich eine interessante Alternative darstellen.
