Annegret Lamadé

Qualität Künstlicher Intelligenz: Bewertung, Sicherung, Anwendungsbeispiele


MMR-Aktuell 2022, 451953   Die rasante technologische Entwicklung von Systemen „Künstlicher Intelligenz“ (KI) verspricht insb. im Finanzsektor durch Anwendungen wie „Robo Advisor“, dem „Algorthmic trading“ oder dem „Credit Scoring“ einen strukturellen Wandel. Die Datenabhängigkeit, Fähigkeit sich selbstständig weiterzuentwickeln und die fehlende Transparenz führen jedoch dazu, dass der Einsatz der autonomen Systeme auch mit normativen und ethischen Herausforderungen verbunden ist. Wie diesen Risiken entgegengetreten werden kann und dadurch die Qualität und Sicherheit von autonomen Systemen gewährleistet werden kann, ist Gegenstand fortlaufender juristischer, aber auch politischer Diskussion und führte zuletzt zu der Veröffentlichung des KI-Verordnungsentwurfs (KI-VOE), sowie der KI-Haftungsverordnung (KI-HaftungsVO). Die geltenden rechtlichen Rahmenbedingungen auf ihre Anpassungsbedürftigkeit hin zu untersuchen und neue Regelungsinitiativen zu analysieren und deren Operationalisierung zu diskutieren, war Gegenstand der Tagung „Qualität Künstliche Intelligenz: Bewertung, Sicherung, Anwendungsbeispiele“, die vom Institut für das Recht der Digitalisierung (IRDi) und der Projektgruppe Normordnung Künstlicher Intelligenz (NoKI) – Bestand, System, Durchsetzung des Zentrums für verantwortungsbewusste Digitalisierung (ZEVEDI) am 7.7.2022 in Marburg veranstaltet wurde.

1. Grußworte und Einführung

Nach einleitenden Worten von Prof. Dr. Florian Möslein wurde die Tagung durch die Grußworte von Prof. Dr. Kristina Sinemus und Prof. Dr. Thomas Nauss eröffnet.

Bei dem Einsatz von KI sei es, so die Ministerin, von wesentlicher Bedeutung, dass die Systeme nicht alles technisch machbare umsetzen, sondern der Einsatz im Einklang mit unseren ethischen Wertmaßstäben steht, um so in hochsensiblen Bereichen, wie dem Finanz- und Medizinsektor, Vertrauen zu schaffen. Bei der Umsetzung dieser Vision der hessischen Landesregierung sei ZEVEDI integraler Bestandteil.

Prof. Dr. Thomas Nauss betonte die Notwendigkeit, sich frühzeitig mit Bewertungsmaßstäben zu befassen, die anwendungsbezogen den Risiken entgegentreten. Die genuine Interdisziplinarität und Kooperation mit der Rechtspraxis, sowie Querschnittskompetenz in verschiedenen Rechtsgebieten, durch die die Arbeit des IRDi gekennzeichnet ist, seien dafür von fundamentaler Bedeutung.

 

2. Grundlegende Fragen

Die Tagung begann mit einem Vortrag von Prof. Dr. Thomas Rhiem, der über die Eignung und Anpassungsbedürftigkeit des traditionellen Haftungsrechts referierte. Während für deterministische Systeme die Konzeption des Haftungsrechts noch geeignet seien möge, sei es gerade die Autonomie und Intransparenz, die das traditionelle Haftungsrecht vor Herausforderung stelle. Dabei sei es erforderlich, grundsätzliche Fragen zum Vertragsschluss, wie insb., unter welchen Voraussetzungen menschliche Personen an die unvorhersehbaren Entscheidungen der Systeme gebunden werden können, neu zu definieren. Neben Ansätzen, die das System als Bote oder Stellvertreter ansehen, sei auch eine unmittelbare Zurechnung möglich, die man damit begründe, dass der Wille ein System in den Rechtsverkehr zu entlassen, auch das Risiko umfasse, dass sich das System unvorhersehbar verhält.

Während die allgemeine deliktische Haftung durch Auslegung anpassungsfähig wäre, bestünde insb. hinsichtlich der Gefährdungshaftung Regelungsnotwendigkeit.

So stünde das Produkthaftungsrecht nicht nur vor der Herausforderung, dass dieses nach überwiegender Auffassung für Software nicht anwendbar wäre, sondern auch, dass der Fehlerbegriff zum Zeitpunkt der Inverkehrgabe beurteilt würde, bei autonomen Systemen aber die besondere Gefahr aus Fehlern nach Markteintritt resultieren würde. § 7 StVG sehe für Betreiber von Kraftfahrzeugen zwar eine Gefährdungshaftung vor. Außerhalb dieses Anwendungsbereichs, wie zB bei Pflegerobotern entstünde allerdings eine Regelungslücke. Der Vorschlag für eine KI-HaftungsVO des Europäischen Parlaments sei eine geeignete Möglichkeit, diese Lücke durch eine Gefährdungshaftung des Backend- und Frontend Betreibers bei Hochrisiko-KI-Systemen zu schließen. Eine Herausforderung bestünde nun in der Definition dessen, was unter einem Hochrisiko-KI-System verstanden wird. Keinen Reformbedarf bestünde hingegen iRd Haftung nach § 823 BGB, da den Besonderheiten von autonomen Systemen ausreichend durch die Verkehrspflichtendogmatik Rechnung getragen werden könnte. Im Rahmen des Verschuldens sei es die Zertifizierung, die Einfluss auf den Sorgfaltsmaßstab nehme.

Denkbar wäre allerdings auch in Analogie zu den Vorschriften der §§ 831, 833 S. 2, 836 BGB eine Verschuldensvermutung mit Exkulpationsmöglichkeit. Dabei sei es vorstellbar, dass sich durch die Zertifizierung eine Vermutung der Exkulpation ergeben.

Wie die Zertifizierungsmechanismen für solche Systeme ausgestaltet sein könnten, wurde sodann in dem Vortrag von Dr. Eric Weiss beleuchtet. Zertifizierung könne nicht nur eine verstärkende Schutzfunktion und das Vertrauen der Nutzerinnen und Nutzern stärken, sondern ermögliche auch, dass über die gesetzlichen Anforderungen hinaus ethische Werte geprüft werden könnten. Gleichzeitig könnten Unternehmen von der Zertifizierung als Qualitätssiegel profitieren, um die Nachfrage zu erhöhen und sich bei der Überprüfung der Anforderungen auf unabhängig Dritte zu verlassen. Als Gegenstand der Zertifizierung biete sich bei dieser neuen Technologie eine Kombination zwischen Produkt- und Prozesszertifizierung an, bei der nicht nur der Gegenstand, sondern auch die Einwicklungs-, Einführungs-, und Produktbeobachtungsprozesse bewertet werden. Der KI-VOE der Europäischen Kommission sähe eine entsprechende Konformitätsbewertung vor, bei dem sich die zu bewertenden Anforderungen nach der Kritikalität der jeweiligen Systeme richten. Problematisch sei jedoch die Unterscheidung, die nach der KI-VOE hinsichtlich der Zuständigkeit für die Konformitätsbewertung vorgenommen werde. Während für Systeme iSd Art. 6 Abs. 1 KI-VOE bei der Konformitätsbewertung stets die Einbeziehung einer benannten Stelle erforderlich sei, sei bei Systemen iSd Art. 6 Abs. 2 KI-VOE grds. eine interne Kontrolle ausreichend. Diese Unterscheidung sei jedoch mit der Wertung, dass es sich bei Systemen iSd Art. 6 Abs. 2 KI-VOE um derart gefährliche Systeme handle, dass die Kommission diese in Anhang III explizit aufliste, nicht vereinbar. Die Argumentation, dass zunächst weitere Erfahrung hinsichtlich der Zertifizierung gesammelt werden müssen, sei ferner vor dem Hintergrund, dass auch die bisher für die Sektoren zuständigen benannten Stellen diesbezüglich keine Erfahrungswerte aufweisen würden und das ausweislich Erwägungsgrund 85 eine Übergangsvorschrift von zwei Jahren vorgesehen werde, in der die Stellen Erfahrungen sammeln könnten, nicht überzeugend.

In die sich daran anschließende Diskussion, ging es vor allem um die Notwendigkeit und Ausgestaltung von Re-Zertifizierungsmechanismen für Systeme, die sich selbständig fortentwickeln. Dabei sei jedoch auch zu beachten, so Riehm, dass die meisten Systeme nur innerhalb der Trainingsphase lernen würden. Im weiteren Verlauf wurde ferner über die verfassungsrechtliche Vereinbarkeit des Ansatzes der KI-VOE mit dem Demokratiegrundsatz und Rechtsstaatlichkeitsgrundsatz diskutiert. Hinsichtlich der Auslagerung der materiellen Anforderungen auf private Akteure würden sich insb. Fragen nach der demokratischen Legitimation stellen.

Dieser rechtlichen Analyse, schloss sich eine Podiumsdiskussion an, bei der durch die Zusammensetzung mit Expertinnen und Experten der unterschiedlichsten Fachrichtungen, das zum Ausdruck kam, was Nauss zu Beginn der Tagung als „genuine Interdisziplinarität“ bezeichnet hatte.

Hallensleben (VDE) betonte, dass auf Grund mangelnder Einblicke in die Funktionsweise, die Zertifizierung ein wesentliches Element sei, das Vertrauen der Nutzenden zu gewinnen.

Dieses Vertrauen setze jedoch notwendigerweise die Einbeziehung der Gesellschaft bei der Ausgestaltung der Bewertungskriterien voraus, so Hallensleben und Elmaz (DIN e.V.). Zudem hänge die Qualität der Bewertungskriterien davon ab, dass nicht nur die technischen Eigenschaften bewertet würden, sondern ein interdisziplinärer Ansatz verfolgt wird, der das System in dem gesamten Lebensverhältnis betrachte. Die Reichweite der Zertifizierung müsse ferner für die Nutzerinnen und Nutzer äußerlich erkennbar sein, indem diese zB, in einem Beipackzettel offengelegt werden, so Hansen (Datenschutzbeauftragte Schleswig-Holstein).

Demgegenüber sah Hirsch (Universität Marburg) die Zertifizierung als solches als nicht ausreichend an, um das Vertrauen zu gewinnen. Vielmehr sei analog zu der Begründungspflicht menschlicher Entscheidungsträger erforderlich, dass die Systeme ihre medizinische Entscheidung begründen. Allerdings stünde diese Begründungspflicht vor der Herausforderung, dass nicht mit Sicherheit festgestellt werden könne, welche Gründe tatsächlich ausschlaggebend für die Entscheidung seien, sodass sodann erforderlich wäre, dass auch die von Hirsch als Argumentierfähigkeit bezeichnete Begründung, Gegenstand der Konformitätsbewertung wäre, so die Bedenken von Hansen. Hirsch betonte, dass jedenfalls in der Medizin die Qualität der Begründung an der Quelle der Information gemessen würde, dabei weise insb. die Begründung mittels wissenschaftlicher Studien die höchste Argumentstärke auf.

Im weiteren Verlauf der Diskussion wurde sodann über die Rolle der algorithmischen Systeme und deren Einfluss auf das Arzt-Patienten-Verhältnis diskutiert. Hansen betonte, dass mit dem Einsatz algorithmischer Systeme auch ein gradueller Verlust der Selbstbestimmtheit einhergeht. Zwar könne es durchaus zu einem Spannungsverhältnis kommen, wenn die menschlichen und algorithmischen Entscheidungen divergieren, allerdings würde eine äußere Grenze algorithmischer Entscheidungen jedenfalls in dem in Europa verfolgten menschenzentrierten Ansatz bestehen.

 

3. Branchenspezifische Besonderheiten im Finanzsektor

Diesen Grundsatzfragen schloss sich eine anwendungsbezogene Analyse der Herausforderungen von Qualitätsbewertungsverfahren im Finanzsektor an.

Zunächst standen in einem Vortrag von PD Dr. Dimitrios Linardatos die Mechanismen zur Qualitätssicherung des sog. Robo Advisor im Vordergrund. Der Terminus umfasse eine breites Spektrum von Dienstleistungen, bei dem sich vor allem bei der Automatisierung des Kundengesprächs besondere Herausforderungen ergeben. Kennzeichnender Unterschied zum Algorithmic Trading sei dabei, dass die eigentliche Dispositionshandlung nicht durch das System durchgeführt würde. Mechanismen zur Qualitätssicherung würden sich dabei aus den unterschiedlichen Rechtsakten ergeben. Allgemeine Anforderungen an Robo Advisor würden sich insb. durch eine mittelbare Wirkung der DS-GVO, der KI-VOE sowie dem Vertrags- oder Verbraucherrecht ergeben. Daneben, so Linardatos, würden eine Reihe von besonderen Pflichten, aus aufsichtsrechtlichen Organisationspflichten, Wohlverhaltensregeln und aus den Delegierten Verordnungen treten. Dabei sei zu beachten, dass die Regulierung vor allem technikneutrale Ansätze verfolgen würde, bei denen im Vordergrund der Regulierung die Anforderungen an die persönliche Dienstleistung stehen würden. Maßgebliches Kriterium für die Beurteilung des Robo Advisors sei daher weniger die technische Beschaffenheit, sondern mehr das mit der Dienstleistung verbundene Risiko. Analog zu der Forderung am Vormittag, sei auch bei dem Robo Advisor eine Argumentierfähigkeit gegenüber den Nutzenden zu fordern.

Im Unterschied dazu, seien es bei dem Algorithmic Trading, so Prof. Dr. Wolf-Georg Ringe, gerade die besonderen Eigenschaften der Technik, die weiteren Regelungsbedarf begründen würden. Mit dem technologischen Fortschritt innerhalb des Maschinellen Lernens und der Big Data, stünden bestehende Regelungskonzepte vor der Herausforderung, dass marktmanipulatives oder kartellrechtlich bedenkliches Verhalten nicht auf ein menschliches Verhalten zurückzuführen wäre, sondern, ein autonomer Algorithmus unvorhersehbar manipulatives Verhalten selbständig erlernen würde. Insb. das traditionelle Haftungsrecht stehe vor der Herausforderung, dass bei der Begründung des Verschuldens, die relevante Person innerhalb der undurchsichtigen KI-Lieferkette entweder nicht gefunden werde könne oder, dass die Unvorhersehbarkeit des Verhaltens der Systeme bei der Begründung der Fahrlässigkeit Schwierigkeiten bereiten würde.

In anderen Rechtssystemen sei diesen Risiken teilweise bereits dadurch versucht worden entgegenzutreten, dass den Wertpapierfirmen Pflichten zur Schadensmeldungen und zum Aufbau von Risikomanagementsystemen auferlegt worden waren. Indes würde die Effektivität dieser Form der Selbstregulierung durch den Interessenskonflikt gebremst. Andererseits sei teilweise auch den Handelsplätzen Pflichten auferlegt worden, was wiederrum vor der Herausforderung stünde, dass diese in einem globalen Wettbewerb mit anderen Handelsplätzen stehen. Zudem seien Governance Regelungen nicht auf Systeme ausgelegt, die autonome und intransparente Eigenschaften aufweisen würden. Wegen der dadurch entstehenden Regelungslücken bestünde die Notwendigkeit, dass bestehende Rechtssysteme so überarbeitet würden, dass diese eine unmittelbare Zurechnung des Verhaltens zu einem Menschen ermögliche. Ferner sei es erforderlich, die Sicherheit durch Zulassungsmechanismen und anschließender Echtzeit Überwachung der Systeme sicherzustellen. Insbesondere müsse dabei ein größerer Anwendungsspielraum für Aufsichtstechnologien („SupTech“) und Regulierungstechnologien („RegTech“) ermöglicht werden. In der sich daran anschließenden Diskussion, wurden die Unterschiede zwischen dem Robo Advisor und dem Algorthmic Trading beleuchtet. Durch die fehlende Dispositionshandlung sei es bei dem Robo Advisor sinnvoll auf die Risiken der persönlichen Diensterbringung anzuknüpfen, während bei dem Algorithmic Trading die zeitliche Streckung des Prozesses fehle und daher gerade auch Risiken aus den Eigenschaften des System als solchem ergeben würden.

Gerade diese besonderen Eigenschaften des Maschinellen Lernens seien es auch, so Dr. Lisa Bechthold, die den Einsatz von Versicherungskonzernen vor Herausforderungen stellen würden. Im Rahmen der Wertschöpfungskette im Versicherungswesen seien zahlreiche Anwendungsmöglichkeiten von Systemen Maschinellen Lernens denkbar, die von der Optimierung der Kundenerfahrung, über die Evaluierung von Versicherungsprämien, bis hin zu Maßnahmen zur Effizienzsteigerung der internen Abläufe reichen würden. Bei dem Einsatz von Maschinellen Lernens bestünde die Gefahr, dass eine verzerrte Datengrundlage zu ungerechtfertigter Diskriminierung führt. Dies zu verhindern und zudem die Grenze zwischen einer rechtlich gerechtfertigten Differenzierung und einer inakzeptablen Diskriminierung zu ziehen, sei dabei eine große Herausforderung.

Zwar sehe der KI-VOE der Europäischen Kommission bisher noch keine Erfassung von Systemen Maschinellen Lernens im Versicherungswesen vor, allerdings sei ausweislich des Gesetzgebungsverfahren zu erwarten, dass künftig Systeme, die zur Kalkulation der Versicherungsprämien und der Versicherung von Personen eingesetzt werden, von dem KI-VOE erfasst werden würden. Gleichwohl seien Unternehmen gut beraten, so Bechthold, schon vorher interne Strukturen zu entwerfen, die frühzeitig zur Etablierung von Verfahren zur Herstellung von vertrauenswürdiger KI beitragen würden, nur so könne das Vertrauen der Nutzenden gewonnen werden.

Die Rechte der Nutzenden waren es auch, die sodann den Schwerpunkt des Vortrags von Prof. Dr. Katja Langenbucher bildeten. Dabei analysierte sie die Eignung der bestehenden Dogmatik des Diskriminierungsrechts für die Regulierung von KI am Anwendungsbeispiel des Credit Scoring.

Obgleich dem Credit Scoring ein Spannungsfeld zwischen einerseits der Finanzstabilität durch Suchkostenoptimierung, indem große Datenmengen mit Hilfe von neuen Technologien analysiert werden, um die optimalen Kreditnehmerinnen und Kreditnehmer zu identifizieren und andererseits einem Diskriminierungsrisiko immanent sei, gäbe es derzeit weder in der Bankenregulierung, noch national spezifische Regelungen, die das Verhältnis von Scoring und Diskriminierung betreffen. Im Gegensatz dazu gelten in den USA sowohl Gesetze, die sich mit dem Umgang von Scoring-Agenturen, als auch solche, die sich mit den diskriminierungsfreien Zugang zu Krediten beschäftigen. Die Dogmatik des geltenden allgemeinen Diskriminierungsrechts sei hingegen nicht zur Regulierung von KI geeignet, weil sie den KI-spezifischen Diskriminierungsrisiken nicht sachgerecht entgegentrete. So sei eine direkte Diskriminierung schwer vorstellbar und überdies nicht wahrscheinlicher als bei herkömmlichen Credit Scoring. Zudem stünde auch die Begründung einer indirekte Diskriminierung vor der Herausforderung, dass diese nicht der strukturellen Besonderheit Rechnung trage, dass ein KI-System die Muster aus einem Bündel an Variablen ableite. In der KI-VOE sei die Tatsache, dass das Credit Scoring als Hochrisiko-KI-Systeme eingestuft werde in Erwägungsgrund 37 damit begründet, dass ein Diskriminierungsrisiko bestünde. Obgleich der Verordnungsgeber damit also davon ausgehen würde, dass ein Diskriminierungsrisiko bestünde, klammere er die rechtliche Begegnung dessen und die Rechte für den Nutzerinnen und Nutzer vollständig aus. Um diesem Diskriminierungsrisiko zukünftig sachgerecht zu begegnen, sei vor allem Transparenz und Aufklärung der Systeme gegenüber dem Nutzer notwendig.

 

4. Ausblick

Obgleich die Vorträge und die sich daran anschließende Diskussionen erhebliche sektoren- und auch anwendungsspezifische Besonderheiten offenbarten, vermochte die Tagung vor allem auch eine zentrale Gemeinsamkeit herausgearbeitet zu haben:

Für die Beurteilung der Qualität der Systeme ist es eine immanente Voraussetzung, dass die Systeme ihre Entscheidungen begründen, nur so kann das bestehende Informationsdefizit für Nutzerinnen und Nutzer ausgeglichen werden und ihnen ermöglicht werden, die vorgebrachten Ergebnisse zu bewerten. Die Substantiierung eben dieser Begründungsverpflichtung wird eine interdisziplinäre und eng mit der Rechtspraxis verbundene Aufgabe sein.

Annegret Lamadé ist wissenschaftliche Mitarbeiterin am Lehrstuhl von Prof. Dr. Florian Möslein, Philipps Universität Marburg, und Mitglied der Projektgruppe „Normordnung Künstliche Intelligenz (NOKI) – Bestand, System und Durchsetzung“ des Zentrums verantwortungsbewusste Digitalisierung (ZEVEDI).