Die EU-Verordnung über Künstliche Intelligenz (AI-Act) bringt eine Reihe neuer compliance Anforderungen für Finanzmarktakteure mit „Hochrisiko-KI-Systemen“ mit sich. Die behördliche Zuständigkeit für deren Überwachung soll bei der Finanzaufsicht liegen, damit ist auch die BaFin angesprochen. Zugleich verlangt die Verordnung allerdings eine „unabhängige“ Behörde. Hier droht Ungemach.
Der AI-Act verfolgt einen risikobasierten Ansatz. Das bedeutet: Für zahlreiche KI-Anwendungen gelten keine oder nur geringe Anforderungen. Bestimmte Anwendungen ordnet die Verordnung hingegen als risikoreich ein. Handelt es sich um nicht hinnehmbare Risiken, beispielsweise bestimmte biometrische Identifizierungsverfahren, Emotionserkennung im Arbeitskontext oder auch einige Sozialscoring-Verfahren, wird der Einsatz untersagt. Eine Reihe anderer Anwendung sind nicht verboten, aber hoch risikoreich. Dazu zählt unter anderem der Einsatz einer KI für bestimmte Entscheidungen im Personalmanagement, für die Kreditwürdigkeitsprüfung und Bonitätsbewertung natürlicher Personen sowie für die Risikobewertung und Preisbildung für Lebens- und Krankenversicherungen natürlicher Personen.
Wozu führt die Einstufung als Hochrisiko-KI?
Wird eine Hochrisiko-KI eingesetzt, gelten Compliance-Anforderungen, beispielsweise was Risikomanagement, Daten-Governance, Dokumentation oder Cybersicherheit betrifft. Ob das System diesen Anforderungen entspricht, kontrollieren im Regelfall Anbieter und Nutzende. Zusätzlich erfolgt eine anlassbezogene Marktüberwachung durch eine KI-Behörde. Welche Behörde sich hierum kümmern soll, ob etwa – wie in Spanien – eine neue Behörde zu schaffen ist oder – wie in Frankreich – bestehende Behörden hiermit betraut werden, hat der nationale Gesetzgeber zu entscheiden.
Welche Aufsichtsstruktur wird im Finanzsektor gelten?
Für den KI-Einsatz im Finanzsektor empfiehlt die EU, die nationale Finanzaufsichtsbehörde mit dieser Aufgabe zu betrauen. In Deutschland ist das die BaFin. Diese Bündelung der allgemeinen Finanzaufsicht und der neu geschaffenen KI-Aufsicht ist für Finanzinstitute sinnvoll. Auf diese Weise wird ein Element sektoraler, auf bestimmte Einsatzbereiche fokussierender Aufsicht eingeführt. Darin liegt eine begrüßenswerte Abweichung von dem im Übrigen horizontalen Ansatz der KI-Verordnung. In der Tradition der Datenschutzgrundverordnung formuliert diese ansonsten einheitliche Anforderungen über alle Einsatzgebiete und Branchen hinweg. Ein Wermutstropfen bleibt allerdings: Finanznahe Akteure wie etwa KI-basierte Kreditscoringagenturen, die nicht der Finanzaufsicht unterliegen, bleiben außerhalb dieser Zuweisung. Damit verbindet sich ein Risiko unterschiedlicher Interpretation eines Rechtstextes, je nachdem welche Behörde ihn anwendet.
Welche rechtlichen Herausforderungen bestehen für die BaFin-Zuständigkeit mit Blick auf KI?
Der AI-Act lässt dem nationalen Gesetzgeber zwar Spielraum bei der Einrichtung einer passenden Aufsichtsstruktur. Die zuständige Behörde muss aber „unabhängig“ sein. Damit ist nicht etwa nur die Unabhängigkeit von den Interessen der beaufsichtigten Unternehmen gemeint. Nach dem Vorbild der US-amerikanischen independent agencies (die ihrerseits unter Beschuss des konservativ besetzten Supreme Court stehen) geht es vielmehr auch um Unabhängigkeit von Regierung und Parlament.
Schon in der Aufarbeitung des Wirecard-Skandals geriet dieses Design der Behörde in den Fokus der Öffentlichkeit (siehe SAFE White Paper No. 82, BaFin (in)dependence). Das Ministerium hat zwar im Mai 2022 Grundsätze für die Zusammenarbeit mit der BaFin veröffentlicht, in denen von „operativer Unabhängigkeit“ und „eigener Verantwortung“ gesprochen wird. Die Rechts- und Fachaufsicht bleibt allerdings bestehen.
Die Einbindung der Behörde in die Aufsicht des Bundesfinanzministeriums stellt sich aus deutscher verfassungsrechtlicher Sicht als notwendiges Mittel demokratischer Legitimation dar. Dadurch führt die Wahlentscheidung der Bürgerinnen und Bürger in einem „Legitimationsstrang“ über den Bundestag zur Regierung, weiter zur politischen Leitung der Ministerien und auf diesem Weg zur demokratischen Legitimation auch der BaFin.
Das Design einiger deutscher Behörden wurde als mit europarechtlichen Vorgaben unvereinbar erklärt. Die entsprechenden Fälle betrafen die Datenschutzaufsicht und die Bundesnetzagentur.. Die Datenschutzbehörden wurden darauf in eine unabhängige Struktur umgestaltet. Mit Blick auf die Bundesnetzagentur wurden kleinere Veränderungen bezüglich der politischen Zielsetzung vorgenommen. In seiner Entscheidung zur Bankenunion hat das Bundesverfassungsgericht seine Vorstellung zur Herauslösung der EZB-Aufsicht aus dem deutschen Legitimationsstrang ausbuchstabiert: Dies sei verfassungsgemäß unbedenklich, solange es nur um systemrelevante Banken handele. Ein Mindestmaß an demokratischer Legitimation wird durch Berichtspflichten an den Bundestag erhalten. Eine gerichtliche Kontrolle bleibt möglich.
Fazit
Die Zuständigkeit der BaFin zur Marktüberwachung von KI-Anwendungen im Finanzsektor ist uneingeschränkt zu begrüßen. Allerdings verlangt das europäische Recht eine unabhängige Behörde. Hierauf wird die deutsche Gesetzgebung reagieren müssen. Kurzfristig empfiehlt sich die Schaffung einer unabhängigen Einheit innerhalb der BaFin. Langfristig ist über die Abspaltung als institutionell eigene Digitalbehörde nachzudenken.
Katja Langenbucher ist Professorin für Bürgerliches Recht, Wirtschaftsrecht und Bankrecht im House of Finance der Goethe-Universität Frankfurt und koordiniert das LawLab – Fintech & AI als SAFE-Brückenprofessorin.
Blogbeiträge repräsentieren die persönlichen Ansichten der Autor:innen und nicht notwendigerweise die von SAFE oder seiner Mitarbeiter:innen.
