Viele öffentliche und private Organisationen setzen Systeme künstlicher Intelligenz (KI) ein, um menschliche Entscheidungsfindung im operativen Geschäft zu unterstützen oder sogar zu automatisieren. Auch im Finanzsektor sollen die Fortschritte im Bereich des maschinellen Lernens (ML) substanzielle Effizienzgewinne ermöglichen. Dieser Trend birgt einerseits enorme Potenziale zur Steigerung der Produktivität, des Kundenkomforts sowie zur Kostensenkung. Andererseits besteht jedoch die Gefahr, dass bestimmte Gruppen in algorithmisch getroffenen Entscheidungen systematisch bevorzugt oder benachteiligt werden, was zu gravierenden, irreversiblen sozialen Verwerfungen führen kann.
Im Kern besteht die Mehrheit heutiger KI-Systeme aus ML-Algorithmen, die auf riesigen Datenmengen basieren. So werden mehr oder weniger selbstständig Muster realer Beziehungen zwischen unterschiedlichen Variablen erlernt, die auf Basis verfügbarer Informationen möglichst akkurate, individuelle Vorhersagen über eine bestimmte Variable treffen sollen. Diese Vorhersagen können dann dazu verwendet werden, Entscheidungen unter Unsicherheit und in Umgebungen asymmetrischer Informationsverteilungen zu treffen.
Automatisierte Prozesse steuern Kreditvergabe von Banken
Im Finanzsektor beispielsweise werden KI-Systeme zunehmend eingesetzt, um Risiken auf verschiedenen Ebenen zu managen. Auf individueller Kundenebene nutzen ML-Algorithmen, die mittels historischer Daten trainiert wurden, Kundeninformationen, um das Kreditausfallrisiko von Antragstellern vorherzusagen und letztlich über die Kreditvergabe zu entscheiden. So wird heutzutage die Konsumentenkreditvergabe in vielen Banken durch einen fast gänzlich automatisierten Prozess gesteuert. Dadurch kann der Auswahlprozess für den Kunden zwar einfacher und für das Kreditinstitut kosteneffizienter gestaltet werden, jedoch birgt das Verfahren die Gefahr der algorithmischen Diskriminierung. Damit wird das systematische Andersbehandeln von Individuen basierend auf ihrer Zugehörigkeit zu sozialen Kategorien bezeichnet.
Algorithmische Diskriminierung kann in heutigen KI-Systemen durch unterschiedliche Kanäle entstehen. Durch die automatisierte, datengetriebene Modellentwicklung können ML-Algorithmen die in historischen Daten eingebetteten gesellschaftlichen Ungleichheiten, Marginalisierungen und Diskriminierungen erlernen und reproduzieren. Zusätzlich können die identifizierten Muster und erlernten Beziehungen von Anfang an fehlerhaft sein und zu neuen Benachteiligungen führen, wenn die Daten, mit denen die algorithmischen Systeme getestet und trainiert wurden, nicht ausreichend repräsentativ für die Populationen sind.
Zum Beispiel könnten Daten mit einem überproportionalen Anteil an Frauen, die einen Konsumentenkredit nicht zurückzahlen konnten, dazu führen, dass ein ML-Modell systematisch geringere Rückzahlungswahrscheinlichkeit für Frauen vorhersagt. In einem automatisierten System der Kreditvergabe würden Frauen dann weniger häufig einen Kredit erhalten. Ein solches KI-System könnte daher die gesellschaftliche Ungleichbehandlung verstärken und die ökonomische Wohlfahrt von Frauen deutlich verringern.
KI-Systeme bedürfen einer strengeren Qualitätskontrolle
Zusätzlich besteht die Gefahr, dass die Verzerrungen durch das automatisierte Lernen des KI-Systems in Zukunft weiter anwachsen. Ein solcher Rückkopplungseffekt – auch als algorithmischer Feedback-Effekt bezeichnet – kann immer dann auftreten, wenn die erzeugte Vorhersage eines KI-Systems die Struktur bzw. Natur der zukünftig verfügbaren Daten endogen beeinflusst. In dem Beispiel zur Konsumentenkreditvergabe würden durch den Algorithmus weniger Frauen einen Kredit erhalten und so auch die bisherigen Daten mit weniger neuen Beispielen für Frauen angereichert werden können, da die Rückzahlung nur bestimmt werden kann, wenn tatsächlich ein Kredit vergeben wird. Dadurch würde der bereits ungleiche Datensatz weiter verzerrt werden. Die Qualität der Vorhersagen für Frauen würde kontinuierlich abnehmen, was dazu führen kann, dass immer weniger Kredite an Frauen vergeben werden und sich der negative Zyklus selbst verstärkt.
Die Vorhersage des ML-Modells beeinflusst so auch die Möglichkeit ein neues Trainingsbeispiel inklusive entsprechender Variablen zu sammeln (selective labels problem). Es entsteht darüber hinaus das Problem, dass die wahre Performance von ML-Modellen nur schwer präzise gemessen werden kann und schnell ein übermäßig optimistischer Eindruck über die Wirksamkeit der „Maschine“ gewonnen wird. Dies birgt die Gefahr, dass fehlerhafte und diskriminierende Systeme nicht als solche erkannt und breit eingesetzt werden, sodass KI-Systeme zu Torwächtern des ökonomischen Wohlstandes werden.
Um einem solchen dystopischen Szenario effektiv entgegenzuwirken und stattdessen von den gesellschaftlichen Vorteilen von KI zu profitieren, müssen effektive Qualitätssicherungsprotokolle entwickelt werden, die neue KI-Systeme vor der Markteinführung gründlich auf ihre gesellschaftlichen Konsequenzen testen. An dieser Stelle kommt der Politik eine entscheidende Rolle zu. Es gilt, gemeinsam mit den Technologieentwicklern, umfassende ethische und technische Richtlinien zu entwerfen, die sicherstellen, dass KI-Systeme Fortschritt und soziale Wohlfahrt erzeugen, von denen die Gesellschaft als Ganzes und nicht nur bestimmte Gruppen profitieren.
Kevin Bauer hat seine Promotion an der Goethe-Universität Frankfurt in Wirtschaftswissenschaften abgeschlossen und arbeitet bei SAFE zu dem Thema Digitalisierung in der Finanzindustrie.
Eine ausführlichere Version (auf Englisch) wurde als Bauer, Kevin / Pfeuffer, Nicolas / Abdel-Karim, Benjamin / Hinz, Oliver / Kosfeld, Michael (2020): “The Terminator of Social Welfare? - The Economic Consequences of Algorithmic Discrimination”, SAFE-Working Paper 287 veröffentlicht.
