20 May 2021

Schlecht trainierte KI schadet bestimmten Verbrauchergruppen

Künstliche Intelligenz findet zunehmend auch im Finanzsektor Anwendung. Werden sie in Form von Algorithmen allerdings mit verzerrten Daten trainiert, kann dies gravierende Folgen für bestimmte Personengruppen haben

Entscheidungen in der Finanzbranche werden zunehmend mit Hilfe künstlicher Intelligenz (KI) getroffen und nicht mehr nur von Menschen allein. Dabei bringen die Fortschritte auf dem Gebiet des maschinellen Lernens (ML) Vorteile mit sich: Während Produktivität und Kundenkomfort steigen, sinken die Kosten. Ein Working Paper des Leibniz-Instituts für Finanzmarktforschung SAFE zeigt jedoch, dass die Gefahr besteht, bestimmte Gruppen von Verbraucher:innen durch den Einsatz von KI systematisch zu benachteiligen.

Um die Algorithmen des KI-Systems gezielt einsetzen zu können, müssen sie mit großen Datensätzen trainiert werden. Diese Daten können jedoch systematische Verzerrungen für Personen einer bestimmten Gruppe enthalten, zum Beispiel aufgrund ihres Geschlechts, Einkommens, Bildungsstandes oder Alters. „Die historisch systematische Benachteiligung bestimmter Bevölkerungsgruppen kann sich im Zeitalter intelligenter Algorithmen potenzieren und zunehmend unerwünschte gesellschaftliche und ökonomische Konsequenzen haben“, sagt Kevin Bauer, Wissenschaftler in der SAFE-Forschungsabteilung „Financial Intermediation“ und einer der Autoren der Studie.

Verzerrte Daten führen zu verzerrten Entscheidungen

Wurden etwa bei der Vergabe von Krediten durch Banken Daten mit einem unterproportionalen Anteil an Frauen gesammelt, kann das die Prognosesicherheit einer eingesetzten KI beeinträchtigen: Der auf diesen Daten trainierte Algorithmus wäre dann systematisch schlechter darin, die Kreditwürdigkeit für Frauen adäquat zu bestimmen. Der Algorithmus kann somit Gefahr laufen, im Durchschnitt eine geringere Wahrscheinlichkeit für Frauen bei der Rückzahlung des Kredits vorherzusagen. Ein so automatisiertes KI-System würde Frauen dann seltener Kreditwürdigkeit zuschreiben. „Das verzerrt trainierte KI-System könnte also eine gesellschaftliche Ungleichbehandlung verstärken und die ökonomische Wohlfahrt von Frauen zusätzlich verringern“, erklärt Bauer.

Das Problem lässt sich allerdings deutlich vermindern und gegebenenfalls sogar lösen, indem kontinuierlich Feedbackschleifen mit repräsentativen, nicht verzerrten Daten eingebaut werden. Somit lernt der Algorithmus fortlaufend weiter, bis er die sogenannte algorithmische Diskriminierung überwindet und „vorurteilsfrei“ funktioniert. „Um den Erfolg des KI-Systems zu messen, ist es nach wie vor nötig, dass Menschen die Leistung und damit die Qualität eines trainierten Algorithmus überwachen“, so Bauer.

Bislang setzt die Finanzbranche KI-Systeme ein, um die menschliche Entscheidungsfindung im operativen Geschäft zu unterstützen oder sogar zu automatisieren sowie um Risiken zu minimieren. Zu den Anwendungsgebieten zählen unter anderem Chatbots, intelligente Assistenten für Kunden:innen, automatischer Hochfrequenzhandel, automatisierte Betrugserkennung oder Gesichtserkennung zur Identifikation von Kunden:innen. Für das Forschungspapier haben die Wissenschaftler selbst Daten im Zuge eines Experiments erhoben, das in den Jahren zwischen 2016 und 2019 mit mehr als 3.600 Personen durchgeführt wurde.

Download des SAFE Working Paper No. 287 (in englischer Sprache)


Wissenschaftlicher Kontakt

Dr. Kevin Bauer
Wissenschaftler in der Forschungsabteilung Financial Intermediation
E-Mail: bauerwhatever@safe-frankfurt.de
Telefon: +49 69 798 30075