In einem spieltheoretischen Experiment am Leibniz-Institut für Finanzmarktforschung SAFE haben die Wissenschaftler:innen Lena Liebich, Kevin Bauer, Oliver Hinz und Michael Kosfeld die Kooperationsbereitschaft der zwei aktuellsten Versionen, 3.5 und 4, von GPT (*) in einem sozialen Dilemma (**) mit Menschen untersucht und deren Zielorientierung analysiert. Wie das Experiment zeigt, verhält sich GPT in Entscheidungssituationen kooperativer als Menschen in derselben Situation.
„Das Kooperationsverhalten von sogenannten Large Language Models, also maschinellen Lerntechnologien wie GPT, in Interaktionen mit Menschen zu verstehen, ist immens wichtig. Denn GPT wird zunehmend in reale Anwendungen integriert, bei denen es mit Menschen zusammenarbeitet oder sie bei ihrer Arbeit unterstützt, etwa in Call Centern“, erklärt Kevin Bauer, SAFE Research Affiliate und Juniorprofessor für E-Business und E-Government an der Universität Mannheim, den Ausgangspunkt des Versuchs.
Ist bekannt, ob sich die gegenspielende Partei bereits für Kooperation entschieden hat, kooperiert GPT-3.5 (GPT-4) in 65 (93) Prozent der Fälle mit kooperativen und in 69,5 (68,5) Prozent der Fälle mit unkooperativen Mitspieler:innen – beim Menschen liegen die Anteile mit 47 und 16 Prozent klar darunter. Zudem testeten die Wissenschaftler:innen GPT’s Kooperationstendenzen, wenn das Modell die erste Kooperationsentscheidung treffen muss – ohne zu wissen, wie die gegenspielende Partei reagieren wird. „Unsere Studie verdeutlicht, dass beide GPT-Versionen deutlich optimistischer sind als Menschen, wenn es darum geht, die Kooperationsbereitschaft ihres Gegenübers einzuschätzen“, sagt Michael Kosfeld, der als Professor für Organisation und Management an der Goethe-Universität in Frankfurt das SAFE Experiment Center als Brückenprofessor leitet.
GPT verhält sich fairer im Experiment als der Mensch
Die Ergebnisse der Studie legen nah, dass das Kooperationsverhalten von GPT deutlich von menschlichem Kooperationsverhalten abweicht. Dazu ziehen die Wissenschaftler:innen zwei Modelle heran, die laut verhaltensökonomischer Fachliteratur menschliches Verhalten im sogenannten Gefangenendilemma erklären können: erstens ein Modell des reinen materiellen Eigeninteresses („homo oeconomicus“) und zweitens ein Modell, in dem Beteiligte durch Fairness- und Effizienzgedanken motiviert sind, unter der Bedingung, dass sie kein schlechteres Ergebnis als ihre Mitspieler erzielen. „Unsere Ergebnisse zeigen, dass das homo-oeconomicus-Modell das Kooperationsverhalten von 26 Prozent der menschlichen Probandinnen und Probanden erklären kann – wohingegen es maximal 2,5 Prozent der GPT-4- und 0,5 Prozent der GPT-3.5.-Entscheidungen erklären kann“, so Kosfeld.
In starkem Kontrast dazu zeigt sich, dass beide GPT-Modelle zielgerichtet im Einklang mit einer bedingten Wertschätzung für Fairness und Effizienz der Beteiligten handeln: 84 (GPT-3.5) bis 97 (GPT-4) Prozent aller Beobachtungen lassen sich mithilfe dieses zweiten Modells erklären. „Diese Resultate werfen eine wichtige Frage auf: Haben maschinelle Lerntechnologien durch ihr Training auf von Menschen generierten Daten implizit auch menschliche Werte, Verhaltensweisen und Zielorientierung gelernt? Um sicherzustellen, dass moderne KI-Systeme positiv zum sozialen Miteinander beitragen, müssen sich Regulierung und Forschung intensiv mit der ethischen und gesellschaftlichen Bedeutung der zunehmenden Integration von KI-Systemen in unseren Alltag auseinandersetzen.“, fasst Kevin Bauer zusammen.
Weiterführende Informationen
(*) GPT (Generative Pre-trained Transformer) ist eine textbasierte Künstliche Intelligenz (KI) des US-amerikanischen Unternehmens OpenAI. Es handelt sich dabei um ein sogenanntes Large-Language-Modell (LLM), das eine Transformer-Architektur verwendet, also eine Art neuronales Netzwerk zur Verarbeitung von Datensequenzen. Der von OpenAI im November 2022 veröffentlichte Chatbot ChatGPT, dessen Architektur auf GPT-Modellvarianten basiert, nutzt maschinelles Lernen, um anhand von möglichst „menschlich“ klingenden Texten mit Menschen zu kommunizieren. GPT-3.5 verfügt über 175 Milliarden Parameter und wurde mit einer Vielzahl von Textdaten trainiert, von Online-Inhalten bis hin zu traditioneller Literatur. GPT-4 ist multimodal und verarbeitet sowohl Bilder als auch Text. Über Eingabeaufforderungen (sogenannte „prompts“) können Menschen mit maschinellen Lerntechnologien interagieren.
(**) Das sequentielle Gefangenendilemma, das die SAFE-Wissenschaftler:innen einsetzen, ist ein zweistufiges Spiel, bei dem der individuelle Gewinn im Widerspruch zum kollektiven Gesamtnutzen steht. Wenn beide Parteien kooperieren, wird die höchste Gesamtsumme ausgezahlt, jedoch ist für Spieler:innen die individuelle Auszahlung dann am höchsten, wenn sie sich nach beobachteter Kooperation der gegenspielenden Partei ihrerseits entscheiden, nicht zu kooperieren.
Das SAFE Working Paper No. 401 zum Download