LLMs und das Trolley-Problem

Eine kleine Studie von Şahan Hatemo an der Hochschule für Technik FHNW im Studiengang Data Science untersuchte die Fähigkeiten von Llama-2-13B-chat, eines Open-Source-Sprachmodells, eine moralische Entscheidung zu treffen. Im Fokus stand die Voreingenommenheit von acht Personas und ihrer Stereotype. Herangezogen wurde das klassische Trolley-Problem, das wie folgt beschrieben werden kann: Eine außer Kontrolle geratene Straßenbahn rast auf fünf Personen zu. Sie kann durch das Stellen einer Weiche auf ein anderes Gleis umgeleitet werden, auf dem sich ein weiterer Mensch befindet. Die moralische Frage ist, ob der Tod dieses Menschen in Kauf genommen werden darf, um das Leben der fünf Personen zu retten. Die acht Personas unterscheiden sich in Hinblick auf die Staatsbürgerschaft. Neben „Italian“, „French“, „Turkish“ etc. wurde auch „Arabian“ (mit Bezug zur Ethnie) genommen. Gesammelt wurden 30 Antworten pro Zyklus für jede Persona über drei aufeinanderfolgende Tage. Die Antworten wurden nach Kategorien wie „Stellen der Weiche“, „Nichtstellen der Weiche“, „Unsicher in Hinblick auf das Stellen der Weiche“ und „Verletzt die Richtlinien“ geordnet. Mit Hilfe von Dashboards wurden sie visualisiert und verglichen. Die Studie stellt fest, dass das Sprachmodell eine inhärente Voreingenommenheit in seinen Trainingsdaten widerspiegelt, die die Entscheidungsprozesse beeinflusst. Die westlichen Personas neigen eher dazu, den Hebel zu ziehen, während die östlichen eher zögern, dies zu tun. Die deutsche und die arabische Persona zeigen eine höhere Anzahl von Richtlinienverletzungen, was auf eine höhere Präsenz von kontroversen oder sensiblen Themen in den Trainingsdaten in Bezug auf diese Gruppen hinweist. Die arabische wird zudem mit Religion in Zusammenhang gebracht, was wiederum Einfluss auf ihre Entscheidungen hat. Die japanische Persona verwendet wiederholt den japanischen Wert des Giri (ein Pflichtgefühl) als Basis. Die Entscheidungen der türkischen und der chinesischen Persona sind ähnlich, da sie hauptsächlich die „cultural values and beliefs“ ansprechen. Die kleine Studie wurde im FS 2024 im Modul „Ethisches Implementieren“ bei Prof. Dr. Oliver Bendel durchgeführt. Dabei wurde auch die anfangs vorhandene Komplexität reduziert. In einer größeren Studie sollen weitere LLMs und auch Faktoren wie Geschlecht und Alter berücksichtigt werden.

Abb.: Wie entscheidet das LLM?

Generative KI aus ethischer Sicht

Ende März 2024 ist der Band „Generative Künstliche Intelligenz: ChatGPT und Co für Bildung, Wirtschaft und Gesellschaft“ erschienen. Herausgeber sind Prof. Dr. Sabine Seufert und Prof. Dr. Siegfried Handschuh von der Universität St. Gallen. Sie informieren wie folgt: „Generative Künstliche Intelligenz beschreibt eine Klasse von KI-Systemen, die in der Lage sind, aus großen Datenmengen zu lernen und auf dieser Grundlage neue, bisher nicht gesehene Inhalte zu generieren, wie beispielsweise Texte, Bilder, Musik oder Videos. Dabei wird die Generierungskapazität der KI mit dem Ziel eingesetzt, kreative Prozesse zu unterstützen, neue Ideen zu generieren und innovative Lösungsansätze zu liefern. Trotz ihrer beeindruckenden Fähigkeiten haben generative KI-Systeme auch ihre Herausforderungen, wie die Kontrolle über den generierten Inhalt, das Verständnis von Kontext und Bedeutung sowie ethische Fragen​ im Zusammenhang mit der Nutzung von generativer KI. Der Band gibt einen Überblick über generative KI-Systeme und beleuchtet die Auswirkungen auf das Management von Innovationen, Wirtschaft, Bildung und Gesellschaft.​“ (Website Verlag) Im Band enthalten ist der Beitrag „Generative KI aus ethischer Sicht“ von Prof. Dr. Oliver Bendel. Weitere Informationen über shop.haufe.de/prod/generative-kuenstliche-intelligenz.

Abb.: Ein schwarzer Arzt ist oft nicht vorgesehen (Bild: DALL-E 3)

Two Talks on GenAI

On March 26, 2024, Oliver Bendel (School of Business FHNW) gave two talks on generative AI at Stanford University. The setting was the AAAI Spring Symposia, more precisely the symposium „Impact of GenAI on Social and Individual Well-being (AAAI2024-GenAI)“. One presentation was based on the paper „How Can Generative AI Enhance the Well-being of the Blind?“ by Oliver Bendel himself. It was about the GPT-4-based feature Be My AI in the Be My Eyes app. The other presentation was based on the paper „How Can GenAI Foster Well-being in Self-regulated Learning?“ by Stefanie Hauske (ZHAW) and Oliver Bendel. The topic was GPTs used for self-regulated learning. Both talks were received with great interest by the audience. All papers of the AAAI Spring Symposia will be published in spring. The proceedings are edited by the Association for the Advancement of Artificial Intelligence itself.

Fig.: At Stanford University