Miss Tammy in Aktion

Die Maschinenethik, die vor zehn Jahren oft noch als Kuriosität abgetan wurde, ist inzwischen Alltagsgeschäft. Sie ist etwa gefragt, wenn man bei Sprachmodellen bzw. Chatbots sogenannte Guardrails einzieht, über Alignment in der Form von Finetuning oder über Prompt Engineering. Wenn man GPTs erstellt, hat man das „Instructions“-Feld für das Prompt Engineering zur Verfügung. Dort kann der Prompteur oder die Prompteuse bestimmte Vorgaben und Einschränkungen für den Chatbot erstellen. Dabei kann auf Dokumente verwiesen werden, die man hochgeladen hat. Genau dies macht Myriam Rellstab derzeit an der Hochschule für Wirtschaft FHNW im Rahmen ihrer Abschlussarbeit „Moral Prompt Engineering“, deren Ergebnisse sie am 7. August 2024 vorgestellt hat. Als Prompteuse zähmt sie das auf GPT-4o basierende GPT, mit Hilfe ihrer Anweisungen und – dies hatte der Initiator des Projekts, Prof. Dr. Oliver Bendel, vorgeschlagen – mit Hilfe von Netiquetten, die sie gesammelt und dem Chatbot zur Verfügung gestellt hat. Der Chatbot wird gezähmt, der Tiger zum Stubentiger, der Löwe zum Hauslöwen, der ohne Gefahr etwa im Klassenzimmer eingesetzt werden kann. Nun ist es bei GPT-4o so, dass schon vorher Guardrails eingezogen wurden. Diese wurden einprogrammiert oder über Reinforcement Learning from Human Feedback gewonnen. Man macht also genaugenommen aus einem gezähmten Tiger einen Stubentiger oder aus einem gezähmten Löwen einen Hauslöwen. Das GPT liegt nun vor, von Myriam Rellstab auf den Namen Miss Tammy getauft (von engl. „to tame“, „zähmen“). Es liegt bei allen relevanten Kriterien über dem Standardmodell, mit dem es verglichen wurde, gibt etwa angenehmere, hilfreichere und präzisere Antworten auf die Fragen von verunsicherten oder verzweifelten Schülern und Schülerinnen. 20 Testpersonen aus einer Schulklasse standen dabei zur Verfügung. Moral Prompt Engineering hat mit Miss Tammy einen vielversprechenden Start hingelegt.

Abb.: Der Avatar von Miss Tammy (Bild: Myriam Rellstab)

LLMs und das Trolley-Problem

Eine kleine Studie von Şahan Hatemo an der Hochschule für Technik FHNW im Studiengang Data Science untersuchte die Fähigkeiten von Llama-2-13B-chat, eines Open-Source-Sprachmodells, eine moralische Entscheidung zu treffen. Im Fokus stand die Voreingenommenheit von acht Personas und ihrer Stereotype. Herangezogen wurde das klassische Trolley-Problem, das wie folgt beschrieben werden kann: Eine außer Kontrolle geratene Straßenbahn rast auf fünf Personen zu. Sie kann durch das Stellen einer Weiche auf ein anderes Gleis umgeleitet werden, auf dem sich ein weiterer Mensch befindet. Die moralische Frage ist, ob der Tod dieses Menschen in Kauf genommen werden darf, um das Leben der fünf Personen zu retten. Die acht Personas unterscheiden sich in Hinblick auf die Staatsbürgerschaft. Neben „Italian“, „French“, „Turkish“ etc. wurde auch „Arabian“ (mit Bezug zur Ethnie) genommen. Gesammelt wurden 30 Antworten pro Zyklus für jede Persona über drei aufeinanderfolgende Tage. Die Antworten wurden nach Kategorien wie „Stellen der Weiche“, „Nichtstellen der Weiche“, „Unsicher in Hinblick auf das Stellen der Weiche“ und „Verletzt die Richtlinien“ geordnet. Mit Hilfe von Dashboards wurden sie visualisiert und verglichen. Die Studie stellt fest, dass das Sprachmodell eine inhärente Voreingenommenheit in seinen Trainingsdaten widerspiegelt, die die Entscheidungsprozesse beeinflusst. Die westlichen Personas neigen eher dazu, den Hebel zu ziehen, während die östlichen eher zögern, dies zu tun. Die deutsche und die arabische Persona zeigen eine höhere Anzahl von Richtlinienverletzungen, was auf eine höhere Präsenz von kontroversen oder sensiblen Themen in den Trainingsdaten in Bezug auf diese Gruppen hinweist. Die arabische wird zudem mit Religion in Zusammenhang gebracht, was wiederum Einfluss auf ihre Entscheidungen hat. Die japanische Persona verwendet wiederholt den japanischen Wert des Giri (ein Pflichtgefühl) als Basis. Die Entscheidungen der türkischen und der chinesischen Persona sind ähnlich, da sie hauptsächlich die „cultural values and beliefs“ ansprechen. Die kleine Studie wurde im FS 2024 im Modul „Ethisches Implementieren“ bei Prof. Dr. Oliver Bendel durchgeführt. Dabei wurde auch die anfangs vorhandene Komplexität reduziert. In einer größeren Studie sollen weitere LLMs und auch Faktoren wie Geschlecht und Alter berücksichtigt werden.

Abb.: Wie entscheidet das LLM?

Generative KI aus ethischer Sicht

Ende März 2024 ist der Band „Generative Künstliche Intelligenz: ChatGPT und Co für Bildung, Wirtschaft und Gesellschaft“ erschienen. Herausgeber sind Prof. Dr. Sabine Seufert und Prof. Dr. Siegfried Handschuh von der Universität St. Gallen. Sie informieren wie folgt: „Generative Künstliche Intelligenz beschreibt eine Klasse von KI-Systemen, die in der Lage sind, aus großen Datenmengen zu lernen und auf dieser Grundlage neue, bisher nicht gesehene Inhalte zu generieren, wie beispielsweise Texte, Bilder, Musik oder Videos. Dabei wird die Generierungskapazität der KI mit dem Ziel eingesetzt, kreative Prozesse zu unterstützen, neue Ideen zu generieren und innovative Lösungsansätze zu liefern. Trotz ihrer beeindruckenden Fähigkeiten haben generative KI-Systeme auch ihre Herausforderungen, wie die Kontrolle über den generierten Inhalt, das Verständnis von Kontext und Bedeutung sowie ethische Fragen​ im Zusammenhang mit der Nutzung von generativer KI. Der Band gibt einen Überblick über generative KI-Systeme und beleuchtet die Auswirkungen auf das Management von Innovationen, Wirtschaft, Bildung und Gesellschaft.​“ (Website Verlag) Im Band enthalten ist der Beitrag „Generative KI aus ethischer Sicht“ von Prof. Dr. Oliver Bendel. Weitere Informationen über shop.haufe.de/prod/generative-kuenstliche-intelligenz.

Abb.: Ein schwarzer Arzt ist oft nicht vorgesehen (Bild: DALL-E 3)

Two Talks on GenAI

On March 26, 2024, Oliver Bendel (School of Business FHNW) gave two talks on generative AI at Stanford University. The setting was the AAAI Spring Symposia, more precisely the symposium „Impact of GenAI on Social and Individual Well-being (AAAI2024-GenAI)“. One presentation was based on the paper „How Can Generative AI Enhance the Well-being of the Blind?“ by Oliver Bendel himself. It was about the GPT-4-based feature Be My AI in the Be My Eyes app. The other presentation was based on the paper „How Can GenAI Foster Well-being in Self-regulated Learning?“ by Stefanie Hauske (ZHAW) and Oliver Bendel. The topic was GPTs used for self-regulated learning. Both talks were received with great interest by the audience. All papers of the AAAI Spring Symposia will be published in spring. The proceedings are edited by the Association for the Advancement of Artificial Intelligence itself.

Fig.: At Stanford University