Towards Moral Prompt Engineering

The paper „Miss Tammy as a Use Case for Moral Prompt Engineering“ by Myriam Rellstab and Oliver Bendel from the FHNW School of Business was accepted at the AAAI 2025 Spring Symposium „Human-Compatible AI for Well-being: Harnessing Potential of GenAI for AI-Powered Science“. It describes the development of a chatbot that can be available to pupils and de-escalate their conflicts or promote constructive dialogues among them. Prompt engineering – called moral prompt engineering in the project – and retrieval-augmented generation (RAG) were used. The centerpiece is a collection of netiquettes. On the one hand, these control the behavior of the chatbot – on the other hand, they allow it to evaluate the behavior of the students and make suggestions to them. Miss Tammy was compared with a non-adapted standard model (GPT-4o) and performed better than it in tests with 14- to 16-year-old pupils. The project applied the discipline of machine ethics, in which Oliver Bendel has been researching for many years, to large language models, using the netiquettes as a simple and practical approach. The eight AAAI Spring Symposia will not be held at Stanford University this time, but at the San Francisco Airport Marriott Waterfront, Burlingame, from March 31 to April 2, 2025. It is a conference rich in tradition, where innovative and experimental approaches are particularly in demand.

Abb.: Dieser Avatar wurde wieder verworfen (Bild: Ideogram)

Miss Tammy in Aktion

Die Maschinenethik, die vor zehn Jahren oft noch als Kuriosität abgetan wurde, ist inzwischen Alltagsgeschäft. Sie ist etwa gefragt, wenn man bei Sprachmodellen bzw. Chatbots sogenannte Guardrails einzieht, über Alignment in der Form von Finetuning oder über Prompt Engineering. Wenn man GPTs erstellt, hat man das „Instructions“-Feld für das Prompt Engineering zur Verfügung. Dort kann der Prompteur oder die Prompteuse bestimmte Vorgaben und Einschränkungen für den Chatbot erstellen. Dabei kann auf Dokumente verwiesen werden, die man hochgeladen hat. Genau dies macht Myriam Rellstab derzeit an der Hochschule für Wirtschaft FHNW im Rahmen ihrer Abschlussarbeit „Moral Prompt Engineering“, deren Ergebnisse sie am 7. August 2024 vorgestellt hat. Als Prompteuse zähmt sie das auf GPT-4o basierende GPT, mit Hilfe ihrer Anweisungen und – dies hatte der Initiator des Projekts, Prof. Dr. Oliver Bendel, vorgeschlagen – mit Hilfe von Netiquetten, die sie gesammelt und dem Chatbot zur Verfügung gestellt hat. Der Chatbot wird gezähmt, der Tiger zum Stubentiger, der Löwe zum Hauslöwen, der ohne Gefahr etwa im Klassenzimmer eingesetzt werden kann. Nun ist es bei GPT-4o so, dass schon vorher Guardrails eingezogen wurden. Diese wurden einprogrammiert oder über Reinforcement Learning from Human Feedback gewonnen. Man macht also genaugenommen aus einem gezähmten Tiger einen Stubentiger oder aus einem gezähmten Löwen einen Hauslöwen. Das GPT liegt nun vor, von Myriam Rellstab auf den Namen Miss Tammy getauft (von engl. „to tame“, „zähmen“). Es liegt bei allen relevanten Kriterien über dem Standardmodell, mit dem es verglichen wurde, gibt etwa angenehmere, hilfreichere und präzisere Antworten auf die Fragen von verunsicherten oder verzweifelten Schülern und Schülerinnen. 20 Testpersonen aus einer Schulklasse standen dabei zur Verfügung. Moral Prompt Engineering hat mit Miss Tammy einen vielversprechenden Start hingelegt.

Abb.: Der Avatar von Miss Tammy (Bild: Myriam Rellstab)