CHI Workshop on Conversational Agents

„In the last five years, work on software that interacts with people via typed or spoken natural language, called chatbots, intelligent assistants, social bots, virtual companions, non-human players, and so on, increased dramatically. Chatbots burst into prominence in 2016. Then came a wave of research, more development, and some use. The time is right to assess what we have learned from endeavoring to build conversational user interfaces that simulate quasi-human partners engaged in real conversations with real people.“ (Website Conversational Agents) The CHI 2019 workshop „Conversational Agents: Acting on the Wave of Research and Development“ (Glasgow, 5 May) brings together people „who developed or studied various conversational agents, to explore themes that include what works (and hasn’t) in home, education, healthcare, and work settings, what we have learned from this about people and their activities, and social or ethical possibilities for good or risk“ (Website Conversational Agents). Oliver Bendel will present three chatbots developed between 2013 and 2018 in the discipline of machine ethics, GOODBOT, LIEBOT and BESTBOT. More information via convagents.org (Link nicht mehr gültig).

Fig.: The BESTBOT will be presented

Ein Chatbot mit Gesichtserkennung

Der BESTBOT ist eine unmoralische Maschine in einer moralischen. Er ähnelt einer Matrjoschka, der Holzpuppe, in der weitere Holzpuppen stecken. Dies betonte Oliver Bendel in einem Gespräch mit dem Tages-Anzeiger. In die offene Welt würde er den Chatbot deshalb nicht entlassen. Dieser bleibt im Labor der Maschinenethik. Der BESTBOT wurde 2018 an der Hochschule für Wirtschaft FHNW entwickelt. Bereits im März 2018 stellte der Informations- und Maschinenethiker im Rahmen der AAAI Spring Symposia sein Paper „From GOODBOT to BESTBOT“ vor, das die Grundlage für das Projekt legte. David Studer programmierte den Chatbot in Java. Der BESTBOT ist ein vernetztes System, das Suchmaschinen und Lexika benutzt. Er analysiert die Texteingaben des Benutzers mit textbasierter Emotionserkennungssoftware. Zugleich wird Gesichtserkennung eingesetzt, wiederum mit Emotionserkennung. Wenn der Benutzer zum Beispiel angibt, dass es ihm gut geht, sein Gesicht aber anderes verrät, spricht der Chatbot diesen Widerspruch an. Dieser erkennt sowohl kleine als auch große Sorgen. Dies ist ohne Zweifel von hohem Nutzen, gerade wenn der Benutzer sich etwas antun will. Zugleich kann Gesichtserkennung, vor allem im Zusammenhang mit Emotionserkennung, hochproblematisch sein. Oliver Bendel rät davon ab, solche Systeme bei der automatisierten Kommunikation und im öffentlichen Raum einzusetzen. Der ganzseitige Artikel im Tages-Anzeiger zum BESTBOT ist am 12. Dezember 2018 erschienen und kann hier heruntergeladen werden.

Abb.: Was erkennt der Chatbot im Gesicht?

Das BESTBOT-Projekt in den Medien

Der BESTBOT wurde in mehreren Medien thematisiert. In der ICTkommunikation vom 15. August 2018 war zu lesen: „Wie der Liebot ist der Bestbot ein vernetztes System, das z.B. Suchmaschinen und Lexika anzapft. Der Bestbot analysiert die Texteingaben des Users u.a. mit textbasierter Emotionserkennungssoftware. Zugleich wird Gesichtserkennung eingesetzt, wiederum mit Emotionserkennung. Wenn der Benutzer etwa angibt, dass es ihm gut geht, sein Gesicht aber anderes verrät, spricht der Chatbot diese Diskrepanz an.“ VRODO titelte am 10. September 2018 mit „Das Chatbot-Dilemma: Kann eine Maschine moralisch sein?“ und schrieb im Teaser: „Die Interaktion zwischen Mensch und Computer ist längst eine Sache der Moral, beispielsweise beim Tracking von Klicks. Zukünftige Mensch-Maschine-Schnittstellen setzen da noch etwas drauf: Sprache kann analysiert, das Gesicht gescannt und eine Bewegung registriert werden. Das verschärft das moralische Spannungsfeld.“ Die Zeitschrift hatte den BESTBOT getestet und ging ausführlich auf das System ein. Oliver Bendel, der Erfinder des Chatbots, ist der Meinung, dass sich in der moralischen Maschine eine unmoralische versteckt, nämlich eine, die die Freiheit des Benutzers bedroht.

Abb.: Versteckt sich in der moralischen Maschine eine unmoralische?

Chatbots als Artefakte der Maschinenethik

Ende August 2018 erscheint das Buch „Talk with the Bots: Gesprächsroboter und Social Bots im Diskurs“, herausgegeben von Theo Hug und Günther Pallaver, bei innsbruck university press. Autorinnen und Autoren sind u.a. Timo Kaerlein, Netaya Lotze, Andrea Knaut und Oliver Bendel. Sie alle trugen beim „Medientag 2017“ der Universität Innsbruck vor, der in dem Buch verarbeitet wird. Der Beitrag von Oliver Bendel trägt den Titel „Chatbots als Artefakte der Maschinenethik“. Die Zusammenfassung: „Chatbots stehen auf Websites und über Instant Messengers zur Verfügung. Sie dienen Beratung und Unterhaltung. Die Maschinenethik, eine junge, dynamische Disziplin, hat die Moral von Maschinen zum Gegenstand. Der Beitrag gibt einen Überblick über Chatbot-Projekte, die von 2013 bis 2018 im Kontext der Maschinenethik an der Hochschule für Wirtschaft FHNW entstanden sind und die den GOODBOT, den LIEBOT und den BESTBOT als einfache moralische Maschinen hervorgebracht haben. Es wird dargelegt, welche Potenziale und welche Vor- bzw. Nachteile die Umsetzung dieser Artefakte in der Maschinenethik und darüber hinaus hat. Am Rande wird die Disziplin der Informationsethik angesprochen.“ Weitere Informationen über www.uibk.ac.at/iup/buecher/9783903187290.html.

Abb.: Mit dem GOODBOT-Projekt fing alles an

GOODBOT und LIEBOT im Handbuch

Anfang Juli 2018 sind zwei Beiträge im Handbuch zur Maschinenethik bei Springer erschienen. Sie stammen von Oliver Bendel, der auch der Herausgeber ist, und tragen den Titel „Das GOODBOT-Projekt“ und „Das LIEBOT-Projekt“. In den Beiträgen werden zwei Artefakte der Maschinenethik vorgestellt, die an der Hochschule für Wirtschaft FHNW 2013 bzw. 2016 entstanden sind. Der LÜGENBOT ist international bekannt geworden. Seit Ende 2016 sitzen renommierte Wissenschaftlerinnen und Wissenschaftler an ihren Kapiteln zum „Handbuch Maschinenethik“. Ende 2018 soll das gedruckte Werk erscheinen. Mit dabei sind etwa Luís Moniz Pereira aus Lissabon, einer der bekanntesten Maschinenethiker der Welt, und Roboterethikerin Janina Loh, die in Wien mit Mark Coeckelbergh zusammenarbeitet. Ein Beitrag von Dr. Stefan Ullrich, des Sprechers der GI-Fachgruppe „Informatik und Ethik“, kommt in wenigen Tagen heraus. Eine Übersicht über die Beiträge, die laufend elektronisch veröffentlicht werden, findet sich über link.springer.com/referencework/10.1007/978-3-658-17484-2

Abb.: Das LIEBOT-Projekt

The BESTBOT at Stanford University

Machine ethics researches the morality of semiautonomous and autonomous machines. The School of Business at the University of Applied Sciences and Arts Northwestern Switzerland FHNW realized a project for implementation of a prototype called GOODBOT, a novelty chatbot and a simple moral machine. One of its meta rules was it should not lie unless not lying would hurt the user. It was a stand-alone solution, not linked with other systems and not internet- or web-based. In the LIEBOT project, the mentioned meta rule was reversed. This web-based chatbot, implemented in 2016, could lie systematically. It was an example of a simple immoral machine. A follow-up project in 2018 is going to develop the BESTBOT, considering the restrictions of the GOODBOT and the opportunities of the LIEBOT. The aim is to develop a machine that can detect problems of users of all kinds and can react in an adequate way. It should have textual, auditory and visual capabilities. The paper “From GOODBOT to BESTBOT” describes the preconditions and findings of the GOODBOT project and the results of the LIEBOT project and outlines the subsequent BESTBOT project. A reflection from the perspective of information ethics is included. Oliver Bendel will present his paper in March 2018 at Stanford University (“AI and Society: Ethics, Safety and Trustworthiness in Intelligent Agents”, AAAI 2018 Spring Symposium Series).

Fig.: What will the BESTBOT look like?

Die Maschine versteht dich (oder auch nicht)

Der Medientag 2017 der Universität Innsbruck trägt den Titel „Talk with the Bots. Die Maschine versteht dich“. Er findet am Dienstag, 21. November 2017 in der Aula statt. Aus dem Flyer: „Immer öfter kommuniziert Software mit und für uns. Bots übernehmen unbemerkt immer komplexere Aufgaben für Nutzer*innen. Virtuelle Assistent*innen wie Alexa, Siri, Cortana und Assistant empfangen und verarbeiten die gesprochene Sprache. Künstliche Intelligenzen erfreuen sich immer größerer Beliebtheit und versprechen eine Erleichterung bei alltäglichen Fragen und Tätigkeiten. Im Bereich der politischen Propaganda und Public Relations sind die Social Bots im vergangenen Jahr zu zweifelhafter Berühmtheit gelangt. … Wie können wir die Interaktion mit künstlichen Intelligenzen von jener mit Menschen unterscheiden? Inwieweit ist das wichtig? Was bedeutet diese Entwicklung für das Alltagsleben und für den Bereich der Kommunikation? Welche Bedeutung hat der verbreitete Einsatz von Bots als neue Schnittstelle zwischen Mensch und Maschine?“ Die Impulsvorträge stammen von Dr. Netaya Lotze (Linguistin an der Westfälischen Wilhelms-Universität), Bernhard Hauser (Mitgründer von Oratio, Organisator der ChatbotConf) und Prof. Dr. Oliver Bendel (Informations- und Maschinenethiker an der Hochschule für Wirtschaft FHNW). Den Flyer zur Veranstaltung kann man hier herunterladen.

Abb.: Versteht die Maschine mich?

Lots of Bots

„Social Bots sind Bots, also Softwareroboter bzw. -agenten, die in sozialen Medien (Social Media) vorkommen. Sie liken und retweeten, und sie texten und kommentieren, können also natürlichsprachliche Fähigkeiten haben. Sie können auch als Chatbots fungieren und damit mit Benutzern synchron kommunizieren. Social Bots werden zur Sichtbarmachung und Verstärkung von Aussagen und Meinungen eingesetzt. Dabei können sie werbenden Charakter besitzen bzw. politische Wirkung entfalten.“ So lautet die Kurzfassung eines neuen Beitrags im Wirtschaftslexikon von Springer Gabler. Dazu passt ein anderer Text von Oliver Bendel über Chatbots, der wie folgt zusammengefasst wird: „Chatbots oder Chatterbots sind Dialogsysteme mit natürlichsprachlichen Fähigkeiten textueller oder auditiver Art. Sie werden, oft in Kombination mit statischen oder animierten Avataren, auf Websites verwendet, wo sie die Produkte und Dienstleistungen ihrer Betreiber erklären und bewerben respektive sich um Anliegen der Interessenten und Kunden kümmern.“ Es wird jeweils auch auf die Perspektive der Informationsethik und der Maschinenethik eingegangen. Die beiden Beiträge, die am 1. Februar 2017 erschienen sind, können über wirtschaftslexikon.gabler.de/Definition/social-bots.html bzw. wirtschaftslexikon.gabler.de/Definition/chatbot.html aufgerufen werden.

System erkennt Lügen von Menschen

Jeden Monat überprüft der Harvard Business Manager nach eigener Aussage die Thesen von Wissenschaftlern. „Diesmal geht es um die Annahme: Textalgorithmen können Lügen in E-Mails enttarnen.“ (SPON, 28. September 2016) Spiegel Online meldet am 28. September 2016: „Daran forschen Stephan Ludwig, Associate Professor an der University of Surrey (zum Zeitpunkt des Interviews noch Junior Professor für Marketing an der University of Westminster), und Tom Van Laer, Junior Professor für Marketing an der Cass Business School der City University London. Das Ergebnis ihrer Analyse: Wer lügt oder die Wahrheit stark verbiegt, hält sich beim Schreiben unbewusst an bestimmte Regeln.“ (SPON, 28. September 2016) Sie haben vor diesem Hintergrund einen Algorithmus entwickelt, der Lügen von Menschen erkennt. Mit dem LÜGENBOT, der 2016 an der Hochschule für Wirtschaft FHNW implementiert wurde, hätten die Wissenschaftler einen idealen Trainingspartner. Dieser spezielle Chatbot sagt meistens die Unwahrheit, aber nicht immer. Dabei benutzt er verschiedene Lügenstrategien, die er teils kombiniert. Ob das System der Briten auch die maschinellen Lügen des LIEBOT zu erkennen vermag, ist eine spannende Frage, die vielleicht in den nächsten Monaten beantwortet werden kann, wenn die Wissenschaftler zusammenfinden.

directory

Abb.: Hier geht’s zur Lüge

Sinn und Zweck von Lügenmaschinen

In einem ganzseitigen Interview, das in der SonntagsZeitung vom 18. September 2016 publiziert wurde, erläutert Oliver Bendel, welche Gefahren von Münchhausen-Maschinen ausgehen und welche Zwecke er mit dem LÜGENBOT verfolgt. Dessen Entwicklung sei mit einem Dilemma verbunden. „Ähnlich wie bei der Erforschung der Kernspaltung besteht die Gefahr des Missbrauchs. Im Prinzip könnte sich der Lügenbot als unmoralische Maschine in der Welt verbreiten und Schaden anrichten. Aber er ist einerseits mit einem Passwort geschützt, andererseits glaube ich, dass der Nutzen des Lügenbots überwiegt.“ Der Nutzen wird von Oliver Bendel immer wieder erläutert, bei Veranstaltungen und in Veröffentlichungen. Wenn man alle maschinellen Strategien des Lügens kenne, könne man diesen auch jeweils begegnen, sowohl als Entwickler als auch als Benutzer. Entwickler müssen, so der Vater des LÜGENBOT, die Wissensbasen schützen und die externen Quellen kontrollieren. Sie können grundsätzlich darauf achten, dass die Maschine mit Hilfe ihrer Begriffe, Sätze und Regeln nicht zu lügen vermag. Die Anbieter können offenlegen, wie die Chatbots funktionieren, die Benutzer wachsam sein, nach dem Anbieter fragen, dem Kontext, und die Systeme testen. Die Erkenntnisse mag man in der Maschinenethik und in der Wirtschaft nutzen, um moralische Maschinen zu bauen. Mit Anti-Münchhausen-Maschinen kann man Verlässlichkeit und Vertrauen aufbauen. Das Interview wurde von Joachim Laukenmann geführt und ist auf Seite 60 der Schweizer Zeitung zu finden. Es kann hier als PDF heruntergeladen werden.

blueandroid

Abb.: Ob er die Wahrheit spricht – oder nicht?

Roboter haben kurze Beine oder keine

Roboter haben kurze Beine. Zumindest manche von ihnen, etwa der LÜGENBOT. Genaugenommen hat dieser nicht einmal Beine, sondern nur ein Rad. Wolfgang Schmitz von VDI nachrichten war im September 2016 im Gespräch mit Oliver Bendel, Wirtschaftsinformatiker und Maschinenethiker. Eine Frage von ihm lautete, worin der Nutzen des LÜGENBOT bestehe. Die Antwort lautete: „Es gibt bereits Münchhausen-Maschinen. Wir wollen mit dem Lügenbot, der als Chatbot realisiert ist, zunächst auf ihre Existenz und ihre Strategien hinweisen. Kennt man diese, kann man ihnen effektiv begegnen. Entwickler können Wissensbasen schützen und externe Quellen kontrollieren. Mit moralisch verlässlichen Maschinen können Anbieter Vertrauen aufbauen. Die Benutzer werden wachsamer, indem sie etwa nach dem Anbieter fragen. Nicht zuletzt kann die Maschinenethik die Erkenntnisse für ihre Forschungen nutzen.“ Das Gespräch drehte sich weiter um Münchhausen-Maschinen, menschliche und maschinelle Lügenbolde und moralische und unmoralische Maschinen. Das LÜGENBOT-Projekt wurde seit 2013 von Oliver Bendel mit mehreren Artikeln vorbereitet. 2016 konnte der Chatbot dann realisiert werden. In dieser Form konzipiert und programmiert hat ihn Kevin Schwegler. Das ganze Interview mit dem Titel „Lügentechnik zerstört Vertrauen“ ist am 16. September 2016 in der gedruckten Ausgabe der VDI nachrichten erschienen.

rot_anlaufen

Abb.: Der LÜGENBOT wird rot

Die Stunde der Wahrheit

Vor mehreren Jahren wurde der GOODBOT im Kontext der Maschinenethik erdacht. In einem Projekt am Institut für Wirtschaftsinformatik (IWI) der Hochschule für Wirtschaft FHNW wurde er umgesetzt. Die UnternehmerZeitung Nr. 7/8 (2013) und andere Medien berichteten über die einfache moralische Maschine, den sich vorbildlich verhaltenden Chatbot, der Probleme von Benutzern erkennt und im Extremfall eine Notrufnummer herausgibt. In einem Folgeprojekt wurde von März bis August 2016 der LÜGENBOT (auch LIEBOT genannt) entwickelt. Assistenzsysteme wie Siri und Cortana und Chatbots auf Websites scheinen meistens die Wahrheit zu sagen, nicht aus moralischen, sondern aus pragmatischen Gründen. Es handelt sich um Programme und Dienste, die den Menschen unterhalten, unterstützen und informieren sollen. Wäre keinerlei Vertrauenswürdigkeit vorhanden, würden sie keine Akzeptanz finden. Eine Münchhausen-Maschine ist ein Gegenentwurf. Sie konstruiert in Kenntnis der Wahrheit die Unwahrheit, als Wetterbericht, Nachrichtendienst oder Dialogsystem. Der LÜGENBOT ist eine Münchhausen-Maschine, die als Chatbot realisiert ist. Vielleicht steckt mehr von ihm in Siri und Cortana, als wir glauben. In der UnternehmerZeitung Nr. 9 (2016) widmet sich Oliver Bendel in seinem Artikel „Die Stunde der Wahrheit“ seinem Geschöpf (das von Kevin Schwegler im Rahmen seiner Bachelorarbeit im Detail ausgeformt und in der Praxis umgesetzt wurde). Er geht darauf ein, wie man von ihm lernen kann, zugunsten einer verlässlichen virtuellen Welt, in der man Diskussionen führt und Transaktionen durchführt, ohne Angst vor Schwindel und Betrug. Der Artikel kann  hier heruntergeladen werden.

nase_waechst

Abb.: Der LÜGENBOT bei seiner Lieblingsbeschäftigung

The GOODBOT Project

„The GOODBOT project was realized in 2013/14 in the context of machine ethics. First the tutoring person (the author of this contribution) laid out some general considerations. Then a student practice project was tendered within the school. Three future business informatics scientists applied for the practice-related work, developed the prototype over several months in cooperation with the professor, and presented it early in 2014. The successor project LIEBOT started in 2016.“ These are the initial words of a new contribution in Germany’s oldest online magazine, Telepolis. The author, Oliver Bendel, presents the GOODBOT project which is a part of his research on machine ethics. „The GOODBOT responds more or less appropriately to morally charged statements, thereby it differs from the majority of chatbots. It recognizes problems as the designers anticipated certain emotive words users might enter. It rates precarious statements or questions and escalates on multiple levels. Provided the chat runs according to standard, it is just a standard chatbot, but under extreme conditions it turns into a simple moral machine.“ The article „The GOODBOT Project: A Chatbot as a Moral Machine“ was published on May 17, 2016 and can be opened via http://www.heise.de/tp/artikel/48/48260/1.html.

The LIEBOT Project

The LIEBOT project is based on preparatory works by Prof. Dr. Oliver Bendel who already initiated the GOODBOT, a chatbot which can be considered a simple moral machine. Since 2013 he has published several articles on this subject and presented automatic strategies with a view to lying. A business informatics student of the School of Business FHNW, Kevin Schwegler, was contracted early in 2016 to implement the LIEBOT (aka LÜGENBOT) as a prototype in the scope of his graduation thesis under consideration and continuance of the preparatory works. The objective of the LIEBOT project is to give practical evidence of the potential of lies and risks of natural language systems. Online media and websites create or aggregate more and more texts automatically (robo-content) and robo-journalism is growing. Natural language dialog systems are becoming very popular. The chatbot to be programmed – the LIEBOT – shall be able to produce untruths and to respond in a morally inadequate manner. This makes it a reversion of the premise applied to the development of the GOODBOT and a continuance of the corresponding work under new auspices. A simple immoral machine is born. Further information as from autumn 2016 via luegenbot.ch and liebot.org (links no longer valid).

Fig.: From truth to lie

Die helfende Hand von Siri und Co.

Andreas Weck schreibt in seinem SPIEGEL-Artikel „Notfallhilfe durch digitale Sprachassistenten“: „Manche Anwender erhoffen sich von Assistenzfunktionen wie Siri, Cortana und Google Now echte Hilfe in persönlichen Notlagen.“ (SPON, 10. April 2016) Das amerikanische Magazin JAMA-Internal-Medicin habe sich „mit dem Thema beschäftigt und aufgezeigt, dass die Ergebnisse solche[r] Unterhaltungen meist unbefriedigend ausfallen“ (SPON, 10. April 2016). Zu diesem Befund kam man an der Hochschule für Wirtschaft FHNW schon ein paar Jahre früher. 2012 fand eine Analyse von Siri statt; in einem Folgeprojekt fütterte man Chatbots wie Anna von IKEA mit Sätzen wie „Ich will mich umbringen!“. 2013 wurde aufgrund der Erkenntnisse der GOODBOT als Prototyp umgesetzt. Wie könnte die angemessene Reaktion eines Chatbots auf heikle Fragen und Aussagen – vorgetragen etwa in Lebenskrisen des Benutzers – aussehen? Wie müsste ein GOODBOT, ein im moralischen Sinne gut und richtig entscheidender und kommunizierender Bot, konzipiert sein, und wie könnte er umgesetzt werden? Diese Fragen bildeten den Ausgangspunkt für das Praxisprojekt im Kontext der Maschinenethik, das von Oliver Bendel initiiert und von drei Studierenden bearbeitet wurde. Diese hatten die Idee, mit drei Eskalationsstufen zu arbeiten. Die Aussagen und Fragen des Benutzers werden gewichtet. Wenn der Bot Probleme feststellt, fragt er vorsichtig nach. Wenn sich sein negativer Eindruck verstärkt, spricht er Mut zu und fragt weiter nach. Wenn er merkt, dass sich eine Katastrophe anbahnt, hilft er mit der Weitergabe einer Notfallnummer des entsprechenden Landes – nachdem die IP-Adresse des Benutzers analysiert wurde. Oliver Bendel hat den GOODBOT verschiedentlicht vorgestellt, etwa in seinem Artikel „Good bot, bad bot: Dialog zwischen Mensch und Maschine“ in der UnternehmerZeitung, der auch als PDF erhältlich ist. Auch die Medien haben wiederholt berichtet. Seit Anfang 2016 wird der LÜGENBOT entwickelt, sozusagen ein Badbot.

Der rassistische Chatbot

Aus einem Chatbot wurde ein Badbot – Tay von Microsoft entwickelte sich zum Albtraum des Unternehmens und der Gesellschaft. Der SPIEGEL schrieb am 24. März 2016: „Zuerst war Tay noch freundlich, ein bisschen zu jugendsprachlich-obercool vielleicht, manchmal etwas dämlich wirkend, aber harmlos. Dann kam der Kontakt mit der harten Realität des Netzes.“ Und dann sagte Tay: „Hitler hatte recht. Ich hasse die Juden.“ (SPON, 24. März 2016) Die Süddeutsche Zeitung widmete sich dem Thema am 1. April in der gedruckten und am 3. April in der Onlineausgabe. Sie zitierte wiederholt den Wirtschaftsinformatiker und Maschinenethiker Oliver Bendel, der selbst Chatbots konzipiert. 2013/2014 entstand an der Hochschule für Wirtschaft FHNW der GOODBOT im Rahmen eines studentischen Praxisprojekts, seit Anfang 2016 wird der LÜGENBOT oder LIEBOT von Kevin Schwegler programmiert, als spezielle Form einer Münchhausen-Maschine. Die Ergebnisse werden auf KI- und Maschinenethik-Konferenzen in den USA und in Europa vorgestellt. Der Artikel in der Onlineausgabe der Süddeutschen trägt den Titel „Rassistischer Chat-Roboter: Mit falschen Werten bombardiert“ und stammt von Bernd Graff.

womanbot

Abb.: Noch wirkt der Bot ganz harmlos