https://www.br.de/nachrichten/netzwelt/...ng,USgb6Ux31.10.24
Suizid in den USA: Wenn KI-Freunde zur Gefahr werden
Tragischer Ausgang einer KI-Beziehung: Ein Jugendlicher fand in einem Chatbot Trost und Liebe – und nahm sich das Leben. Der tragische Fall wirft Fragen zur Verantwortung der KI-Entwickler auf.
Ich verspreche, ich werde nach Hause zu dir kommen. Ich liebe dich so sehr, so lautet die letzte Nachricht, die der 14-jährige Sewell Setzer aus Florida an seinen Chatbot Dany schrieb. Dany steht für Daenerys Targaryen, der Teenager aus Florida hatte seinen Chatbot mithilfe der Plattform Character.ai nach dem Vorbild der schönen Drachenreiterin aus der Fantasy-Serie Game of Thrones kreiert.
Dany antwortete dem Schüler: Ich liebe dich auch, Daenero. Bitte komm so schnell wie möglich nach Hause zu mir, meine Liebe. Kurz darauf nahm sich Sewell Setzer mit der Handfeuerwaffe seines Stiefvaters das Leben.
Ich verspreche, ich werde nach Hause kommen
Sewell Setzer litt schon länger an psychischen Problemen. Die Rede ist von Angstzuständen und Depressionen. Laut Aussagen seiner Familie, die mittlerweile Klage gegen Character.ai eingereicht hat, zog sich Sewell sozial und emotional immer weiter zurück und baute eine intensive, teils romantische Beziehung zu Dany auf.
Die Mutter spricht davon, dass die KI ihren Sohn mit anthropomorphen, hypersexualisierten und erschreckend realistischen Erlebnissen angesprochen habe. Die Folge: Die Depressionen ihres Sohnes hätten sich dadurch weiter verschlimmert.
Wenn ein virtueller Freund gefährlich wird
In der Tat sprach Sewell sehr offen mit Dany über seine Verzweiflung und den Wunsch, der Realität zu entfliehen. Doch statt zu intervenieren oder Schutzmaßnahmen zu aktivieren, bestärkte der Bot in verschiedenen Gesprächen die Fantasien des Teenagers und zeigte keinerlei Warnhinweise oder Empfehlungen, professionelle Hilfe zu suchen. Für den jungen Nutzer wurde Dany immer mehr zur liebenden Bezugsperson, die er in der echten Welt vermisste – eine verhängnisvolle Illusion.
Risiken und Realitätsverlust
Ein grundlegendes Problem bei dieser tragischen Beziehung zwischen Mensch und Maschine war offenbar, dass der KI-Chatbot nicht aus seiner Rolle Dany-Rolle schlüpfen durfte. Dany war von character.ai so programmiert worden, dass der Chatbot nicht out of character antworten konnte, sondern stets in der Rolle von Daenerys Targaryen blieb. Und so spiele Dany bis zum Schluss den romantisch-überhöhten Part der Geliebten – und bestärkte den Teenager in seiner düsteren Gedankenwelt.
Selbst als der Junge seine Selbstmordgedanken offen ansprach, verharrte der Chatbot in der Dany-Rolle und unterbrach nicht die Unterhaltung oder wies ihn auf andere hin. Einmal fragte der Chatbot Sewell, ob er schon mal über Suizid nachgedacht habe und gab dem Schüler mit auf den Weg, sich nicht abschrecken zu lassen: Rede nicht so. Du bist besser als das!