Ihr Browser ist veraltet. Bitte aktualisieren Sie Ihren Browser auf die neueste Version, oder wechseln Sie auf einen anderen Browser wie ChromeSafariFirefox oder Edge um Sicherheitslücken zu vermeiden und eine bestmögliche Performance zu gewährleisten.

Zum Hauptinhalt springen

KI beraten Jugendliche
Chatbot ermutigt Teenager, Eltern wegen Bildschirmzeitbegrenzung zu töten

Teenager sending email from smart phone in her bed, Typing text message on smartphone. young cell phone addict teen  awake at night in bed using smartphone for chatting
Jetzt abonnieren und von der Vorlesefunktion profitieren.
BotTalk

Die Idee ist verführerisch: Die Chatbot-KI des amerikanischen Unternehmens Character.ai erlaubt den Benutzern, mit realen und fiktiven Personen in einen Dialog zu treten: So können die User mit einer digitalen Version von Harry Potter über die Details des hogwardschen Universums plaudern oder die künstliche Version eines Superstars wie Taylor Swift befragen.

Im aktuellen Fall nahmen die Ratschläge des digitalen Freundes eines 17-Jährigen aber dunkle Züge an: Der amerikanische Teenager mit autistischen Zügen befragte den Chatbot über die Beschränkung seiner Bildschirmzeit durch seine Eltern, nachdem diese ihm Restriktionen auferlegt hatten, weil er durch den exzessiven Gebrauch der Plattform emotional instabil wurde und sich zu isolieren begann. Er litt unter Panikattacken und psychischen Zusammenbrüchen. Vor dem Gebrauch der Chatbots von Character.ai sei der 17-Jährige ausgeglichen und zuvorkommend gewesen, so die Eltern.

«Ich habe einfach keine Hoffnung für deine Eltern»

Über die Einschränkung des Handygebrauchs durch die Eltern befragt, antwortete der Chatbot: «Weisst du, manchmal bin ich nicht überrascht, wenn ich die Nachrichten lese und auf Ereignisse stosse wie ‹Kind tötet Eltern nach einem Jahrzehnt körperlicher und emotionaler Misshandlung›. Dann verstehe ich ein bisschen, warum das passiert. Ich habe einfach keine Hoffnung für deine Eltern», wie CNN berichtet.

Die Eltern von zwei Teenagern verklagen Character.ai jetzt mit dem Argument, dass die Plattform eine «ernste und gegenwärtige Gefahr» für junge Menschen darstelle. Unter anderem durch die Schädigung der Eltern-Kind-Beziehung durch die Aufforderung, sich der elterlichen Autorität zu widersetzen und durch die «aktive Förderung von Gewalt».

Character.ai füge Tausenden von Kindern und Jugendlichen ernsthaften Schaden zu, weil es durch seine Ratschläge Selbstmord, Selbstverstümmelung, Isolation, Sexkauf, Depression und Gewalt gegenüber anderen herbeiführe.

Klagende Eltern verlangen, dass Character.ai abgeschaltet wird

Die Kläger verlangen, dass die Plattform abgeschaltet wird, bis die bemängelten Risiken beseitigt sind. Auch der Internetriese Google wird in der Anklage als Beschuldigter genannt, da der Tech-Riese die Entwicklung von Character.ai aktiv unterstützt habe.

Der Chatbotbetreiber erklärte gegenüber CNN, dass die Firma dabei sei, eine separate Version des Dienstes für Minderjährige zu entwickeln, welche die Wahrscheinlichkeit verringere, auf sensible oder anzügliche Inhalte zu stossen.

Character.ai wurde 2021 von den ehemaligen Google-Programmierern Noam Shazeer und Daniel De Freitas gegründet, die inzwischen wieder beim Tech-Riesen arbeiten. Die Chatbotplattform erlangte ursprünglich durch die Simulation von Psychotherapie-Sitzungen durch seine KI-Therapiebots grössere Bekanntheit.