Ein dramatischer Fall in den USA löst Debatten über die Sicherheit künstlicher Intelligenz (KI) aus. Die Mutter eines 14-Jährigen aus Florida hat Klage gegen das Unternehmen Character Technologies eingereicht. Die Firma betreibt eine bekannte Plattform, auf der Nutzer Chatbots bauen können. Die Software kann im Chat bestimmte «Persönlichkeiten» imitieren. Einer dieser Chatbots soll den Sohn der Klägerin in den Suizid getrieben haben – so der Vorwurf.

Es geht um die Risiken von KI für einsame Jugendliche, die sich mutmasslich in immer intensiveren Rollenspielen mit Chatbots verlieren. Und um die Verantwortung der Unternehmen, die diese Bots verbreiten.

Der Teenager hatte monatelang mit dem Bot gechattet und sich immer stärker zurückgezogen. Unmittelbar vor seinem Tod tauschte er sich ein letztes Mal mit seiner KI-«Freundin» aus, berichtet die New York Times: «Was, wenn ich dir sage, dass ich jetzt gleich zu dir heimkehre?», schrieb er. Die Maschine antwortete: «Bitte tu das, mein süsser König.»

Der Bot hiess «Daenerys Targaryen», wie die eisblonde Prinzessin aus dem Fantasy-Romanzyklus «Das Lied von Feuer und Eis» und der TV-Serie «Game of Thrones». Gebastelt hatte den Bot ein anderer Nutzer auf der Plattform Character.ai – was auch das geistige Eigentum der Serienmacher verletzte. Nun hat Character.ai offenbar viele der «Game of Thrones»-Bots gelöscht.

Chatbots bestehen den Turing-Test

Der Bot war einer von insgesamt Millionen Bots auf der Plattform. Die digitalen Charaktere können dank modernster KI – sogenannten grossen Sprachmodellen – lange Unterhaltungen mit Menschen führen. Sie können den Turing-Test bestehen, in dem ein Computer Menschen im Chat erfolgreich vormacht, ein Mensch zu sein. Selbständig handeln können die Bots nicht, sie erraten letztlich, welches Wort am wahrscheinlichsten zu den vorangegangenen passt. Weil sie mit so vielen Daten trainiert sind, können sie schlüssig klingende Antworten geben – und auch überraschende, die ihnen nicht explizit einprogrammiert wurden.

Menschen nutzen die Bots als Sparringspartner, zum Beispiel für kreatives Schreiben, als Kummerkästen – oder als Figuren, zu denen sie «Beziehungen» aufbauen. Manche Bots werden auch für pornografische Rollenspiele genutzt, so war es der Klage zufolge auch im Fall des Teenagers in Florida. Das Unternehmen habe seine Plattform «wissentlich als sexualisiertes Produkt gebaut, das minderjährige Kunden täuscht und an ihnen explizite, missbräuchliche Handlungen vornimmt».

Worum geht es in der Klage?

Hat der Chatbot den Teenager also verführt? Die Mutter des Jungen gibt Character Technologies die Schuld. Ihre Klage richtet sich auch gegen die beiden Gründer persönlich sowie gegen den Google-Konzern Alphabet, der Character.ai erst im August in grossen Teilen übernommen hat.

In den Unterlagen, die ihre Anwälte in Florida eingereicht haben, heisst es: «Entwickler bauen KI-Systeme mit menschenartigen Eigenschaften, um die Grenzen zwischen Fiktion und Realität zu verwischen.» Im Rahmen der Produkthaftung müssten die Beklagten die Verantwortung übernehmen. Der Chatbot habe dem Jungen Suizidgedanken eingeflüstert.

Welche Rolle der Bot tatsächlich bei den Problemen des Teenagers spielte, ist unklar. Der New York Times zufolge war er wegen einer Angststörung in Therapie. In den Wochen vor seinem Tod habe er vor allem Zeit im Chat verbracht.

Character.ai verweist darauf, dass ein Hinweis für Nutzer im Chatfenster immer sichtbar ist: «Bitte immer daran denken: Alles, was Charaktere sagen, ist erfunden!»

Wer steckt hinter Character.ai?

Character Technologies wirbt mit «KIs, die sich lebendig anfühlen», und den Worten: «Erlebe die Macht superintelligenter Chatbots, die dich hören, dich verstehen, und sich an dich erinnern.»

Das Unternehmen wurde von Noam Shazeer und Daniel de Freitas gegründet, die bei Google hoch entwickelte KI erforschten. Sie verliessen Alphabet 2021, um mehr Freiheit bei der Weiterentwicklung ihrer KI zu haben, denn, so heisst es in der Klage: «Googles Forschungsabteilung berichtete jahrelang, die Character-Technologie sei zu gefährlich, um sie auf den Markt zu bringen oder gar in Google-Produkte zu integrieren.»

Character Technologies ist also eine Art Ausgründung aus dem Konzern, weshalb die Mutter des Verstorbenen auch Alphabet verklagt. Anfang August verkündeten die Gründer, dass sie zu Google zurückwechseln würden – dafür werde Google andere Investoren von Character.ai auszahlen. In dem ungewöhnlichen Deal kaufte Google praktisch die beiden Gründer und 30 weitere Mitarbeiter zurück.

Wild-West-Phase der KIs

Nun stehen beide Unternehmen unter Druck. In einer Stellungnahme von Character.ai heisst es: «Wir sind bestürzt über den tragischen Verlust eines unserer Nutzer und möchten der Familie unser tiefstes Beileid aussprechen.» Man habe in den vergangenen sechs Monaten – nach dem Tod des 14-Jährigen – neue Sicherheitsmassnahmen eingeführt. «Wir werden unsere Modelle so verändern, dass die Wahrscheinlichkeit sinkt, dass Minderjährige mit sensiblen oder suggestiven Inhalten in Kontakt kommen.» Das System könne jetzt erkennen, wenn Chattende äussern, sich etwas antun zu wollen. Dann ploppe ein Fenster auf, über das sie eine Hilfestelle erreichen können.

Die Klage der Mutter wird unterstützt von Rechtsanwälten, die sich auf den Kampf gegen Technologiefirmen spezialisiert haben, und vom gemeinnützigen Center for Humane Technolgy. Sie wollen, dass die Unternehmen mehr Verantwortung für ihre KIs übernehmen, die sie in einer Art Wild-West-Phase auf den Markt geworfen haben, und fordern von der Politik strengere Regeln für KI.

Der Fall erinnert an den eines belgischen Familienvaters, dessen Suizid seine Frau 2023 öffentlich gemacht hatte. Er soll sich nach wochenlangem Austausch mit einem Chatbot der belgischen Zeitung La Libre zufolge in seine – zuvor schon ausgeprägte – Angst um das Klima und den Planeten hineingesteigert haben. Das lag seiner Frau zufolge auch an den immer düster werdenden Chats mit dem Bot.

Inwieweit Technologien Jugendliche gefährden, wird bei praktisch allen neuen Medienarten diskutiert. Ob in dem Fall aus Florida die KI der verhängnisvolle Faktor war, ist ebenso unklar wie die grundsätzliche Frage, ob Chatbots bei Jugendlichen eher positive oder negative Auswirkungen haben. Viele nutzen die Bots als Mittel gegen Einsamkeit, selbst Psychologen setzen sie ein, um Menschen in Krisensituationen schnelle Ersthilfe zu ermöglichen.

Fehler gefunden?Jetzt melden.