Falsche Lösung für RätselWenn künstliche Intelligenz über die eigene Dummheit stolpert
Generative Sprachmodelle können Erstaunliches leisten – oder in die Irre gehen, wie Zentralbank-Forscher zeigen.
Künstliche Intelligenz meistert immer mehr Aufgaben. Von der Erzeugung von Computercodes und Bildern bis zur Lösung komplexer mathematischer Probleme hat sie beeindruckende Fähigkeiten bewiesen. So meldete kürzlich ein Forschungsteam Erfolge bei der Entdeckung neuer Werkstoffe.
Aber wissen und verstehen die neuen Werkzeuge wirklich, was sie tun? Oder plappern sie lediglich Texte nach, auf die sie bei ihrer Trainingsroutine im Internet gestossen sind, so wie ein Schüler, der auswendig Gelerntes wiedergibt, aber nicht viel damit anfangen kann?
Die Frage ist relevant für Organisationen, die KI in ihrer Arbeit einsetzen. So arbeiten beispielsweise auch Zentralbanken damit – und das kann Konsequenzen für ganze Volkswirtschaften haben.
Fernando Perez-Cruz und Hyun Song Shin, Forscher der Bank für Internationalen Zahlungsausgleich (BIZ) in Basel, haben deshalb das KI-Tool GPT-4 mit dem sogenannten Cheryls-Geburtstags-Problem getestet. Es handelt sich dabei um ein Logikrätsel, das 2015 viralging und eine eigene Wikipedia-Seite hat: Cheryl hat ihren Freunden Albert und Bernard die Aufgabe gestellt, ihren Geburtstag zu erraten. Sie wissen, dass Cheryls Geburtstag eines von zehn möglichen Daten ist.
Um die Sache zu vereinfachen, hat Cheryl Albert den Monat ihres Geburtstags genannt, während sie Bernard den Tag des Monats, in dem sie Geburtstag hat, mitteilte. Mehr wissen die beiden nicht.
Selbstbewusst die falsche Lösung geliefert
Wenig erstaunlich präsentierte die KI eine einwandfreie Lösung, wenn es den ursprünglichen Wortlaut des Rätsels vor sich hatte. Aber sie versagte, wenn die Forscher bloss unwesentliche Details wie die Namen der Personen oder die Monate veränderten.
Die Lösung des Rätsels erfordert in zweierlei Hinsicht Raffinesse. Erstens geht es um Wissen darüber, was andere wissen oder nicht wissen. Zweitens müssen sogenannte kontrafaktische Aussagen in der Form «Was wäre, wenn» verwendet werden.
Das schaffte die KI nicht. Sie sprach nach wie vor von Monaten, die im veränderten Rätsel gar nicht zur Auswahl standen. Sie machte zudem offensichtliche logische Fehler in der Argumentation. Statt zu realisieren, dass sie in eine Sackgasse geraten war, lieferte sie selbstbewusst eine falsche Antwort.
Das erhärtet den Verdacht, dass die KI bloss die angelesene Lösung des Rätsels nachplapperte, ohne die Logik zu verstehen. Das Experiment deute darauf hin, dass solche KI-Tools «noch nicht als Ersatz für die rigorosen Argumentationsfähigkeiten fungieren können, die für einige zentrale analytische Aktivitäten notwendig sind», schreiben die Forscher. Die neuen Werkzeuge können in die Irre gehen, wenn der Kontext eine Rolle spielt. Bei ihrem Einsatz sei deshalb Vorsicht geboten.
Fehler gefunden?Jetzt melden.
