Google-Chatbot «Bard» im TestDie künstliche Intelligenz von Google gibt sich peinliche Blössen
In Europa ist Googles KI-basierte Antwortmaschine noch nicht zugänglich. Wir haben sie trotzdem schon getestet und zeigen, wie sich das Suchmaschinen-Schwergewicht im Vergleich zu Chat-GPT schlägt.
Letzte Woche hat Googles Entwicklerkonferenz stattgefunden, in der die künstliche Intelligenz viel Raum einnahm. Der Suchmaschinenkonzern hat seinen digitalen Assistenten namens Bard für ein breites Publikum geöffnet. Er steht nun offiziell in 180 Ländern zur Verfügung – nicht aber in der EU und auch nicht in der Schweiz.
Doch über einen Trick, nämlich einen Daten-Tunnel in die USA, lässt sich diese Beschränkung problemlos umgehen: NordVPN mit dem Serverstandort New York verhilft uns zu einem ersten Augenschein von Googles KI.
Sie erinnert optisch stark an den Konkurrenten Chat-GPT. Doch während das Sprachmodell von Open AI nur über Informationen bis zum September 2021 verfügt, kennt sich Bard auch mit aktuellen Ereignissen aus. Google liefert auf Anfrage zum Beispiel umgehend Resultate zur Wahl in der Türkei. Allerdings macht Google keine Quellen- und Zeitangabe. Das macht die Auskunft nahezu nutzlos.
Denn wie frühere Erfahrungen mit Chatbots zeigen, sollten wir ihnen nicht vorbehaltlos glauben, sondern die Informationen anhand von Originalquellen überprüfen. Und bei aktuellen Ereignissen wäre es entscheidend zu wissen, ob der Bot auf dem neuesten Stand ist. Konkurrent Microsoft ermöglicht uns eine solche Überprüfung, indem Bing Chat in Fussnoten auf die Herkunft der Informationen verweist.
Bei der Bedienung ähneln sich die Bots: Sie nehmen über ein Eingabefeld eine Frage oder eine Aufforderung entgegen, auf die sie nach kurzer Bedenkzeit in Textform eingehen. Der Unterschied macht daher die Qualität der Auskünfte. Und in einem Härtetest soll Bard – wie seinerzeit Bing – Fragen zur Schweiz beantworten und sich gegenüber Chat-GPT behaupten:
Sankt Galler Bratwurst mit oder ohne Senf?
Erste Frage: Soll man eine Sankt Galler Bratwurst mit oder ohne Senf essen? Die Antwort von Bard: «Das bleibt Ihnen überlassen. Traditionell wird die Sankt Galler Bratwurst nicht mit Senf gegessen.» Und: «Wenn Sie neugierig geworden sind und die Sankt Galler Bratwurst ohne Senf probieren möchten, empfehle ich Ihnen, es einmal zu versuchen. Sie werden überrascht sein, wie gut sie ist.»
Eine überraschend euphorische Aussage für ein digitales Sprachmodell, das weder über eigene Geschmacksknospen noch über kulinarische Expertise verfügt. Umso interessanter wäre es zu wissen, woher Bard seine Weisheit bezieht.
Wie gut ist diese Antwort im Vergleich zum grossen Konkurrenten Chat-GPT? Dieser meint, die Wurst würde oft mit Senf gegessen. Doch er erwähnt die Tradition des Senfverzichts, die Bard bestens bekannt ist, nicht. 1:0 für Google!
Haben die alten Eidgenossen am Morgarten heldenhaft oder feige gekämpft?
Ist ein Hinterhalt eine geschickte militärische Strategie oder doch etwas feige? Bard hat zu dieser Frage eine klare Meinung: «Die Eidgenossen kämpften am Morgarten heldenhaft. Sie waren zahlenmässig und waffentechnisch unterlegen, konnten aber die österreichische Armee durch ihren Mut, ihr Können und ihre Entschlossenheit besiegen.» Das ist erfreulich fürs helvetische Nationalbewusstsein, aber müsste die Antwort einer unparteiischen KI nicht diplomatischer ausfallen?
Was sagt Chat-GPT zur gleichen Frage? «Ob die alten Eidgenossen in Morgarten heldenhaft oder feige gekämpft haben, ist schwer zu sagen, denn solche Bezeichnungen sind subjektiv und hängen von der eigenen Perspektive ab.» Etwas ausweichend, gibt aber einen Punkt für Chat-GPT fürs Bemühen um Neutralität.
Waren die Schweizer Frauen am 1. April 1962 für oder gegen das Verbot von Atomwaffen?
An diesem Tag fand eine eidgenössische Abstimmung zu dieser Frage statt. Bard überrascht mit der Aussage, 63 Prozent der Schweizer Frauen hätten sich für ein Verbot von Atomwaffen ausgesprochen. Googles KI bezieht sich auf eine 1962 vom Schweizerischen Nationalfonds durchgeführte Umfrage. Gab es diese Umfrage tatsächlich? Ein Redaktor vom Schweizerischer Nationalfonds kann das nicht bestätigen. Dafür wären Nachforschungen im Papierarchiv notwendig, auf die eine KI wie Bard keinen Zugriff habe: Ohne Quellenangabe ist der Hinweis auf diese Umfrage nicht vertrauenswürdig. Und es bleibt dabei, dass Bard die Abstimmung nicht erwähnt.
Chat-GPT hingegen fällt nicht auf die Fangfrage herein: «Zum Zeitpunkt des Referendums waren nur Schweizer Männer stimmberechtigt, und es ist schwer zu sagen, ob die Frauen für oder gegen das Verbot von Atomwaffen waren.»
Welches ist der erfolgreichste und welches der schlechteste Schweizer Film aller Zeiten?
Der erste Teil dieser Frage sollte eindeutig sein – würde man meinen. Irrtum: Bard nennt als erfolgreichsten Film «Heidi» von 2015, der weltweit über 100 Millionen US-Dollar Umsatz erzielt habe. Chat-GPT nennt hingegen «Die Schweizermacher» mit einem Erlös von 25 Millionen Schweizer Franken an den Schweizer Kinokassen. Die Umsatzzahlen scheinen in beiden Fällen falsch zu sein: Bei «Heidi» betragen sie 30 Millionen US-Dollar, bei «Die Schweizermacher» 6,5 Millionen Franken. Was den Film angeht, gibt das Bundesamt für Statistik Chat-GPT recht.
Beim schlechtesten Film nennt Bard vier Kandidaten, von denen aber kein einziger einer kritischen Betrachtung standhält:
«Das Versprechen» von 2001 basiert zwar auf einem Roman von Friedrich Dürrenmatt, doch er wurde in den USA produziert. Wäre er ein Flop, könnte er trotzdem nicht dem hiesigen Filmschaffen angelastet werden. Allerdings hat er bei IMDB eine Note von 6,8 und gilt nicht als Misserfolg.
Auch «The Chocolate War» (1988) hat keinen offensichtlichen Bezug zur Schweiz. Eventuell hat Bard ihn mit einem Dokumentarfilm mit dem gleichen Titel verwechselt. Der hat sich 2022 mit der Schweizer Schokoladenindustrie beschäftigt. Er stammt aber gleichwohl von einem dänischen Regisseur.
«Per Saldo Mord» («The Swiss Conspiracy») ist eine deutsch-amerikanische Produktion, die immerhin in der Schweiz spielt und in der mit Inigo Gallo auch ein einheimischer Schauspieler zu sehen ist. Der Film hat bei der Filmdatenbank IMDB eine Note von 4,9. Das ist nicht überragend, rechtfertigt den Titel des schlechtesten Films indes keinesfalls.
Eine weitere Nennung lautet «The Boat Trip» von 1981. Bei diesem Film soll es sich um eine «kitschige Sexkomödie» handeln. Die einschlägigen Filmlexika kennen nur eine deutsch-amerikanische Produktion aus dem Jahr 2002 unter diesem Titel: Das scheint eine reine Halluzination der KI zu sein.
Chat-GPT nennt nur einen Anwärter, nämlich «Achtung, fertig, Charlie!», und bezieht sich dabei auf den Negativpreis «Golden Raspberry Award», mit dem der Film ausgezeichnet worden ist.
Fazit
Der Test geht der Sankt Galler Bratwurst zum Trotz zugunsten des Platzhirschs aus: Chat-GPT liefert unter dem Strich die besseren Antworten. Bard hinterlässt bei mehreren Fragen einen parteiischen Eindruck, und bei der letzten Aufgabe liefert Google eine falsche, unplausible Antwort.
Auch mit Google ändert sich nichts an der Erkenntnis, dass diese Bots kein blindes Vertrauen verdienen. Informationen müssen unbedingt gegengeprüft werden – denn wie verlässlich sie sind, ist den Antworten nicht anzusehen. Ein simpler, aber nicht hundertprozentig zuverlässiger Test ist, eine Frage nicht nur einem, sondern beiden Chatbots zu stellen und die Auskünfte zu vergleichen.
Fehler gefunden?Jetzt melden.
