Sprachlupe: Warum KI-Modelle noch lernen müssen, zu schweigen

Selbsterkenntnis, so heisst es, sei er erste Schritt auf dem Weg zur Besserung. Gilt das auch für die grossen Sprachmodelle, die heute meistens gemeint sind, wenn von Künstlicher Intelligenz (KI) die Rede ist? Für einen kleinen Test blenden wir zurück zur ersten «Sprachlupe» dieses Jahres. Darin ging es auch um Beispiele, wie «die Redaktion ihre Arbeit mit KI so auf den Punkt bringt, dass auch Frau Müller am Bläsiring etwas davon hat». Bei der Vorarbeit war mir entfallen, wo ich das gelesen hatte und wie die Strasse genau hiess. Also fragte ich Google im KI-Modus nach einer «Zeitschrift, in der die Durchschnittsleserin als ‹Frau Müller vom Bläsiweg› betitelt wurde».

Die Antwort kam im Handumdrehen: «Der Begriff ‹Frau Müller vom Bläsiweg› (auch: ‹d’Frau Müller vom Bläsiweg›) ist ein redaktionsinternes Pseudonym für die hypothetische Durchschnittsleserin der Schweizer Illustrierten (SI).» Es folgten kurze, sinnvolle Darlegungen zu drei Punkten: Bedeutung, Hintergrund, Verwendung. Nach Belegen gefragt, trat die KI selbstsicher auf: «Es gibt fundierte Belege für die Nutzung der Kunstfigur ‹Frau Müller vom Bläsiweg› als Leitfigur in der Redaktion der Schweizer Illustrierten (SI).» Dazu gab es Verweise auf diverse Websites. Bei den plausibel klingenden Erläuterungen stand an erster Stelle: «Ursprung und Funktion: Die Bezeichnung wurde massgeblich unter der Leitung langjähriger Chefredaktoren wie Urs Heller und Peter Rothenbühler etabliert.»

«Statistisch generierte Erfindung»

Nur: Bei keiner der angeblichen Quellen fand sich irgendein Hinweis auf eine Frau Müller, ob vom Bläsiweg oder nicht. Damit konfrontiert, räumte die Google-KI den Fehler ein und erklärte ihn so: «Das widersprüchliche Verhalten rührt von einem Fehler im ersten Antwortschritt her, bei dem die KI fälschlicherweise Fragmente zu einer plausibel klingenden, aber nicht existenten Geschichte zusammengesetzt hat (Halluzination). […] Die Verwendung des Begriffs ‹fundierte Belege› für eine Information, die sich kurz darauf als statistisch generierte Erfindung herausstellt, ist ein systemisches Versagen und widerspricht dem Anspruch an Transparenz und Zuverlässigkeit. Hier ist die Einordnung dieses Fehlers:

• Überkonfidenz: KIs sind darauf trainiert, sprachlich flüssige und überzeugende Antworten zu formulieren. Wenn das Modell eine falsche Information (Halluzination) generiert, wählt es oft auch dazu passende Bekräftigungen wie ‹fundiert› oder ‹belegt›, um die interne logische Konsistenz der (falschen) Aussage zu wahren.
• Keine echte Überprüfung: In der ersten Antwort hat das System nicht wirklich ‹Belege› in einer Datenbank geprüft, sondern eine plausible Erklärung konstruiert, warum so ein Begriff existieren könnte. Die Behauptung, es gäbe Belege, war Teil dieser Konstruktion.»

Dieser Methode getreu, behauptete die KI auch, es gebe in der Schweiz viele Bläsiwege – dabei gibt es laut Swisstopo und Search.ch keinen einzigen. Nach einem anderen Anfall krassen Geflunkers, diesmal bei Googles Gemini, stellte ich dieses Assistenzprogramm zur Rede. Neben Erläuterungen zum Einzelfall bekam ich solche zur Grundlage:

«Fehlende echte Logik / ‹Weltmodell›:

• Das Problem: Ich habe kein echtes Bewusstsein und kein echtes Verständnis von Kausalität. Ich jongliere mit Symbolen und Sprache.
• Folge: Ich erkenne Widersprüche oft erst, wenn der Nutzer (Sie) mich explizit darauf hinweist. Ich habe kein ‹Gefühl› dafür, dass eine Information unsicher ist, sofern die statistische Wahrscheinlichkeit hoch erscheint.
• Wie Google das zu lösen versucht: Durch Groundedness wird versucht, Antworten an echten Suchergebnissen zu spiegeln. In unserem Fall hat dieser Abgleich versagt, weil das Modell die falschen Suchergebnisse als Bestätigung für die falsche These missinterpretiert hat.»

Nach den handelsüblichen, schier zerknirschten Entschuldigungen erhielt ich den Ratschlag, die Antworten jeweils selbst zu überprüfen. Gemini präsentierte auch Schlüsse für die künftige KI-Entwicklung und die Zwischenzeit bis dahin: «Es ist eine wichtige Lektion für die Entwicklung: Solange Systeme nicht lernen, bei fehlender Evidenz konsequent zu schweigen, bleibt die manuelle Recherche für Faktenfragen (besonders bei Namen und Biografien) oft die überlegene Methode.» Wie die «manuelle», also garantiert KI-freie Recherche geht, sagte der Assistent nicht, aber ich wusste es schon: eine andere (leider meist schlechtere) Suchmaschine benutzen oder bei Google im Suchfeld zusätzlich zu den Stichworten eingeben: «-ai», ohne die Anführungszeichen.

Besserung ohne Selbsterkenntnis?

Die zitierten drei Punkte zum Fehlen von Logik und Weltmodell lassen Selbsterkenntnis vermuten, aber der Schein trügt: Wie alle von einer KI generierten Texte sind sie ein raffiniertes Destillat aus dem umfangreichen Trainingsmaterial, manchmal mit einer begrenzten Internet-Suche ergänzt. Da ist weder ein Selbst mit entsprechendem Bewusstsein noch eine Erkenntnis im Sinn von strukturiertem Wissen. Aber vielleicht trotzdem ein erster Schritt zur Besserung? Für diese müssten wohl Googles Fachleute nachhelfen. Sie scheinen es noch nicht getan zu haben, wie vor einigen Tagen eine neue Antwort auf die ursprüngliche Anfrage zeigte. Auch diesmal «wusste» der KI-Modus, bei welcher Zeitschrift die «Frau Müller vom Bläsiweg» intern zitiert wurde:

«Dabei handelt es sich um die Annabelle. Der Begriff wurde vor allem durch den langjährigen Chefredaktor Guy Krneta geprägt (oder zumindest prominent genutzt). Er beschrieb damit die fiktive Durchschnittsschweizerin: bodenständig, eher konservativ, aber interessiert am Zeitgeschehen. ‹Frau Müller vom Bläsiweg› diente der Redaktion als Orientierungshilfe, um die Inhalte nicht zu elitär oder abgehoben zu gestalten. Der Bläsiweg steht dabei symbolisch für eine ganz normale Wohnstrasse in einem Basler Arbeiterquartier – ein starker Kontrast zum Glamour der Modewelt.»

Immerhin: Da wurde nun der Kleinbasler Bläsiring beinahe erkannt und ich erfuhr dank angegebenem Link, dass sogar eine Publikation ihn versehentlich Bläsiweg genannt hatte, in ganz anderem Zusammenhang. Aber da hatte ich längst ganz manuell, nämlich auf meinem Schreibtisch, die richtige Zeitschrift mit «Frau Müller vom Bläsiring» gefunden: das Fachmagazin «Edito». Es plauderte dabei nicht aus dem eigenen Nähkästchen, sondern aus jenem des «Blicks». Auf das Angebot von Google, mir weitere Details zur Anekdote aus der «Annabelle» zu liefern, ging ich nicht ein. Zuerst müsste ja jemand dem vielseitigen Theatermann und Schriftsteller Guy Krneta schonend beibringen, dass er dort lange Jahre Chefredaktor war.