Pangram – der «KI»-Detektiv im Test

Eines vorweg: Ich nutze sogenannte Künstliche Intelligenz nicht. Weder zum Verfassen eines Artikels, noch zum Verbessern oder Veredeln. Doch jetzt habe ich eine Ausnahme gemacht. Seitdem vor allem in Deutschland immer häufiger bekannt wird, dass sich Politiker und Journalisten der «KI» bedienen, ohne es zu deklarieren, ist oft von Pangram die Rede: einem Programm, das herausfinden soll, ob ein Text von einem Menschen oder von «KI» verfasst worden ist.

Doch was taugt Pangram überhaupt? Um das herauszufinden, habe ich das Programm mit drei Sorten von Texten gefüttert:

• mit Artikeln von mir,
• mit Artikeln von mir, die ich von «KI» hatte veredeln lassen,
• und mit Artikeln, die ich von «KI» nach meinen Vorgaben hatte verfassen lassen.

Mein eigener Text

Als Erstes habe ich Pangram mit einem Artikel von mir gefüttert. Der Artikel war eine Kritik an einer Datenanalyse zur Häufigkeit von Velounfällen in Schweizer Städten, die Anfang August in den Zeitungen des Tamedia-Verlags erschienen war.

Pangram lieferte das Resultat innert Sekundenbruchteilen: «100 % of this text ist Human written.» Auf deutsch: Dieser Text ist zu 100 Prozent von einem Menschen verfasst.

Test bestanden.

Die originellere Version

In einem zweiten Schritt forderte ich Chat-GPT dazu auf, meinen Text «origineller» zu formulieren. Die Antwort: «Gerne!» Ich solle den Text liefern, dann formuliere Chat-GPT

• «origineller und lebendiger,
• mit abwechslungsreicherem Satzbau,
• flüssiger und moderner,
• ohne die Kernaussagen oder Fakten zu verändern».

Dann folgte noch der Hinweis: «Ich achte ausserdem darauf, dass der Text natürlich klingt und nicht übertrieben oder künstlich wirkt.»

Der Titel lautete nun nicht mehr: «Der Unfug mit dem Datenjournalismus.» Sondern: «Der Irrweg des Datenjournalismus.» Den von Chat-GPT origineller formulieren Artikel finden sie hier.

Und was sagte Pangram dazu? Das Urteil fiel differenziert aus: «67 % of this text is AI.» Auf deutsch: 67 Prozent dieses Textes stammt von einer «KI». Und Pangram präzisierte sogar: «Mostly AI-generated and AI-assisted, human-written opening.» Also: grösstenteils «KI»-generiert und «KI»-unterstützt, von einem Menschen verfasster Einstieg.

Test bestanden. Pangram hatte festgestellt, dass es eine Mischform ist.

Noch satirischer und bissiger

Ich war noch nicht ganz zufrieden mit Chat-GPT. Und das teilte ich auch mit. Chat-GPT schlug daher vor: «Wenn gewünscht, kann ich den Text auch noch satirischer und bissiger im Stil einer Medienkolumne formulieren.» Das wollte ich.

Nun lautete der Titel: «Der grosse Datenzauber: Wie man aus schlechten Zahlen gute Schlagzeilen macht.» Von meinem ursprünglichen Text war nun nicht mehr viel vorhanden. Viele Formulierungen waren forciert originell. Um nicht zu sagen: doof. Diesen Vorschlag von Chat-GPT können Sie hier nachlesen.

Für Pangram war der Fall nach der zweiten «Veredelung» klar: «100 % of this text is AI.» Das heisst: 100 Prozent dieses Textes stammen von «KI». Der Vorschlag von Chat-GPT hatte mit meinem Artikel in der Tat so gut wie nichts mehr gemein.

Test bestanden.

Die Arbeit der «KI» überlassen

In einem letzten Schritt machte ich es mir einfach. Ich gab Chat-GPT den Auftrag: «Schreib mir einen Zeitungsartikel darüber, welche Schweizer Städte für Velofahrer besonders gefährlich sind. Der Titel darf maximal 63 Zeichen lang sein. Der Lead 131 Zeichen lang.»

Chat-GPT machte sich nicht sofort an die Arbeit. Zuerst fragte die «KI» noch «welche Aussage der Artikel vertreten» solle:

• «Tamedia-Ranking übernehmen,
• Tamedia-Ranking kritisch hinterfragen,
• neutrale Einordnung beider Sichtweisen,
• eigene Daten oder Fakten einarbeiten».

Ich entschied mich für die unkritische Variante. Nun titelte Chat-GPT: «Zug führt das Ranking der gefährlichsten Velostädte an.» Titel- und Leadlänge waren in Ordnung. Es folgte sogar noch ein Angebot: «Falls der Artikel wie ein klassischer Zeitungsbericht der CH-Media, Tamedia oder der NZZ klingen soll, kann ich den Stil noch näher an diese Redaktionen anlehnen.» Ich verzichtete. Den Artikel finden Sie hier.

Auch diesmal war es für Pangram keine Frage: «100 % of this text is AI.» Das heisst: 100 Prozent dieses Textes stammen von «KI».

Test wieder bestanden.

Immer zuverlässig

So verfuhr ich mit insgesamt zehn Artikeln von mir. Zuerst liess ich das Original von Pangram prüfen, dann den von Chat-GPT, Claude, Gemini, Grok oder Perplexity veränderten Artikel und schliesslich einen von diesen «KI» selbständig verfassten Artikel zum Thema.

Pangram war immer zuverlässig. Die Artikel von mir beurteilte das Programm stets als «human written», veränderte Artikel als Mischform und «KI»-Texte als «AI-generated». Natürlich kann Pangram keine hieb- und stichfesten Beweise liefern, aber Hinweise schon.