Pangram – der «KI»-Detektiv im Test
Eines vorweg: Ich nutze sogenannte Künstliche Intelligenz nicht. Weder zum Verfassen eines Artikels, noch zum Verbessern oder Veredeln. Doch jetzt habe ich eine Ausnahme gemacht. Seitdem vor allem in Deutschland immer häufiger bekannt wird, dass sich Politiker und Journalisten der «KI» bedienen, ohne es zu deklarieren, ist oft von Pangram die Rede: einem Programm, das herausfinden soll, ob ein Text von einem Menschen oder von «KI» verfasst worden ist.
Doch was taugt Pangram überhaupt? Um das herauszufinden, habe ich das Programm mit drei Sorten von Texten gefüttert:
- mit Artikeln von mir,
- mit Artikeln von mir, die ich von «KI» hatte veredeln lassen,
- und mit Artikeln, die ich von «KI» nach meinen Vorgaben hatte verfassen lassen.
Mein eigener Text
Als Erstes habe ich Pangram mit einem Artikel von mir gefüttert. Der Artikel war eine Kritik an einer Datenanalyse zur Häufigkeit von Velounfällen in Schweizer Städten, die Anfang August in den Zeitungen des Tamedia-Verlags erschienen war.
Pangram lieferte das Resultat innert Sekundenbruchteilen: «100 % of this text ist Human written.» Auf deutsch: Dieser Text ist zu 100 Prozent von einem Menschen verfasst.
Test bestanden.
Die originellere Version
In einem zweiten Schritt forderte ich Chat-GPT dazu auf, meinen Text «origineller» zu formulieren. Die Antwort: «Gerne!» Ich solle den Text liefern, dann formuliere Chat-GPT
- «origineller und lebendiger,
- mit abwechslungsreicherem Satzbau,
- flüssiger und moderner,
- ohne die Kernaussagen oder Fakten zu verändern».
Dann folgte noch der Hinweis: «Ich achte ausserdem darauf, dass der Text natürlich klingt und nicht übertrieben oder künstlich wirkt.»
Der Titel lautete nun nicht mehr: «Der Unfug mit dem Datenjournalismus.» Sondern: «Der Irrweg des Datenjournalismus.» Den von Chat-GPT origineller formulieren Artikel finden sie hier.
Und was sagte Pangram dazu? Das Urteil fiel differenziert aus: «67 % of this text is AI.» Auf deutsch: 67 Prozent dieses Textes stammt von einer «KI». Und Pangram präzisierte sogar: «Mostly AI-generated and AI-assisted, human-written opening.» Also: grösstenteils «KI»-generiert und «KI»-unterstützt, von einem Menschen verfasster Einstieg.
Test bestanden. Pangram hatte festgestellt, dass es eine Mischform ist.
Noch satirischer und bissiger
Ich war noch nicht ganz zufrieden mit Chat-GPT. Und das teilte ich auch mit. Chat-GPT schlug daher vor: «Wenn gewünscht, kann ich den Text auch noch satirischer und bissiger im Stil einer Medienkolumne formulieren.» Das wollte ich.
Nun lautete der Titel: «Der grosse Datenzauber: Wie man aus schlechten Zahlen gute Schlagzeilen macht.» Von meinem ursprünglichen Text war nun nicht mehr viel vorhanden. Viele Formulierungen waren forciert originell. Um nicht zu sagen: doof. Diesen Vorschlag von Chat-GPT können Sie hier nachlesen.
Für Pangram war der Fall nach der zweiten «Veredelung» klar: «100 % of this text is AI.» Das heisst: 100 Prozent dieses Textes stammen von «KI». Der Vorschlag von Chat-GPT hatte mit meinem Artikel in der Tat so gut wie nichts mehr gemein.
Test bestanden.
Die Arbeit der «KI» überlassen
In einem letzten Schritt machte ich es mir einfach. Ich gab Chat-GPT den Auftrag: «Schreib mir einen Zeitungsartikel darüber, welche Schweizer Städte für Velofahrer besonders gefährlich sind. Der Titel darf maximal 63 Zeichen lang sein. Der Lead 131 Zeichen lang.»
Chat-GPT machte sich nicht sofort an die Arbeit. Zuerst fragte die «KI» noch «welche Aussage der Artikel vertreten» solle:
- «Tamedia-Ranking übernehmen,
- Tamedia-Ranking kritisch hinterfragen,
- neutrale Einordnung beider Sichtweisen,
- eigene Daten oder Fakten einarbeiten».
Ich entschied mich für die unkritische Variante. Nun titelte Chat-GPT: «Zug führt das Ranking der gefährlichsten Velostädte an.» Titel- und Leadlänge waren in Ordnung. Es folgte sogar noch ein Angebot: «Falls der Artikel wie ein klassischer Zeitungsbericht der CH-Media, Tamedia oder der NZZ klingen soll, kann ich den Stil noch näher an diese Redaktionen anlehnen.» Ich verzichtete. Den Artikel finden Sie hier.
Auch diesmal war es für Pangram keine Frage: «100 % of this text is AI.» Das heisst: 100 Prozent dieses Textes stammen von «KI».
Test wieder bestanden.
Immer zuverlässig
So verfuhr ich mit insgesamt zehn Artikeln von mir. Zuerst liess ich das Original von Pangram prüfen, dann den von Chat-GPT, Claude, Gemini, Grok oder Perplexity veränderten Artikel und schliesslich einen von diesen «KI» selbständig verfassten Artikel zum Thema.
Pangram war immer zuverlässig. Die Artikel von mir beurteilte das Programm stets als «human written», veränderte Artikel als Mischform und «KI»-Texte als «AI-generated». Natürlich kann Pangram keine hieb- und stichfesten Beweise liefern, aber Hinweise schon.
Themenbezogene Interessenbindung der Autorin/des Autors
Keine
_____________________
➔ Solche Artikel sind nur dank Ihren SPENDEN möglich. Spenden an unsere Stiftung können Sie bei den Steuern abziehen.
Mit Twint oder Bank-App auch gleich hier:
_____________________
Meinungen in Beiträgen auf Infosperber entsprechen jeweils den persönlichen Einschätzungen der Autorin oder des Autors.
Sehr geehrter Herr Diener
Herzlichen Dank für diesen informativen und nützlichen Artikel. Es freut mich, dass Sie keine KI für Ihre Artikel brauchen. Wissen Sie, wie das andere Autoren bei Infosperber handhaben? Gibt es dafür Regeln?
Freundliche Grüsse
Micha Siegrist
Guten Tag Herr Siegrist, wir wollen keine KI-Texte auf unserer Website. Manche Autoren nutzen sie jedoch zu Recherchezwecken oder zur Textkorrektur. Ich selber nutze sie nicht einmal dafür.
Wir löschen Kommentare, wenn wir merken, dass sie oder Teile davon von einer KI stammen.
Wer und was auch immer die «Eliten» sind – an ihnen liegt es beim aktuellen Zustand unserer Stammesgeschichte, wann und auf welche Weise das für alle belebte Natur unvermeidliche planetare Artensterben auch beim Homo sapiens eintritt. Ich spekuliere jetzt nicht darüber, ob die sogenannte Künstliche Intelligenz eine evolutionäre Option sein könnte. Sondern über die Heuchelei jener «Eliten», die um die wachsende Ungleichheit der Individuen im Makrokosmos «Menschheit» wissen – und sie als Ursache für die offenkundige Krise des Gesamtsystems Erde – Mensch mit «rattenhafter Wut» leugnen (eine Formulierung von Heinrich Böll in nur leicht anderem Zusammenhang).
Den vorstehenden Text (von Infosperber akzeptiert) hat Pangram detektiert, Ergebnis: 80% Ihres Textes weisen Anzeichen von KI auf. Da brauche ich keinen IQ-Test mehr – bin als KI zertifiziert. Für Mensa in Deutschland e.V. sollte das reichen.
Liebe KI, schreib mit einen text, den jede KI als 100% vom menschen verfasst erkennt.
KI-Checker, Plagiatsprüfer usw. : man schicke mal einen origonal-eigenen Text an diese Programme – und wird sich wundern.
Denn diese Programme verkünden einem «Du Böser – das ist zu xx% PLagiat und/oder zu yy% KI- generiert». Was nun ? Schaffen wir Instanzen, die uns unsere eigenen Sprachprodukte streitig machen, vielleicht sogar vor Gericht?
Wir leben und denken im Pool unserer Muttersprache – und das ist letztendlich genau der selbe Pool, aus dem diese Programme schöpfen (werden).
Das Ganze wird zum geistigen Zirkelschluß, ein sich selbst erfüllender Unsinn ohne Beweiskraft.
Waren auch selbst geschriebene Artikel darunter, die noch nirgends veröffentlicht waren? Bei Infosperber-Artikel finde ich das Urteil «100 % human» ziemlich trivial – wenn die KI die Texte auffindet und davon ausgeht, dass in der Infosperber Redaktion aufrichtige JournalistInnen arbeiten…
Ja, ich habe es auch mit Texten von mir durchgespielt, die noch nirgends erschienen sind. Auch diese bezeichnete Pangram als zu 100 Prozent von einem Menschen verfasst.