Foto von Roman Synkevych auf Unsplash
Substack führt KI-Detektor ein: Claudefishing als neues Phänomen
Ist das das Aus für KI generierte Texte? Das Portal Substack hat seinen KI Detektor Pangram für die User freigeschalten. Über ihn können sie prüfen, ob ein Text selbt geschrieben ist, oder eben von einem LLM zusammengesetzt wurde. Prima Idee, denkt man erst, dann wird der ganze AI-Slob aus dem Netz gefiltert. Chris Best, der CEO von Substack, hat dafür bereits einen griffigen Claim: Claudefishing.
Auch gute KI-Detektoren produzieren False Positives
Die Substack-Community reagiert wenig amused. Einer schreibt: „I ran a passage from Charles Dickens through an AI detector the other day. It came back 95.43% AI-generated.” Kein Wunder, schließlich sind die LLMs mit Weltliteratur trainiert worden.
Sam Illingworth, Professor für Critical AI Literacy an der Edinburgh Napier University, ließ seine Doktorarbeit aus dem Jahr 2010 durch einen Detektor laufen. Auf LinkedIn veröffentlichte er das Ergebnis: „I ran my PhD thesis through an AI detector. It told me 70% of it was written by AI.” Mit dem Score bekam er ein Angebot, man könne seinen Text durch einen AI Humanizer laufen lassen, damit er wie von einem Menschen geschrieben klinge. Die Firma wollte also nicht nur seine Daten abgreifen und mit ihnen ihr Programm trainieren, sondern auch noch von seiner möglichen Notlage profitieren. Denn im schulischen und akademischen Bereich ist es längst Praxis, Arbeiten durch Detektor-Tools nach ihrem KI-Anteil beurteilt, um so KI-Texten auf die Spur zu kommen.
Wie kann man KI-Text erkennen?
Worauf wir beim Lesen und Schreiben achten sollten, aktualisiert Wikipedia im Beitrag „Signs of AI writing”. Typische Zeichen sind:
-
Gegenüberstellung von Dingen oder Sachverhalten
-
alles ist bedeutungsschwanger und doch unkonkret
-
Bilder funktionieren nicht
-
alles ist „sinnbildlich für”, „steht für”, „steht für”…
-
lange Gedankenstriche
-
Dreiklang von Begriffen
-
ein Fazit
EU AI Act: Wann müssen KI-Texte gekennzeichnet werden?
„Der KI Podcast” der ARD hat sich in der Folge „Woran erkenne ich einen KI Text” intensiv mit dem Thema beschäftigt. Es geht dabei auch um den EU-AI-Act und die Kennzeichnungspflicht von KI generierten Texten.
Gekennzeichnet werden müssen: Deepfakes, also KI-generierte oder manipulierte Bild-, Audio- oder Videoinhalte, die bestehenden Personen, Objekten, Orten, Entitäten oder Ereignissen ähneln und einer Person fälschlicherweise als authentisch oder wahrheitsgetreu erscheinen würden. Und KI-generierte oder manipulierte Texte, die veröffentlicht wurden, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, die keiner menschlichen Überprüfung oder redaktionellen Kontrolle unterzogen wurden und bei denen die redaktionelle Verantwortung nicht von einer juristischen oder natürlichen Person übernommen wurde.
Anke Kotte ist Journalistin und Expertin für Unternehmenskommunikation. Sie analysiert die Auswirkungen von KI auf Content-Erstellung und berät Unternehmen zu wirksamer Kommunikation. Mehr hier