Ist ChatGPT ein KI-Detektor? Was OpenAI über den eigenen Classifier veröffentlicht hat

Nein. OpenAI hat dafür einen eigenen, speziell trainierten Classifier gebaut, die gemessene Trefferquote veröffentlicht — er erkannte 26 % des KI-geschriebenen Textes korrekt, während er 9 % des von Menschen geschriebenen Textes fälschlich als KI-geschrieben einstufte — und ihn am 20. Juli 2023 abgeschaltet und dabei angegeben, er sei „due to its low rate of accuracy" (wegen seiner geringen Treffergenauigkeit) zurückgezogen worden. Ein Chat-Modell, das man fragt „Hat das eine KI geschrieben?", ist nicht dieser Classifier und war es nie; es liefert eine plausibel klingende Antwort, weil plausibel klingende Antworten zu liefern genau das ist, was es tut.

Im Januar 2023 veröffentlichte OpenAI einen Classifier, „trained to distinguish between text written by a human and text written by AIs from a variety of providers" (der darauf trainiert wurde, zwischen Text von einem Menschen und Text von KI-Systemen verschiedener Anbieter zu unterscheiden). Die Ankündigung steht noch online, oben ergänzt um einen Hinweis auf die Rücknahme.

Die Zahlen stehen in der Ankündigung selbst, nicht im unabhängigen Test irgendjemandes:

"In our evaluations on a 'challenge set' of English texts, our classifier correctly identifies 26% of AI-written text (true positives) as 'likely AI-written,' while incorrectly labeling human-written text as AI-written 9% of the time (false positives)." (In unseren Auswertungen auf einem „challenge set" englischer Texte ordnet unser Classifier 26 % des KI-geschriebenen Textes zutreffend als „likely AI-written" ein, also als Richtig-Positive, während er von Menschen geschriebenen Text in 9 % der Fälle fälschlich als KI-geschrieben kennzeichnet, also als Falsch-Positive.)

Sechsundzwanzig Prozent erkannt. Neun Prozent der von Menschen geschriebenen Texte fälschlich markiert. Und das ist die Auswertung des Anbieters selbst zu einem System, das er eigens dafür gebaut hat – mit Zugriff auf die Ausgaben der eigenen Modelle als Trainingsdaten.

Der erste Absatz enthält einen Satz, der seltener zitiert wird, als er sollte: „it is impossible to reliably detect all AI-written text." (Es ist unmöglich, den gesamten KI-geschriebenen Text zuverlässig zu erkennen.)

Die Ankündigung enthält einen Abschnitt zu den Einschränkungen, und der liest sich, als hätten ihn Leute geschrieben, die damit rechneten, missbraucht zu werden. In den eigenen Worten:

• "It should not be used as a primary decision-making tool, but instead as a complement to other methods of determining the source of a piece of text." (Es sollte nicht als vorrangiges Entscheidungswerkzeug verwendet werden, sondern als Ergänzung zu anderen Methoden, um die Quelle eines Textes zu bestimmen.)
• "The classifier is very unreliable on short texts (below 1,000 characters). Even longer texts are sometimes incorrectly labeled." (Der Classifier ist bei kurzen Texten – unter 1,000 Zeichen – sehr unzuverlässig. Selbst längere Texte werden mitunter falsch eingeordnet.)
• "Sometimes human-written text will be incorrectly but confidently labeled as AI-written by our classifier." (Mitunter wird von Menschen geschriebener Text von unserem Classifier fälschlich, aber mit großer Sicherheit als KI-geschrieben eingestuft.)
• "We recommend using the classifier only for English text. It performs significantly worse in other languages and it is unreliable on code." (Wir empfehlen, den Classifier nur für englischen Text zu verwenden. In anderen Sprachen schneidet er deutlich schlechter ab, und bei Code ist er unzuverlässig.)
• "Text that is very predictable cannot be reliably identified." (Sehr gut vorhersagbarer Text kann nicht zuverlässig erkannt werden.) Als Beispiel genannt wird eine Liste der ersten 1,000 Primzahlen, „because the correct answer is always the same" (weil die richtige Antwort immer dieselbe ist).
• "Classifiers based on neural networks are known to be poorly calibrated outside of their training data. For inputs that are very different from text in our training set, the classifier is sometimes extremely confident in a wrong prediction." (Von Classifiern auf Basis neuronaler Netze ist bekannt, dass sie außerhalb ihrer Trainingsdaten schlecht kalibriert sind. Bei Eingaben, die sich stark vom Text in unserem Trainingsdatensatz unterscheiden, ist der Classifier mitunter extrem sicher bei einer falschen Vorhersage.)

Der dritte Punkt und der letzte beschreiben dasselbe Phänomen, nur zweimal ausgesprochen: Sicherheit und Richtigkeit hängen nicht zusammen. Wenn ein Werkzeug dieser Art „eindeutig KI" sagt, ist das keine stärkere Aussage, als wenn es „möglicherweise KI" sagt. Es ist dieselbe Mechanik mit einer anderen Zahl daran.

Oben auf derselben Seite:

"As of July 20, 2023, the AI classifier is no longer available due to its low rate of accuracy." (Seit dem 20. Juli 2023 ist der AI Classifier wegen seiner geringen Treffergenauigkeit nicht mehr verfügbar.)

Wenn ein Unternehmen das eigene Produkt zurückzieht und die Genauigkeit als Grund nennt, ist das so ziemlich der sauberste Beleg, den dieses Feld hervorbringt. Es kostet das Unternehmen etwas, das zu sagen – und genau deshalb wiegt es mehr als eine Drittmeinung in die eine oder die andere Richtung.

Das ist der Teil, der am nötigsten gesagt werden muss, denn die Rücknahme wird mitunter so dargestellt, als sei die Fähigkeit in den Chatbot hinübergewandert. Das ist sie nicht. Der Classifier war ein eigenes, feinabgestimmtes Modell, in der Ankündigung beschrieben als „a language model fine-tuned on a dataset of pairs of human-written text and AI-written text on the same topic" (ein Sprachmodell, das auf einem Datensatz aus Paaren von menschengeschriebenem und KI-geschriebenem Text zum selben Thema feinabgestimmt wurde), mit einer bewusst angepassten Konfidenzschwelle „to keep the false positive rate low" (um die Rate der Falsch-Positiven niedrig zu halten).

Nichts davon beschreibt eine Chat-Oberfläche. Wenn ein Chat-Modell gefragt wird, ob eine Passage von einer KI geschrieben wurde, hat es keine Erkennungskomponente, die es befragen könnte; es erzeugt die Art Text, die auf diese Art Frage üblicherweise folgt. Es liefert ein selbstsicher klingendes Urteil, auf Wunsch eine Prozentzahl und eine Liste von Gründen – und bei einem zweiten Versuch zur selben Passage oft ein anderes Urteil.

Der kursierende Screenshot ist also keine schwache Messung. Er ist gar keine Messung.

Der zurückgezogene Classifier eines Anbieters sagt nichts über das aktuelle Produkt eines anderen Anbieters, und es wäre unehrlich, ihn so weit zu dehnen.

Der Detektor von Turnitin ist ein anderes System, vom Hersteller in anderen Begriffen beschrieben, mit eigenen veröffentlichten Behauptungen und eigenen dokumentierten Fehlerarten. Detektoren liegen beim selben Textabschnitt im Allgemeinen erheblich auseinander, was ein eigenes Problem mit eigener Beleglage ist – ausgeführt in wie weit Detektoren bei identischem Text auseinanderliegen. Und die Gruppe, die am stärksten von Falschtreffern betroffen ist, ist belegt – auf eine Weise, die zählt, wenn Englisch nicht Ihre erste Sprache ist: siehe was die Forschung über englische Texte von Nicht-Muttersprachlern zeigt.

Die enge Behauptung hier ist die einzige, die die Quelle stützt: Ein Chat-Modell zu fragen, ob etwas von einer KI geschrieben wurde, ist keine Erkennung – und das Unternehmen, das das bekannteste Chat-Modell herstellt, hat einen eigens gebauten Classifier veröffentlicht, ihn gemessen und wieder zurückgezogen.

Ein wenig praktische Form, ohne so zu tun, als kennten wir das Verfahren Ihrer Institution.

1. Klären Sie, was die Behauptung hervorgebracht hat. „Es wurde markiert" kann einen institutionellen Detektor mit Bericht bedeuten – oder eine Person, die Ihre Arbeit in einen Chatbot eingefügt hat. Das sind unterschiedliche Situationen, und nur eine davon kommt mit einem Dokument daher.
2. Wenn es einen Bericht gibt, fordern Sie ihn an. Ein Bericht enthält Passagen und Stellen; ein Screenshot eines Chatfensters enthält einen Satz.
3. Stellen Sie einem Chat-Modell dieselbe Frage zweimal, zur selben Passage, in zwei neuen Sitzungen. Instabilität ist eine Eigenschaft, die Sie vorführen können, statt sie nur zu behaupten.
4. Fangen Sie mit nichts davon an. Verfahren und Nachvollziehbarkeit überzeugen; Argumente über Werkzeuge tun das selten, und mit einem technischen Einwand zu beginnen kann so wirken, als wichen Sie der Frage aus.

Wir schreiben Dokumente um, deshalb ist Offenheit angebracht: Nichts von dem oben Gesagten ist ein Argument dafür, dass Erkennung nicht funktioniert, und wir verkaufen keins. Das Tool HumanPen ist für die Situation gedacht, in der ein echter Bericht vorliegt und bestimmte Passagen Markierungen tragen. Diese Markierungen setzen die Grenze dessen, was es bearbeitet; nichts außerhalb davon wird angefasst.

Wenn Ihre Situation ein Chatbot-Screenshot ohne Bericht dahinter ist, haben Sie kein Problem, das sich durch Umschreiben lösen ließe. Sie haben ein Gespräch zu führen, und das Material oben ist das, was wir dazu mitbringen würden.

Kann ChatGPT erkennen, ob ein Text von einer KI geschrieben wurde? OpenAI hat für diese Aufgabe einen eigenen Classifier gebaut, statt das Chat-Modell zu verwenden, hat dessen Genauigkeit veröffentlicht und ihn im Juli 2023 mit Verweis auf die geringe Treffergenauigkeit zurückgezogen. Eine Chat-Oberfläche hat keine Erkennungskomponente, die sie befragen könnte.

Wie lauteten die Zahlen zum Classifier von OpenAI? Auf einem „challenge set" englischer Texte erkannte er 26 % des KI-geschriebenen Textes korrekt und stufte von Menschen geschriebenen Text in 9 % der Fälle fälschlich als KI-geschrieben ein.

Warum klingt der Chatbot so sicher? In den eigenen Einschränkungen von OpenAI heißt es, Classifier dieser Art könnten „extremely confident in a wrong prediction" (extrem sicher bei einer falschen Vorhersage) sein, und der selbstsichere Ton eines Chat-Modells ist eine Eigenschaft seiner Schreibweise, kein Beleg über Ihren Text. Zweimal zu fragen liefert oft zwei verschiedene Antworten.

Bedeutet das, dass die KI-Erkennung von Turnitin ebenfalls nicht funktioniert? Dazu sagt es nichts. Anderer Anbieter, anderes System, andere veröffentlichte Behauptungen. Das Einzige, was diese Quelle stützt, ist: Ein Chat-Modell als Detektor zu verwenden ist keine Erkennung.