ZeroGPT gegen Turnitin: Warum die KI-Werte nicht übereinstimmen

ZeroGPT und Turnitin sind zwei verschiedene KI-Detektoren mit eigenen Modellen, eigenen Trainingsdaten und eigenen Schwellenwerten für die Einstufung. Ein niedriger Wert bei ZeroGPT heißt nicht, dass Sie bei Turnitin ebenfalls niedrig liegen. Zu seinem Verfahren schreibt Turnitin in den FAQ: Der Text wird in überlappende Abschnitte zerlegt, und jeder Abschnitt erhält eine Wahrscheinlichkeit zwischen 0 und 1. Als Zielvorgabe für Fehlalarme nennt Turnitin unter 1 % für Dokumente mit mehr als 20 % KI-Text. Für Werte zwischen 1 und 19 % greift bei Turnitin außerdem die Sternchenregel: Der genaue Prozentwert wird nicht ausgegeben, um keine Genauigkeit vorzutäuschen, die es nicht gibt. ZeroGPT veröffentlicht eigene Angaben zur Trefferquote; die stammen vom Anbieter selbst und lassen sich nicht anhand der Unterlagen von Turnitin nachprüfen. Wenn Ihre Hochschule Turnitin einsetzt, sagt Ihr ZeroGPT-Wert nichts voraus.

Die FAQ beschreiben den Ablauf so:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (Wird eine Arbeit bei Turnitin eingereicht, werden die Sätze daraus entnommen und für die Vorhersage in überlappende Abschnitte zerlegt. Jeder Abschnitt wird vom KI-Erkennungsmodell eingeordnet und erhält einen Wert zwischen 0 und 1, der angibt, wie wahrscheinlich der Text von einem Menschen oder von einer KI stammt.)

Die Abschnitte überlappen sich, ein Satz kann also mehrere Bewertungen bekommen, die zu einem Prozentwert für das ganze Dokument zusammengefasst werden. ZeroGPT arbeitet mit einem eigenen Modell, das in den Unterlagen von Turnitin nicht beschrieben ist und womöglich nach einem völlig anderen Verfahren einstuft.

In den FAQ heißt es:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Wir sind bestrebt, die Leistungsfähigkeit unseres Detektors so weit wie möglich zu steigern und dabei die Fehlalarmrate — also den Anteil vollständig von Menschen geschriebener Texte, die fälschlich als KI-generiert eingestuft werden — bei Dokumenten mit mehr als 20 % KI-Text unter 1 % zu halten.)

Der nächste Satz: „In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents.“ (Mit anderen Worten: Möglicherweise stufen wir eines von 100 vollständig von Menschen geschriebenen Dokumenten als KI-geschrieben ein.)

Bei niedrigen Werten hält Turnitin sich zurück:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (Um mögliche Fehlalarme zu vermeiden, werden für KI-Erkennungswerte im Bereich von 1 % bis 19 % weder ein Wert noch Markierungen vergeben. Wird im Bericht ein KI-Anteil unterhalb der Schwelle von 20 % erkannt, wird das jetzt mit einem Sternchen (*%) gekennzeichnet, ohne dass ein Prozentwert angegeben wird.)

ZeroGPT kennt diese Regel nicht. Es zeigt in der Regel auch im unsicheren Bereich einen konkreten Prozentwert an. Eine Arbeit, die bei Turnitin „*%“ zeigt, kann bei ZeroGPT „12 %“ anzeigen. Diese unterschiedliche Darstellung sagt nichts darüber, welches Werkzeug genauer arbeitet. Sie zeigt nur, dass beide mit dem unsicheren Bereich verschieden umgehen. Was das Sternchen (*%) bei einem Turnitin-KI-Wert bedeutet beleuchtet die Sache aus Sicht von Turnitin.

Für kurze Dokumente beschreiben die FAQ ein eigenes Verhalten:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Bei kürzeren Dokumenten mit nur wenigen hundert Wörtern fällt die Vorhersage meist als „alles oder nichts“ aus, weil wir nur einen einzigen Abschnitt bewerten und keine Überlappung möglich ist.)

Der nächste Satz: „This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated.“ (Das bedeutet, dass ein Text, der teils von einer KI und teils von Ihnen selbst stammt, unter Umständen vollständig als KI-generiert markiert wird.)

Das hängt mit der Zerlegung in Abschnitte zusammen, die Turnitin so vornimmt. Ob ZeroGPT bei kurzen Texten genauso reagiert, steht dahin. Wenn Sie ein Abstract mit 300 Wörtern bei ZeroGPT prüfen und 0 % herauskommt, sagt das nichts darüber, was Turnitin mit demselben Text macht — denn die Vorhersage aus einem einzigen Abschnitt kann bei kurzen Texten bis zum Anschlag ausschlagen. Genau diesen Ausschlag in seiner stärksten Form beschreibt Warum Turnitin Ihre Arbeit als zu 100 % KI-generiert einstuft.

Bei Turnitin sind der KI-Wert und der Ähnlichkeitswert voneinander unabhängig: „The Similarity score and the AI writing detection percentage are completely independent and do not influence each other.“ (Der Similarity Score und der Prozentwert der KI-Erkennung sind vollständig unabhängig voneinander und beeinflussen sich nicht gegenseitig.) Manche kostenlosen Werkzeuge werfen KI- und Ähnlichkeitsanteil zu einer einzigen Zahl zusammen; deren Werte lassen sich deshalb schon vom Ansatz her nicht mit dem eigenen KI-Prozentwert von Turnitin vergleichen.

Für Ihre Einreichung zählt nur der Wert, den das Werkzeug Ihrer Hochschule erzeugt. Setzt Ihre Hochschule Turnitin ein, erfahren Sie durch noch so viele Tests mit ZeroGPT nicht, wie Ihr Turnitin-Wert ausfällt. Mehrere kostenlose Detektoren können Ihnen ein grobes Gefühl dafür geben, ob Ihr Text KI-typische Muster aufweist; das Ergebnis des Werkzeugs Ihrer Hochschule ersetzen sie nicht. Warum derselbe Text bei jedem Detektor anders bewertet wird erklärt, weshalb diese Streuung in der Sache liegt und nicht an einem Fehler eines einzelnen Werkzeugs.

Noch einmal kurz zusammengetragen:

• ZeroGPT und Turnitin sind verschiedene Detektoren mit verschiedenen Modellen. Ihre Werte werden nicht übereinstimmen.
• Der Detektor von Turnitin zerlegt Texte in überlappende Abschnitte und vergibt Wahrscheinlichkeitswerte.
• Die Zielvorgabe von Turnitin für Fehlalarme liegt bei unter 1 % für Dokumente mit mehr als 20 % KI-Text.
• Für Werte zwischen 1 und 19 % setzt Turnitin ein Sternchen, um in einem fehleranfälligen Bereich keine Genauigkeit vorzutäuschen.
• Kurze Dokumente erhalten bei Turnitin eine Alles-oder-nichts-Einschätzung, weil nur ein einziger Abschnitt bewertet wird.
• Der einzige Wert, der zählt, ist der des Werkzeugs, das Ihre Hochschule einsetzt.

Wenn Sie einen Turnitin-Bericht zur KI-Erkennung bekommen haben und die markierten Stellen angehen möchten, importieren Sie den Bericht und arbeiten Sie daran weiter. Passagen, die die Voraussetzungen erfüllen, lassen sich kostenlos erneut prüfen.