GPTZero vs. Turnitin: Warum die Werte nicht übereinstimmen und was jedes Tool tatsächlich misst

GPTZero und Turnitin sind separate Systeme von verschiedenen Entwicklerteams. Jedes hat sein eigenes Modell, seine eigenen Trainingsdaten und seinen eigenen Ansatz zur Textklassifizierung. Wenn zwei Detektoren unterschiedliche Modelle verwenden, liefern sie beim selben Dokument nicht die gleichen Ergebnisse. Ein Text, den GPTZero mit 60 % KI bewertet, kann bei Turnitin 30 % bekommen – oder umgekehrt. Keiner der Werte ist deshalb automatisch falsch. Es sind Wahrscheinlichkeitsschätzungen aus unterschiedlichen Modellen, die auf verschiedenen Daten trainiert wurden.

Es gibt keinen universellen KI-Erkennungswert, auf den sich alle Tools einigen – darin liegt das Problem, das im Artikel warum derselbe Text bei jedem Detektor anders bewertet wird beschrieben wird. Jedes Tool liefert seine eigene Schätzung. Werte zwischen Tools so zu vergleichen, als würden sie dasselbe in denselben Einheiten messen, führt nur zu Verwirrung.

Wir behaupten nicht, dass eines der Tools genauer ist als das andere. Die Dokumentation beschreibt, wie Turnitins Detektor funktioniert – und dieser Mechanismus unterscheidet sich von dem anderer Tools.

Turnitins Dokumentation beschreibt einen spezifischen Prozess zur Ermittlung eines KI-Schreib-Anteils auf Dokumentenebene:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Wenn ein Dokument bei Turnitin eingereicht wird, werden Sätze extrahiert und zur Vorhersageanalyse in überlappende Abschnitte unterteilt. Jeder Abschnitt wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der die Wahrscheinlichkeit angibt, dass der Text eher menschlich oder KI-generiert ist. Jeder qualifizierte Satz innerhalb dieser Abschnitte übernimmt die Wertung seines Abschnitts. Da sich Abschnitte überlappen, können manche Sätze mehrere Werte haben, die dann zu einem einzigen Wert zusammengeführt werden. Diese Satz-Werte werden weiter aggregiert und zur Berechnung des gesamten KI-Schreib-Anteils des Dokuments verwendet.)

Der Wert ist eine Aggregation von Vorhersagen auf Abschnittsebene. Die Abschnitte überlappen sich, Satz-Werte werden vor der Aggregation zusammengeführt. Andere Detektoren können Texte anders segmentieren, andere Vorhersageeinheiten verwenden oder Werte anders aggregieren.

Turnitins Dokumentation stellt zudem klar, dass der KI-Schreib-Anteil und der Ähnlichkeitswert zwei separate Messgrößen sind: "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (Der Ähnlichkeitswert und der KI-Erkennungs-Prozentsatz sind vollständig unabhängig und beeinflussen sich gegenseitig nicht.) Der Ähnlichkeitswert gibt an, wie viel Prozent des eingereichten Dokuments mit Texten übereinstimmen, die in Turnitins umfassender Sammlung für Ähnlichkeitsprüfungen enthalten sind. Ein hoher Ähnlichkeitswert bedeutet nicht automatisch einen hohen KI-Wert – und umgekehrt. Turnitin AI-Bericht vs. Ähnlichkeitsbericht stellt beide gegenüber.

Turnitin nennt in seiner Dokumentation ein spezifisches Ziel für die Rate falsch positiver Treffer:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Wir sind bestrebt, die Wirksamkeit unseres Detektors zu maximieren und zugleich unsere Rate falsch positiver Treffer – also fälschlicherweise als KI-generiert markierter, vollständig menschlich verfasster Texte – bei Dokumenten mit über 20 % KI-Anteil unter 1 % zu halten.)

Die Dokumentation formuliert dies dann so um: "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (Das heißt, wir könnten bei einem von 100 vollständig menschlich verfassten Dokumenten fälschlicherweise AI markieren.) Diese Umformulierung lässt den Zusatz "with over 20% of AI writing" (mit über 20 % KI-Anteil) weg. Die Version mit der 20 %-Schwelle ist die präzisere Aussage.

Zur Validierung dieser Rate beschreibt Turnitin einen Testprozess: "To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate." (Zur Untermauerung unseres Testrahmens und zur Diagnose statistischer Trends bei falsch positiven Ergebnissen führen wir vor jedem Update oder neuen Modellrelease Tests an über 700.000 zusätzlichen wissenschaftlichen Arbeiten durch, die vor der Veröffentlichung von ChatGPT verfasst wurden, um unsere falsch positive Rate von unter 1 % weiter zu validieren.)

Dies ist Turnitins erklärtes Ziel und Validierungsverfahren. Was 1 % tatsächlich kostet, wenn eine Universität in großem Umfang einreicht, wird in was eine 1 %-falsch-positive-Rate bedeutet ausgerechnet. Andere Detektoren können andere Ziele haben, andere Validierungsmethoden verwenden oder vergleichbare Zahlen nicht veröffentlichen. Wir können auf dieser Grundlage keinen direkten Genauigkeitsvergleich zwischen den Tools anstellen. Wir können nur wiedergeben, was in Turnitins Dokumentation steht.

Die Dokumentlänge beeinflusst, wie sich Turnitins Detektor verhält. Bei kurzen Texten kann der Bewertungsmechanismus extreme Ergebnisse liefern:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Bei kürzeren Dokumenten mit nur wenigen hundert Wörtern ist die Vorhersage meist ›alles oder nichts‹, weil wir bei einem einzigen Segment ohne Überlappungsmöglichkeit vorhersagen.)

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Das bedeutet, dass einige Texte, die eine Mischung aus KI-generierten und originalen Inhalten darstellen, als vollständig KI-generiert markiert werden können.)

Der Überlappungsmechanismus, der Bewertungen bei längeren Dokumenten glättet, funktioniert nicht, wenn nur ein Segment zur Vorhersage zur Verfügung steht. Ein paar hundert Wörter gemischten menschlichen und KI-Texts können als 100 % KI zurückkommen – einer der Wege, die in warum Turnitin sagt, Ihre Arbeit sei 100 % KI behandelt werden. Dies ist eine Einschränkung bei kurzen Eingaben, kein endgültiges Urteil über die Zusammensetzung des Texts.

Wenn GPTZero ein kurzes Dokument anders bewertet, ist das Alles-oder-Nichts-Verhalten eine Erklärung. Die beiden Tools gehen mit kurzen Texten unterschiedlich um, weil ihre Bewertungsarchitekturen sich unterscheiden.

Turnitin zeigt keine numerische Bewertung für KI-Erkennungsergebnisse zwischen 1 % und 19 % an. Die Dokumentation besagt:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (%) and no percentage is attributed." (Um potenzielle falsch positive Vorkommnisse zu vermeiden, werden bei KI-Erkennungsbewertungen im Bereich von 1 % bis 19 % keine Bewertungen oder Hervorhebungen vergeben. Wenn KI unter der 20 %-Schwelle im Bericht erkannt wird, wird dies nun mit einem Sternchen (%) angezeigt und es wird kein Prozentwert vergeben.)

Das bedeutet: Wenn Turnitins Modell den KI-Anteil auf 12 % schätzt, zeigt der Bericht ein Sternchen anstelle einer Zahl. Keine Hervorhebungen werden ebenfalls angewendet. Die Begründung, falsch positive Treffer in einem Bereich niedriger Konfidenz zu vermeiden, wird in was der Asterisk (*%) bei einem Turnitin KI-Wert bedeutet weiter ausgeführt.

GPTZero und andere Tools können Bewertungen in diesem Bereich anders anzeigen. Manche zeigen für jedes Ergebnis oberhalb von Null einen vollständigen Prozentwert an. Turnitin unterdrückt die Zahl unterhalb von 20 %. Dies ist ein weiterer Grund, warum Bewertungen nicht übereinstimmen: Ein Tool kann einen numerischen Wert anzeigen, wo das andere nur ein Sternchen zeigt.

Wenn Sie GPTZero- und Turnitin-Bewertungen für dasselbe Dokument vergleichen, beachten Sie Folgendes:

• Unterschiedliche Modelle, unterschiedliche Bewertungen. GPTZero und Turnitin verwenden separate Erkennungsmodelle, die auf separaten Daten trainiert wurden. Ihre Bewertungen sollen nicht übereinstimmen.
• Turnitin bewertet durch Segmentaggregation. Text wird in Segmente unterteilt, pro Segment bewertet und aggregiert. Der KI-Wert und der Ähnlichkeitswert sind vollständig unabhängig.
• Turnitin zielt auf unter 1 % falsch positive Treffer bei Dokumenten mit über 20 % KI-Anteil, validiert an über 700.000 zusätzlichen wissenschaftlichen Arbeiten, die vor ChatGPTs Veröffentlichung verfasst wurden.
• Kurze Dokumente erhalten Alles-oder-Nichts-Bewertungen. Ein paar hundert Wörter können zu einem 0 %- oder 100 %-Ergebnis führen, selbst wenn der Text gemischt ist.
• Bewertungen unter 20 % werden als Sternchen angezeigt. Im Bereich 1–19 % erscheint weder ein numerischer Prozentwert noch Hervorhebungen.

In Frage kommende Passagen können kostenlos erneut geprüft werden.