Der Mythos von Perplexity und Burstiness: Worauf Turnitin wirklich setzt

Wenn Sie nach „wie erkennt Turnitin KI-Texte" suchen, stoßen Sie auf dutzende Artikel, die immer dieselbe Behauptung wiederholen: Turnitin nutze Perplexity und Burstiness, um KI-generierte Texte aufzuspüren. Diese Behauptung findet sich auf Seiten wie aihumaniser.pro, blog.aibusted.com und humanizethisai.com sowie in mehreren chinesischen Artikeln auf sohu.com. Dort werden beide Metriken definiert, Turnitin zugeschrieben – und es gibt Ratschläge, wie sich der „Perplexity-Wert senken" lasse, um die Erkennung zu bestehen.

Das Problem: Diese Behauptung ist sachlich falsch. Die eigene Dokumentation von Turnitin sagt das Gegenteil. Wir haben die offiziellen FAQ gelesen, und sie widersprechen direkt der Perplexity-Burstiness-Erzählung, auf die die Konkurrenzseiten ihre Ratschläge gebaut haben. Der Mythos ist inzwischen so weit verbreitet, dass viele Studierende und Schreibende glauben, sie müssten auf eine Metrik hin optimieren, die Turnitin gar nicht berechnet.

Das ist deshalb wichtig, weil jede Strategie, die auf einer falschen Annahme fußt, zu schlechten Entscheidungen führt. Wer glaubt, Turnitin berechne einen Perplexity-Wert, konzentriert sich womöglich darauf, möglichst unvorhersehbare Wörter einzustreuen – und versucht damit, eine Metrik zu beeinflussen, die es gar nicht gibt. Der wirkliche Mechanismus ist ein anderer.

Turnitin geht in den offiziellen FAQ direkt auf die Frage nach Perplexity und Burstiness ein. In der Dokumentation heißt es: „Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." (Unser Modell ist nicht eigens darauf programmiert, bestimmte Signale wie ‚Burstiness', ‚Perplexity' oder einzelne andere Messgrößen auszuwerten, die in öffentlichen Diskussionen mitunter genannt werden.) Der nächste Satz fährt fort: „Instead, it learns statistical patterns from our training data." (Stattdessen lernt es statistische Muster aus unseren Trainingsdaten.)

Das ist eine eindeutige Absage. Turnitin führt keine Perplexity-Berechnung über Ihren Text aus. Das Modell schaut sich keinen Burstiness-Wert an und prüft auch nicht, ob Ihre Satzlängen ausreichend schwanken. Das System arbeitet nicht so, dass es eine kleine Zahl benannter Metriken berechnet und diese in eine Formel einspeist.

Die Dokumentation geht noch weiter und erklärt, warum. Turnitin schreibt: „As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules. For that reason, individual predictions may not always be explainable in simple feature-by-feature terms." (Dadurch entstehen seine Ergebnisse durch viele erlernte Muster, die zusammenwirken, und nicht durch eine kleine Zahl transparenter, für Menschen lesbarer Regeln. Deshalb lassen sich einzelne Vorhersagen nicht immer in einfacher Form Merkmal für Merkmal erklären.) Wie das Modell zu seiner Entscheidung kommt, lässt sich also nicht auf eine Checkliste von Metriken herunterbrechen. Der Klassifikator hat Muster aus Trainingsdaten gelernt, und diese Muster wirken so zusammen, dass sie sich nicht als einzelne Merkmale erklären lassen.

Es besteht die Gefahr, die offizielle Aussage zu überdehnen. Wenn Turnitin sagt, es verwende keine Perplexity, und Perplexity ein Maß für Wortwahrscheinlichkeit ist – heißt das dann, dass Turnitin Wortwahrscheinlichkeit vollständig ignoriert? Nein. Dieselbe FAQ-Seite liefert das entscheidende Gegengewicht: „Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (Unsere Klassifikatoren sind darauf trainiert, diese Unterschiede in der Wortwahrscheinlichkeit zu erkennen, und kennen die besonderen Wortwahrscheinlichkeitsfolgen menschlicher Schreibender genau.)

Dieser Satz verhindert eine allzu simple Lesart. Turnitin bestreitet, Burstiness und Perplexity als benannte Metriken ausdrücklich einprogrammiert zu haben. Es bestreitet nicht, dass Wortwahrscheinlichkeit im Zentrum dessen steht, was der Klassifikator tut. Dieselbe Dokumentation bestätigt, dass Wortwahrscheinlichkeit genau das ist, worauf der Klassifikator trainiert wurde. Der Unterschied liegt zwischen der Berechnung einer benannten Metrik namens „Perplexity" und dem Erlernen von Wortwahrscheinlichkeitsmustern aus Trainingsdaten.

Perplexity ist ein Maß für Wortwahrscheinlichkeit. Niedrige Perplexity bedeutet: Die Wörter sind im jeweiligen Kontext vorhersehbar. Hohe Perplexity bedeutet: Sie sind weniger vorhersehbar. Turnitins Klassifikator lernt Wortwahrscheinlichkeitsmuster – was Perplexity misst, ist für die Arbeitsweise des Modells also durchaus relevant. Was Turnitin bestreitet, ist die ausdrückliche Berechnung eines einzelnen Perplexity-Werts als benanntes Merkmal. Das auf Transformatoren beruhende Modell lernt komplexe statistische Muster aus Trainingsdaten, und diese Muster enthalten Wortwahrscheinlichkeitsinformationen, ohne sich auf eine einzige benannte Metrik reduzieren zu lassen.

GPTZero dagegen sagt öffentlich ausdrücklich, dass es Perplexity und Burstiness als benannte Metriken verwendet. Das ist ein echter Unterschied zwischen den beiden Detektoren. Wer sie verwechselt, gibt schlechte Ratschläge weiter. Was bei GPTZero funktioniert, muss für Turnitin nicht gelten, weil die beiden Werkzeuge unterschiedlich vorgehen.

Wenn Turnitin weder Perplexity noch Burstiness berechnet – was tut es dann eigentlich? Die Dokumentation beschreibt eine Verarbeitungskette, die sich deutlich von dem metrikbasierten Ansatz unterscheidet, den die Artikel der Konkurrenz schildern. Turnitin schreibt: „When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Wird eine Arbeit bei Turnitin eingereicht, werden die Sätze der Einreichung entnommen und für die Vorhersageanalyse in überlappende Abschnitte unterteilt. Jeder Abschnitt wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der die Wahrscheinlichkeit angibt, dass der Text von einem Menschen oder von einer KI stammt. Jeder qualifizierende Satz innerhalb dieser Abschnitte übernimmt die Bewertung des Abschnitts. Da sich die Abschnitte überlappen, kann ein Satz mehrere Bewertungen erhalten, die anschließend zu einer einzigen Bewertung zusammengefasst werden. Diese Satzbewertungen werden weiter aggregiert und daraus der KI-Schreibwert des gesamten Dokuments berechnet.)

Ihre Arbeit wird nicht als ein einziger Block bewertet. Die Sätze werden entnommen und in überlappende Abschnitte unterteilt. Jeder Abschnitt erhält einen Wert zwischen 0 und 1. Weil sich die Abschnitte überlappen, kann ein einzelner Satz in mehreren Abschnitten auftauchen und mehrere Bewertungen erben. Diese Bewertungen werden zusammengeführt und daraus der endgültige Prozentwert für das gesamte Dokument aggregiert.

Dieser Mechanismus unterscheidet sich grundlegend davon, einen Perplexity-Wert und einen Burstiness-Wert zu berechnen und beide zu kombinieren. Der Klassifikator bewertet Text auf Abschnittsebene und lernt statistische Muster, die menschliches Schreiben von KI-generiertem Schreiben unterscheiden. Diese Muster enthalten Wortwahrscheinlichkeitsinformationen – gelernt aus Trainingsdaten, nicht einprogrammiert als benannte Metriken.

Wer den wirklichen Mechanismus versteht, sollte anderen Rat befolgen. Wer glaubt, Turnitin berechne Perplexity, streut womöglich unvorhersehbare Wörter ein. Wer glaubt, es berechne Burstiness, variiert womöglich die Satzlängen. Keine der beiden Strategien zielt auf das richtige Ziel.

Turnitins Klassifikator lernt statistische Muster aus Trainingsdaten. Für Ihren Text berechnet er keinen Perplexity-Wert. Die gelernten Muster sind komplex und, wie die Dokumentation sagt, nicht immer Merkmal für Merkmal in einfachen Worten erklärbar. Es gibt keine einfache Formel, mit der Sie den Detektor „aushebeln" könnten, indem Sie eine einzelne Metrik optimieren.

Was Sie tun können, ist so zu schreiben, dass echte menschliche Urheberschaft erkennbar wird. Menschliches Schreiben enthält Wortwahlen und Formulierungen, die von den statistischen Mustern abweichen, die KI-Modelle erzeugen. Der Klassifikator ist darauf trainiert, die für Menschen charakteristischen Wortwahrscheinlichkeitsfolgen zu erkennen. Wer in der eigenen Stimme schreibt, mit all ihrer natürlichen Variation, schreibt genau so, wie der Klassifikator es als menschlich einzuordnen gelernt hat.

Der Mythos um Perplexity und Burstiness führt zu verfehlter Mühe. Schreibende investieren Zeit in die Optimierung von Metriken, die Turnitin gar nicht berechnet. Der Unterschied zwischen GPTZero (das Perplexity und Burstiness tatsächlich verwendet) und Turnitin (das es nicht tut) bedeutet: Ratschläge, die auf das eine Werkzeug zugeschnitten sind, können für das andere belanglos sein.

Passagen, die die Voraussetzungen erfüllen, können kostenlos erneut durchlaufen werden. Probieren Sie das Tool HumanPen hier aus.