Perplexity und Burstiness erklärt: Welche KI-Detektoren sie tatsächlich nutzen

Perplexity misst, wie gut sich ein Wort vorhersagen lässt. Liest ein Sprachmodell einen Satz, weist es jedem Wort eine Wahrscheinlichkeit zu, und zwar auf Basis der Wörter, die vorausgegangen sind. Ist das nächste Wort gut vorhersagbar, ist die Perplexity an dieser Stelle niedrig. Ist es unerwartet, ist sie hoch. Die Perplexity eines ganzen Textes ist im Grunde der Mittelwert darüber, wie vorhersagbar die Wortentscheidungen im gesamten Text waren.

Stellen Sie sich das so vor: Wenn Sie schreiben „Das Experiment zeigte signifikante", ist das nächste Wort mit hoher Wahrscheinlichkeit „Ergebnisse" oder „Unterschiede" oder „Effekte". Das sind Wörter mit hoher Wahrscheinlichkeit. Lautet das nächste Wort stattdessen „Ananas", ist das kaum wahrscheinlich, und die Perplexity an dieser Stelle schnellt nach oben. Ein Text, der durchgehend das erwartbarste Wort wählt, hat insgesamt eine niedrige Perplexity. Ein Text mit unerwarteten Entscheidungen hat eine höhere.

KI-generierte Texte haben tendenziell eine niedrige Perplexity, weil Sprachmodelle darauf ausgelegt sind, das jeweils wahrscheinlichste nächste Wort zu wählen. Sie optimieren auf kontextuelle Wahrscheinlichkeit, und daraus ergeben sich vorhersagbare Muster in der Wortwahl. Menschliches Schreiben enthält dagegen oft weniger vorhersagbare Wortwahlen, ungewöhnliche Verben, fachsprachliche Substantive oder Formulierungen, die ein Sprachmodell nicht gewählt hätte. Dieser Unterschied ist real und messbar. Die Frage ist, ob jeder KI-Detektor Perplexity tatsächlich in seinem Algorithmus verwendet – und die Antwort lautet nein.

Burstiness misst die Variation im Satzbau. Haben alle Sätze eines Absatzes in etwa die gleiche Länge, die gleiche grammatische Struktur und den gleichen Rhythmus, ist die Burstiness niedrig. Schwanken die Sätze stark, sind einige kurz und knackig, andere lang und komplex mit Nebensätzen, ist die Burstiness hoch.

Menschliches Schreiben hat tendenziell eine höhere Burstiness als KI-generierter Text. Wir schreiben in Schüben. Wir mischen einen kurzen Aussagesatz mit einem längeren, der einen eingeschobenen Nebengedanken enthält. Wir brechen aus dem Muster aus, wenn wir einen Punkt betonen wollen. KI-Modelle erzeugen eher gleichförmige Satzstrukturen, weil sie auf statistische Konsistenz optimiert sind. Heraus kommt ein Text, der sich glatt liest, aber weniger strukturelle Abwechslung hat.

Burstiness wurde als Erkennungsmerkmal populär, weil sie etwas Reales darüber erfasst, wie sich menschliches und KI-Schreiben unterscheiden. Menschen sind unregelmäßig, KI-Modelle sind gleichförmig. Ein Detektor, der Burstiness misst, prüft, ob die Struktur auf Satzebene stark genug variiert, um menschlich zu wirken. Wie Perplexity ist Burstiness ein nützliches Konzept. Und wie Perplexity ist sie keine Kennzahl, die jeder Detektor berechnet.

GPTZero ist das bekannteste Beispiel für einen Detektor, der Perplexity und Burstiness öffentlich als benannte Kennzahlen führt. Die Dokumentation beschreibt Perplexity als Maß dafür, wie unvorhersagbar ein Text ist, und Burstiness als Maß für die Variation auf Satzebene. Der GPTZero-Algorithmus berechnet beide Werte und bezieht sie in seine Klassifikationsentscheidung ein. Wer verstehen will, wie GPTZero arbeitet, oder den eigenen Text darauf ausrichten möchte, für den sind Perplexity und Burstiness unmittelbar relevant.

Turnitin geht einen anderen Weg. Im offiziellen FAQ heißt es: „Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." (Unser Modell ist nicht ausdrücklich darauf programmiert, bestimmte Signale wie 'burstiness', 'perplexity' oder andere einzelne Kennzahlen zu bewerten, die in öffentlichen Diskussionen gelegentlich erwähnt werden.) Der nächste Satz lautet: „Instead, it learns statistical patterns from our training data." (Stattdessen lernt es statistische Muster aus unseren Trainingsdaten.) Das ist die ausdrückliche Aussage, dass Turnitin diese beiden Kennzahlen nicht berechnet.

Warum dieser Unterschied zählt: Beide Werkzeuge bewerten denselben Text mitunter unterschiedlich. Ein Text, der gezielt auf hohe Burstiness und hohe Perplexity getrimmt wurde, kann bei GPTZero – wo diese Kennzahlen direkt in den Algorithmus eingehen – anders abschneiden als bei Turnitin, wo der Klassifikator Muster aus Trainingsdaten gelernt hat und keine der beiden Kennzahlen berechnet. Ratschläge wie „erhöhen Sie Ihre Burstiness" oder „senken Sie Ihre Perplexity" sind auf einen bestimmten Detektortyp zugeschnitten. Ob sie Ihnen bei Turnitin helfen, steht dahin.

Wenn Turnitin weder Perplexity noch Burstiness berechnet, worauf stützt es sich dann? Die Dokumentation beschreibt einen Klassifikator, der statistische Muster aus Trainingsdaten lernt und sie anschließend auf Abschnitte Ihres Textes anwendet.

Turnitin schreibt: „Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. Instead, it learns statistical patterns from our training data." (Unser Modell ist nicht ausdrücklich darauf programmiert, bestimmte Signale wie 'burstiness', 'perplexity' oder andere einzelne Kennzahlen zu bewerten, die in öffentlichen Diskussionen gelegentlich erwähnt werden. Stattdessen lernt es statistische Muster aus unseren Trainingsdaten.) Der Klassifikator wendet weder eine Perplexity- noch eine Burstiness-Formel an. Er wendet Muster an, die beim Training verinnerlicht wurden – Muster, in denen Wortwahrscheinlichkeit eine Rolle spielt, die sich aber nicht auf einen einzelnen benannten Wert reduzieren lassen.

Dieselbe FAQ-Seite sagt, worauf der Klassifikator sich konzentriert: „Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (Unsere Klassifikatoren sind darauf trainiert, diese Unterschiede in der Wortwahrscheinlichkeit zu erkennen, und sind mit den typischen Wortwahrscheinlichkeitsfolgen menschlicher Autoren vertraut.) Wortwahrscheinlichkeit steht im Zentrum dessen, was Turnitins Klassifikator gelernt hat – aber das Modell verarbeitet sie über erlernte Muster, nicht über eine ausdrückliche Perplexity-Berechnung.

Der Mechanismus arbeitet abschnittsweise. Turnitin beschreibt ihn so: „When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (Wird bei Turnitin eine Arbeit eingereicht, werden die Sätze der Einreichung entnommen und für die Vorhersageanalyse in überlappende Abschnitte unterteilt. Jeder Abschnitt wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der angibt, mit welcher Wahrscheinlichkeit der Text von einem Menschen oder von einer KI stammt.) Die Abschnitte überlappen, Sätze übernehmen die Werte, mehrere Werte werden zusammengeführt, und aus der Aggregation entsteht der Prozentwert für das gesamte Dokument. In dieser Verarbeitungskette gibt es keinen Schritt, in dem Perplexity oder Burstiness berechnet wird.

Turnitin weist außerdem darauf hin: „As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules. For that reason, individual predictions may not always be explainable in simple feature-by-feature terms." (Daher entstehen seine Ausgaben durch viele erlernte Muster, die zusammenwirken, und nicht durch eine kleine Zahl transparenter, für Menschen lesbarer Regeln. Deshalb lassen sich einzelne Vorhersagen nicht immer Merkmal für Merkmal einfach erklären.) Wie das Modell zu seiner Entscheidung kommt, lässt sich nicht nachvollziehen, indem man ein paar Kennzahlen verfolgt.

Die praktische Schlussfolgerung ist einfach. Wenn Sie den Rat lesen, Sie sollten „Ihre Perplexity senken, um Turnitin zu schlagen", dann beruht dieser Rat auf einem falschen Verständnis des Werkzeugs. Turnitin berechnet keine Perplexity. Hinweise zu Burstiness und Perplexity mögen für GPTZero relevant sein, aber sie passen nicht zu dem Mechanismus, mit dem Turnitin arbeitet.

Der Punkt ist: Turnitins Klassifikator kennt diese Konzepte nicht als benannte Kennzahlen. Er hat statistische Muster aus Trainingsdaten gelernt – Muster, die Informationen zur Wortwahrscheinlichkeit enthalten – und wendet sie auf Ihren Text an. Sie können nicht auf eine Kennzahl hin optimieren, die der Klassifikator gar nicht berechnet. Was Sie tun können, ist so zu schreiben, dass echte menschliche Urheberschaft erkennbar wird: mit natürlicher Abwechslung in Wortwahl und Satzbau, die sich von den Mustern unterscheidet, die KI-Modelle erzeugen.

Wir bieten kostenlose Wiederholungsläufe an, damit Sie Ihren Text testen und sehen können, wo Sie stehen. Probieren Sie es hier aus.