Wortwahrscheinlichkeit und Turnitin: Was der Klassifikator tatsächlich liest

Jedes Wort in einem Satz hat eine bestimmte Wahrscheinlichkeit, in genau diesem Kontext aufzutauchen. Wenn Sie „Das Experiment zeigte einen signifikanten“ schreiben, ist das nächste Wort eher „Ergebnis“ als „Ananas“. Sprachmodelle schätzen diese Wahrscheinlichkeiten anhand des vorangehenden Kontexts – und der Klassifikator von Turnitin tut das ebenfalls, nur auf andere Weise.

Wortwahrscheinlichkeit beschreibt, wie gut sich jede Wortwahl aus den vorangehenden Wörtern vorhersagen lässt. Modelle zur Texterzeugung greifen meist zur erwartbarsten, statistisch gängigsten Option. Menschen hingegen wählen häufiger Wörter, die man an dieser Stelle nicht erwartet: ungewöhnliche Verben, Fachbegriffe oder Formulierungen, die aus dem statistischen Muster fallen, dem ein KI-Modell folgen würde.

Turnitin sagt es direkt: Seine Klassifikatoren sind „trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers.“ (darauf trainiert, diese Unterschiede in der Wortwahrscheinlichkeit zu erkennen, und vertraut mit den besonderen Wortwahrscheinlichkeitsfolgen menschlicher Schreibender). Der Klassifikator zählt keine Schlüsselwörter. Er vergleicht die Wahrscheinlichkeitsverteilung Ihrer Wortwahl mit Mustern, die er aus Trainingsdaten gelernt hat, in denen menschliche und KI-Texte nebeneinanderlagen.

Das ist deshalb wichtig, weil zwei Texte grammatisch einwandfrei sein und sich in der Wortwahrscheinlichkeit dennoch deutlich unterscheiden können. Ein menschlicher Text bringt vielleicht eine unerwartete Metapher, eine umgangssprachliche Wendung in einem akademischen Satz oder wiederholt ein Wort, wo ein KI-Modell ein Synonym gesetzt hätte. Jede dieser Entscheidungen verschiebt das Wahrscheinlichkeitsprofil, das der Klassifikator liest.

Kommt eine Arbeit bei Turnitin an, beginnt der Prozess mit der Segmentierung. Sätze werden herausgelöst, in überlappende Abschnitte unterteilt, und jeder Abschnitt wird vom KI-Erkennungsmodell einzeln bewertet. Jedes Segment erhält einen Wert zwischen 0 und 1, der angibt, wie wahrscheinlich der Text von einer KI stammt statt von einem Menschen.

Turnitin beschreibt die Verarbeitungskette klar: „Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated.“ (Jedes Segment wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der die Wahrscheinlichkeit angibt, mit der der Text von einem Menschen oder von einer KI stammt.) Sätze innerhalb überlappender Segmente übernehmen diese Segmentwerte; erscheint ein Satz in mehreren überlappenden Segmenten, werden seine Werte zu einem einzigen Wert zusammengefasst. Aus diesen Werten auf Satzebene entsteht dann der KI-Schreibwert des gesamten Dokuments.

Im Zentrum dieser Kette steht ein transformerbasiertes Modell. Die Architekturdokumentation von Turnitin hält fest: „Our current system uses a modern deep learning approach based on the transformer architecture.“ (Unser aktuelles System nutzt einen modernen Deep-Learning-Ansatz auf Basis der Transformer-Architektur.) Der Transformer liest Wortwahrscheinlichkeitsfolgen über die Segmente hinweg und lernt, welche Folgen für menschliches Schreiben kennzeichnend sind und welche für KI-Erzeugung.

Entscheidend ist: Der Klassifikator betrachtet kein einzelnes Wort für sich. Er liest Folgen von Wortentscheidungen über ganze Textabschnitte hinweg. Ein einzelnes ungewöhnliches Wort wird Ihren Wert kaum bewegen, aber ein durchgehendes Muster aus Wörtern mit niedriger Wahrscheinlichkeit – so wie es Menschen ganz selbstverständlich entsteht – wird als menschlich registriert. Umgekehrt registriert der Klassifikator ein durchgängiges Muster aus hochwahrscheinlichen, statistisch vorhersagbaren Entscheidungen als KI-typisch.

Viele Artikel über KI-Erkennung nennen „Perplexität“ als zentrale Kennzahl. Perplexität ist per Definition ein Maß für Wortwahrscheinlichkeit. Sie beziffert, wie überraschend eine bestimmte Wortfolge für ein Sprachmodell ist. Niedrige Perplexität heißt: Die Wörter waren vorhersehbar. Hohe heißt: Sie waren es nicht.

Hier kommt eine entscheidende Feinheit ins Spiel. Turnitin bestreitet ausdrücklich, Perplexität als eigene Kennzahl zu berechnen: „Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions.“ (Unser Modell ist nicht ausdrücklich darauf programmiert, einzelne Signale wie „burstiness“, „perplexity“ oder andere Kennzahlen zu bewerten, die in öffentlichen Diskussionen gelegentlich genannt werden.) Und weiter: „Instead, it learns statistical patterns from our training data.“ (Stattdessen lernt es statistische Muster aus unseren Trainingsdaten.)

Prüft Turnitin nun die Perplexität oder nicht? Die Antwort ist nuancierter als ein Ja oder ein Nein. Perplexität ist ein Maß für Wortwahrscheinlichkeit, und der Klassifikator von Turnitin ist auf Wortwahrscheinlichkeitsmustern trainiert. Aber er berechnet keinen einzelnen Perplexitätswert, den er anschließend in eine Formel einspeist. Der Transformer lernt komplexe statistische Muster aus den Trainingsdaten – Muster, die Wortwahrscheinlichkeit einschließen, sich aber nicht auf eine benannte Kennzahl reduzieren lassen.

Turnitin erklärt: „As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules.“ (Daher entstehen seine Ergebnisse durch viele gelernte Muster, die zusammenwirken, und nicht durch eine kleine Zahl transparenter, für Menschen lesbarer Regeln.) Die praktische Konsequenz: Zu sagen, Turnitin prüfe die Perplexität, ist eine Vereinfachung. Der Klassifikator lernt Wortwahrscheinlichkeitsmuster ganzheitlich, und diese Muster wirken auf jeden Segmentwert, ohne sich auf eine Formel reduzieren zu lassen, die Sie selbst nachrechnen könnten.

Im Juli 2026 hat Turnitin die Architektur deutlich umgebaut. Die Dokumentation bestätigt: „In July 2026, we updated our model architecture to consolidate a multi-model ensemble into a single model. This update improves and simplifies the AI writing report, maintaining a less than 1% false positive rate.“ (Im Juli 2026 haben wir unsere Modellarchitektur aktualisiert, um ein Ensemble aus mehreren Modellen in einem einzigen Modell zusammenzuführen. Diese Aktualisierung verbessert und vereinfacht den KI-Schreibbericht und hält die Rate falscher Treffer unter 1 %.)

Vor dieser Änderung arbeiteten mehrere Modelle, deren Ergebnisse zusammengeführt wurden. Ein Ensemble aus mehreren Modellen macht die Zusammenführung der Werte komplexer, und verschiedene Modelle gewichten Wortwahrscheinlichkeitsmuster womöglich unterschiedlich. Mit einem einzigen Modell werden die Wortwahrscheinlichkeitsmuster, die der Klassifikator im Training gelernt hat, im gesamten Dokument einheitlich angewendet.

Die Rate falscher Treffer liegt weiterhin unter 1 %, das heißt: Von 100 vollständig menschlich verfassten Dokumenten wird weniger als eines fälschlich als KI-generiert markiert. Um diesen Wert so niedrig zu halten, lässt das Modell möglicherweise tatsächlich von einer KI stammenden Text durchgehen – ein Kompromiss, den wir im nächsten Abschnitt genauer ansehen.

Wenn Sie verstehen, dass der Klassifikator Wortwahrscheinlichkeitsfolgen liest, ergeben sich daraus einige praktische Beobachtungen.

Erstens: Sehr glatt formulierte, schematische Texte wirken eher wie KI. Turnitin selbst weist darauf hin, dass es bei Fehlalarmen oft um „content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.“ (Inhalte ohne viel strukturelle Abwechslung, Text, der sich wörtlich wiederholt, oder Text, der umformuliert wurde, ohne neue Gedanken zu entwickeln) geht. Wenn ein Text im Aufbau gleichförmig ist und gängige, vorhersehbare Wörter verwendet, kann er den Mustern hoher Wahrscheinlichkeit ähneln, die der Klassifikator mit KI-Erzeugung verbindet.

Zweitens: Text mit echter Eigenheit wirkt eher menschlich. Ungewöhnliche Wortwahl, abwechslungsreiche Satzstrukturen und eigene Formulierungen erzeugen Folgen niedriger Wahrscheinlichkeit, die mit menschlicher Urheberschaft verbunden werden. Es geht nicht darum, Fehler einzubauen, sondern darum, Gedanken so auszudrücken, dass eine wirklich eigene Stimme hörbar wird und nicht ein statistischer Durchschnitt.

Drittens: Turnitin sagt offen, dass ein Teil der KI-Texte unentdeckt bleibt. Die Formulierung lautet: „In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document.“ (Um diese niedrige Rate von 1 % an falschen Treffern zu halten, kann es sein, dass wir in einem Dokument manchen von einer KI geschriebenen Text übersehen.) Dazu ein konkretes Beispiel: „If we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing.“ (Wenn wir feststellen, dass 50 % eines Dokuments wahrscheinlich von einem KI-Werkzeug geschrieben wurden, könnte es bis zu 65 % KI-Text enthalten.) Wenn Ihr Dokument mit einem mittleren Prozentsatz markiert wird, kann der tatsächliche Anteil an KI-Text höher sein.

Aus dieser Kalibrierungslücke folgen zwei Dinge. Für Studierende: Ein falscher Treffer ist selten, aber möglich, besonders bei sehr glatten oder repetitiven akademischen Texten. Für Lehrende: Der ausgewiesene Prozentsatz sollte als zurückhaltende Schätzung gelesen werden, nicht als präzise Messung. Die Empfehlung ist eindeutig: Schreiben Sie mit echter Abwechslung in Wortwahl und Struktur, und verstehen Sie den Wert als Wahrscheinlichkeitseinschätzung, nicht als endgültige Zählung. HumanPen hier ausprobieren.