Was die Turnitin-KI-Erkennung eigentlich prüft: Wie der Score zustande kommt

Die KI-Schreib-Erkennung von Turnitin ist eine eigene Auswertung, getrennt von der Ähnlichkeitsprüfung (Plagiat). Der Ähnlichkeitswert sucht nach Text, der mit vorhandenen Quellen übereinstimmt. Der KI-Schreib-Wert sucht nach statistischen Mustern in der Wortwahl, die maschinell erzeugtem Text ähneln. In den FAQ von Turnitin heißt es, die beiden seien „completely independent and do not influence each other.“ (vollständig unabhängig und ohne gegenseitige Beeinflussung). Der KI-Detektor zerlegt Ihre Einreichung in überlappende Textabschnitte, ordnet jeden Abschnitt danach ein, wie wahrscheinlich er von einem Menschen oder von einer KI stammt, und rechnet diese Werte zu einem Prozentwert für das ganze Dokument zusammen. Ausgewertet werden nur Prosasätze. Listen, Aufzählungspunkte und andere Strukturen ohne ganze Sätze bleiben außen vor. Und den KI-Wert sehen nur Lehrkräfte und Administratoren – es sei denn, die Lehrkraft entscheidet sich, den PDF-Bericht zu teilen.

In den FAQ von Turnitin wird der Ablauf so beschrieben:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Wenn eine Arbeit bei Turnitin eingereicht wird, werden die Sätze der Einreichung herausgezogen und für die Vorhersageanalyse in überlappende Abschnitte unterteilt. Jeder Abschnitt wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der angibt, wie wahrscheinlich der Text von einem Menschen oder von einer KI stammt. Jede qualifizierende Satz innerhalb dieser Abschnitte übernimmt den Score des Abschnitts. Da sich die Abschnitte überlappen, können manche Sätze mehrere Scores haben, die dann zu einem einzigen Score zusammengefasst werden. Diese Satz-Scores werden weiter aggregiert und daraus wird der KI-Schreib-Score für das gesamte Dokument berechnet.)

Lesen Sie das als eine Verarbeitungskette. Ihr Text geht hinein, wird in überlappende Stücke zerlegt, jedes Stück bekommt einen Wahrscheinlichkeitswert, Sätze erben den Wert ihrer Abschnitte, überlappende Werte werden zusammengefasst, und aus den zusammengefassten Werten wird eine einzige Zahl. Das Modell liest nicht Ihre Argumentation und prüft nicht, ob Ihre Gedanken originell sind. Es liest statistische Merkmale Ihrer Wortfolgen.

Zwei Aussagen aus denselben FAQ stellen klar, was das Modell misst – und was nicht. Erstens: „Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions.“ (Unser Modell ist nicht ausdrücklich darauf programmiert, bestimmte Signale wie 'Burstiness', 'Perplexity' oder andere einzelne Kennzahlen zu bewerten, die in öffentlichen Diskussionen gelegentlich genannt werden.) Der nächste Satz lautet: „Instead, it learns statistical patterns from our training data.“ (Stattdessen lernt es statistische Muster aus unseren Trainingsdaten.) Zweitens: „Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers.“ (Unsere Klassifikatoren sind darauf trainiert, diese Unterschiede in der Wortwahrscheinlichkeit zu erkennen, und sie kennen die besonderen Wortwahrscheinlichkeitsfolgen menschlicher Schreibender.)

Die erste Aussage besagt, dass das Modell zwei namentlich genannte Kennzahlen nicht berechnet. Die zweite besagt, dass das Modell auf Wortwahrscheinlichkeit trainiert ist. Beides passt zusammen: Das Modell berechnet keine Zahl namens Perplexity und vergleicht sie auch nicht mit einem Schwellenwert – aber es lernt aus Daten zur Wortwahrscheinlichkeit. Der Unterschied ist wichtig, weil ein großer Teil der Ratschläge zur Vermeidung von KI-Erkennung auf der Annahme beruht, man müsse nur eine bestimmte Kennzahl verschieben. Wenn das Modell diese Kennzahl gar nicht berechnet, ist das Anpassen nicht der Hebel, für den man ihn hält. Was KI-Detektoren jenseits von Perplexity und Burstiness messen führt das weiter aus.

Es zählen nur Prosasätze. In den FAQ heißt es:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Dieser auswertbare Text umfasst nur Prosasätze; das heißt, wir analysieren ausschließlich Textblöcke, die in standardmäßigen grammatikalischen Sätzen verfasst sind, und keine anderen Textarten wie Listen, Aufzählungspunkte (kurze Strukturen ohne Satzform) oder sonstige Strukturen ohne Satzform.)

Der nächste Satz: „This percentage is not necessarily the percentage of the entire submission.“ (Dieser Prozentsatz ist nicht notwendigerweise der Prozentsatz der gesamten Einreichung.)

Das heißt: Enthält Ihr Dokument viele Listen, Aufzählungspunkte oder andere Inhalte, die nicht als fortlaufender Text geschrieben sind, bezieht sich der KI-Prozentwert nur auf den Prosateil, nicht auf das gesamte Dokument. Der Wert, den Sie sehen, kann sich also auf einen kleineren Teil Ihres Textes beziehen, als Sie annehmen.

Werte zwischen 1 % und 19 % werden nicht als Zahl angezeigt. Die FAQ erklären dazu:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (Um das mögliche Auftreten falsch positiver Ergebnisse zu vermeiden, werden für KI-Erkennungswerte im Bereich von 1 % bis 19 % weder ein Wert noch Markierungen vergeben. Wird im Bericht KI unterhalb der Schwelle von 20 % erkannt, wird dies nun mit einem Sternchen (*%) angezeigt und kein Prozentsatz vergeben.)

Wenn Ihr Bericht statt einer Zahl ein Sternchen zeigt, hat der Detektor zwar Anzeichen für KI-Muster gefunden, aber nicht genug, um einen konkreten Prozentwert zu vergeben. Das war eine bewusste Designentscheidung, um falsch positive Ergebnisse im unteren Bereich zu verringern. Den Rest dazu finden Sie unter Was das Sternchen (*%) bei einem Turnitin-KI-Score bedeutet.

Die FAQ sind beim Zugriff deutlich: „only instructors and administrators are able to see the indicator.“ (nur Lehrkräfte und Administratoren können den Indikator sehen.) Studierende können ihren eigenen KI-Wert nicht direkt einsehen. Die FAQ fahren fort: „However, with the PDF download feature, instructors can download and share the AI report with students.“ (Mit der PDF-Download-Funktion können Lehrkräfte den KI-Bericht jedoch herunterladen und mit Studierenden teilen.) Wenn Sie studieren und Ihren Wert wissen möchten, müssen Sie Ihre Lehrkraft bitten, die PDF-Version des Berichts mit Ihnen zu teilen – und danach ist wie Sie einen Turnitin-Bericht zur KI-Nutzung lesen der nächste Schritt.

Zusammengefasst, was wir bisher behandelt haben:

• Der KI-Wert und der Ähnlichkeitswert von Turnitin sind vollständig voneinander unabhängige Messungen.
• Der KI-Detektor zerlegt den Text in überlappende Abschnitte und ordnet jeden Abschnitt nach Mustern der Wortwahrscheinlichkeit ein.
• Ausgewertet werden nur Prosasätze. Listen, Aufzählungspunkte und Strukturen ohne Satzform bleiben außen vor.
• Werte zwischen 1 % und 19 % erscheinen nur als Sternchen, nicht als Zahl, um falsch positive Ergebnisse zu verringern.
• Nur Lehrkräfte und Administratoren können den KI-Wert sehen, aber sie können das PDF mit Studierenden teilen.

Wenn Sie einen Turnitin-KI-Bericht haben und an den markierten Stellen arbeiten möchten, importieren Sie den Bericht und gehen Sie sie direkt an. Für Passagen, die die Voraussetzungen erfüllen, ist ein erneuter Durchlauf kostenlos.