Kurze Dokumente und das Alles-oder-Nichts-Problem bei Turnitin

Um zu verstehen, warum kurze Dokumente unzuverlässige KI-Schreibwerte liefern, müssen wir uns ansehen, wie Turnitin Text verarbeitet. In der Dokumentation heißt es: "When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1..." (Wird eine Arbeit bei Turnitin eingereicht, werden die Sätze der Einreichung extrahiert und für die Vorhersageanalyse in überlappende Abschnitte unterteilt. Jeder Abschnitt wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1...)

An diesem Satz trägt das Wort „overlapping" (sich überlappend) die entscheidende Bedeutung. Turnitin analysiert Ihr Dokument nicht als einen durchgehenden Block. Es zerlegt den Text in Segmente, die sich überlappen, sodass ein einzelner Satz in mehreren Segmenten vorkommen kann. Jedes Segment erhält einen eigenen Vorhersagewert zwischen 0 und 1, und der endgültige KI-Schreibanteil ergibt sich aus der Kombination dieser Einzelwerte.

Genau diese Überlappung erlaubt es dem Modell, einen abgestuften Prozentwert zu liefern statt eines simplen Ja-oder-Nein-Ergebnisses. Überlappen die Segmente, kann das Modell vergleichen, wie verschiedene Teile Ihres Textes eingeordnet werden. Ein Absatz, der zwischen Segmenten mit niedrigen und solchen mit hohen Werten liegt, trägt zu einer ausgewogeneren Gesamtvorhersage bei. Ohne Überlappung verliert das Modell die Möglichkeit zum Abgleich, und der Wert wird ungenauer.

Ist ein Dokument sehr kurz, reicht der Text nicht aus, um mehrere überlappende Segmente zu bilden. Die Dokumentation nennt die Folge unmissverständlich: "In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Bei kürzeren Dokumenten mit nur wenigen hundert Wörtern ist die Vorhersage größtenteils „alles oder nichts", weil wir die Vorhersage für ein einzelnes Segment treffen und keine Möglichkeit zur Überlappung haben.)

Ein einzelnes Segment bedeutet: Das Modell trifft eine einzige Vorhersage für das gesamte Dokument. Es gibt keine Mittelwertbildung über mehrere Segmente, weil es nichts zu mitteln gibt. Das Modell sieht sich den Text einmal an, vergibt einen Wert, und dieser Wert entscheidet darüber, ob das Dokument als KI-generiert markiert wird oder nicht.

Die Dokumentation fährt fort: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Das heißt, dass mancher Text, der eine Mischung aus KI-generiertem und eigenem Inhalt ist, vollständig als KI-generiert markiert werden kann.) Das ist der Kern des Problems. Haben Sie in einem Dokument von 300 Wörtern 200 selbst geschrieben und für 100 Wörter KI genutzt, kann das Modell beides nicht trennen. Es verarbeitet das Dokument als eine Einheit, und liegt diese Einheit über dem Schwellenwert, wird das gesamte Dokument markiert. Der Bericht kann nicht zeigen, welche Sätze konkret KI-generiert waren, denn die Vorhersage wurde auf Dokumentebene getroffen, nicht auf Satzebene.

Turnitin legt für Einreichungen eine Mindestwortzahl fest, und in den technischen Anforderungen ist eine Untergrenze von 300 Wörtern angegeben. Zulässige Dateiformate sind .docx, .pdf, .txt und .rtf, bei maximal 30.000 Wörtern und einer Dateigröße unter 100MB. Unterstützte Sprachen sind Englisch, Spanisch, Japanisch und – seit 18. August 2026 – Modern Standard Arabic. Zwei englischsprachige Seiten von Turnitin selbst nennen weiterhin nur die ersten drei, die Seite, auf der Sie landen, ist also womöglich noch nicht nachgezogen.

Die Untergrenze von 300 Wörtern ist eine Anforderung an die Datei: Eine Datei "must have at least 300 words of prose text in a long-form writing format." (muss mindestens 300 Wörter Fließtext in einem Langform-Textformat enthalten.) Häufig wandert dazu ein Satz über die Genauigkeit mit – "Results show that our accuracy increases with a little more text so submissions that contain less than 300 words may result in an AI writing score that is likely less accurate" (Die Ergebnisse zeigen, dass unsere Genauigkeit mit etwas mehr Text steigt, sodass Einreichungen mit weniger als 300 Wörtern zu einem KI-Schreibwert führen können, der womöglich weniger genau ist) –, doch der stammt aus einer Release Note vom 15. Dezember 2023 über einen Fehler, der zu kurze Einreichungen durchließ, und er beschreibt die Berichte aus jenem Zeitraum. Heute liefert das Modell unterhalb der Grenze keine unzuverlässigere Vorhersage. Es liefert gar keine.

Selbst bei 300 Wörtern oder knapp darüber kann die Überlappung minimal sein. Ein Dokument mit 350 Wörtern ergibt womöglich nur zwei oder drei Segmente mit geringer Überlappung – besser als eines, aber noch weit entfernt von der Segmentdichte einer Arbeit mit 2.000 Wörtern. Mehr Text bedeutet mehr Segmente, mehr Überlappung und mehr Gelegenheiten für das Modell, zwischen KI-generiertem und eigenem Inhalt zu unterscheiden.

Das Alles-oder-Nichts-Problem zeigt sich am deutlichsten, wenn ein kurzes Dokument eine Mischung aus eigenem und KI-generiertem Text enthält. Die Dokumentation hält fest, dass "some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (mancher Text, der eine Mischung aus KI-generiertem und eigenem Inhalt ist, vollständig als KI-generiert markiert werden kann.) Für Studierende, die den Großteil einer kurzen Aufgabe selbst geschrieben und für einen Teil davon KI genutzt haben, heißt das: Das gesamte Dokument kann einen hohen KI-Schreibwert erhalten, obwohl der überwiegende Teil des Textes von ihnen selbst stammt.

Bestimmte Textarten verschärfen dieses Problem. Die Dokumentation merkt an: "Sometimes false positives... can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Mitunter können falsch positive Ergebnisse Inhalte betreffen, die wenig strukturelle Abwechslung aufweisen, die sich wörtlich wiederholen oder die umformuliert wurden, ohne neue Gedanken zu entwickeln.) Kurze Aufgaben wie Diskussionsbeiträge oder knappe Reflexionen passen oft auf diese Beschreibung. Sie weisen meist weniger strukturelle Abwechslung auf als eine vollständige Forschungsarbeit und wiederholen ähnliche Gedanken in ähnlichen Satzmustern. Die Dokumentation rät: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Zeigt unser Indikator bei einem solchen Text einen höheren Anteil KI-Schreiben an, empfehlen wir Ihnen, das bei der Betrachtung des ausgewiesenen Prozentwerts zu berücksichtigen.)

Turnitin hat außerdem ein ganz bestimmtes Muster erkannt und bearbeitet. Ein Update aus dem Jahr 2023 hielt fest: "Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (Seit der Einführung beobachten wir eine höhere Rate falsch positiver Erkennungen in den ersten oder letzten Sätzen eines Dokuments. Oft bestehen diese Sätze aus Einleitungs- oder Schlussinhalten, die allgemein formuliert sind. Daher haben wir unsere Erkennungslogik geändert, um diese falsch positiven Ergebnisse zu verringern.) Kurze Dokumente sind von Einleitungs- und Schlussteilen überproportional betroffen, weil diese Abschnitte einen größeren Anteil des Gesamttextes ausmachen. Die Korrektur von 2023 hat geholfen, aber die strukturelle Anfälligkeit kurzer Dokumente bleibt bestehen.

Kurze Aufgaben stehen bei der KI-Erkennung vor mehreren Herausforderungen, die sich gegenseitig verstärken. Sie haben weniger Segmente, weniger Überlappung und weniger strukturelle Abwechslung. Und sie enthalten häufiger allgemein formulierte Einleitungen und Schlussteile. All diese Faktoren machen den KI-Schreibwert bei kurzen Dokumenten unzuverlässiger als bei längeren.

Diskussionsbeiträge, kurze Reflexionen und knappe Response Papers sind die häufigsten Kurzformate im Studium. Schreiben Sie gerade eines davon, unterscheidet der KI-Schreibbericht womöglich nicht zwischen Ihrem eigenen Text und den KI-unterstützten Teilen. Ein einziges Segment mit niedrigem Wert kann das gesamte Dokument in die markierte Kategorie kippen.

Die Dokumentation räumt diese Grenze ein: "Our AI writing detection model may not always be accurate... so it should not be used as the sole basis for adverse actions against a student." (Unser Modell zur Erkennung von KI-Schreiben ist möglicherweise nicht immer zutreffend..., daher sollte es nicht als alleinige Grundlage für nachteilige Maßnahmen gegen Studierende verwendet werden.) Diese Aussage ist besonders relevant für kurze Dokumente, bei denen die Alles-oder-Nichts-Dynamik greift. Erhalten Sie bei einer kurzen Aufgabe einen KI-Hinweis, spiegelt der Bericht womöglich eher die Grenzen der Einzel-Segment-Vorhersage als ein klares Signal über Ihren Text.

Turnitin erklärt außerdem: "We strive to maximize the effectiveness of our detector while keeping our false positive rate... under 1% for documents with over 20% of AI writing." (Wir sind bestrebt, die Wirksamkeit unseres Detektors zu maximieren und dabei unsere Falsch-Positiv-Rate ... unter 1 % zu halten, und zwar bei Dokumenten mit mehr als 20 % KI-Schreibanteil.) Dieses Ziel gilt für Dokumente, die lang genug für eine verlässliche Analyse sind. Kurze Dokumente liegen außerhalb dieses optimalen Bereichs, und die Falsch-Positiv-Rate kann bei ihnen höher ausfallen.

Wir empfehlen, KI-Schreibwerte bei kurzen Dokumenten mit Vorsicht zu behandeln. Schreiben Sie Ihre Arbeit selbst, vermeiden Sie allgemeine Formulierungen in Einleitung und Schluss, und wenn ein Bericht bereits Passagen markiert hat, an denen Sie arbeiten möchten, können Sie nur diese Passagen neu schreiben und den Rest des Dokuments unangetastet lassen.