Warum markiert Turnitin meine Arbeit als 100 % KI?

Ein Wert von 100 % bedeutet nicht, dass Turnitin sicher ist, Ihr Text sei KI-generiert. Bei kürzeren Dokumenten, wenigen hundert Wörtern, ist die Vorhersage meist „alles oder nichts", da das System ein einzelnes Segment ohne Überlappung bewertet, über die es mitteln könnte. Text mit geringer struktureller Variation, wörtlicher Wiederholung oder Paraphrasieren ohne neue Ideen ist eher anfällig für falsch positive Ergebnisse. Und Turnitin selbst sagt in drei separaten Hilfedokumenten, dass der Wert nicht als alleinige Grundlage für Maßnahmen gegen einen Studierenden verwendet werden sollte.

Wir haben erklärt, wie Turnitins KI-Erkennung funktioniert anhand des Klassifikators und seiner Segmente. Dieser Artikel handelt davon, was passiert, wenn dieses System 100 % liefert bei einem Text, den Sie selbst geschrieben haben. Die Ursachen sind mechanisch, nicht willkürlich, und sie sind in Turnitins eigenen Seiten dokumentiert.

Das ist der häufigste Grund, warum ein echter menschlicher Text einen 100 %-Wert bekommt. Turnitins FAQ zu den Funktionen der KI-Schreiberkennung beschreibt, was bei kurzen Einreichungen passiert:

„In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (In kürzeren Dokumenten mit nur wenigen hundert Wörtern ist die Vorhersage überwiegend „alles oder nichts", da wir auf einem einzelnen Segment ohne Überlappungsmöglichkeit vorhersagen.)

Der nächste Satz ergänzt das Bild:

„This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Das bedeutet, dass ein Text, der eine Mischung aus KI-generiertem und originalem Inhalt ist, als vollständig KI-generiert markiert werden könnte.)

Lesen Sie diese beiden Sätze zusammen, und der 100 %-Wert bei einer kurzen Arbeit wirkt nicht mehr wie ein Urteil. Er wirkt wie eine Obergrenze der Auflösung des Instruments. Wenn es nur ein Segment gibt, gibt es nichts zum Mitteln. Ein Segment mit hoher Wahrscheinlichkeit wird zum gesamten Dokumentwert. Wenn Ihr Essay 300 oder 500 Wörter umfasst, ist das die erste Möglichkeit, die Sie prüfen sollten.

Turnitin wies zudem in einem Release im Dezember 2023 darauf hin, dass „submissions that contain less than 300 words may result in an AI writing score that is likely less accurate." (Einreichungen mit weniger als 300 Wörtern können zu einem KI-Schreibwert führen, der wahrscheinlich weniger genau ist.) Kurze Dokumente sind schwerer zu bewerten, und das System weiß das.

Dieselbe FAQ-Seite listet die Textarten auf, bei denen falsch positive Ergebnisse wahrscheinlicher sind:

„Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Manchmal können falsch Positive (also das fälschliche Markieren von menschlich geschriebenem Text als KI-generiert) Inhalte ohne große strukturelle Variation umfassen, Text, der sich wörtlich selbst wiederholt, oder Text, der paraphrasiert wurde, ohne neue Ideen zu entwickeln.)

Der nächste Satz ist genauso wichtig wie die Liste selbst:

„If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Wenn unser Indikator einen höheren Anteil an KI-Schreiben in solchem Text anzeigt, empfehlen wir Ihnen, das bei der Betrachtung des angezeigten Prozentwertes zu berücksichtigen.)

Das ist Turnitin, das den Lehrenden sagt, sie sollen den Prozentwert abwerten, wenn er bei dieser Art von Text erscheint. Wenn Ihr Text strukturell einheitlich ist (Absätze ähnlicher Länge, ähnliche Satzmuster, wiederkehrender Wortschatz) oder wenn Sie Quellenmaterial eng paraphrasiert haben, ohne eine eigene Analyse hinzuzufügen, kann der Wert steigen, obwohl jedes Wort Ihr eigenes ist.

Das ist kein Fehler. Es ist der Klassifikator, der Gleichmäßigkeit als Signal liest. Statistische Muster, die regelmäßig wirken, können dem ähneln, was das Modell aus KI-Text gelernt hat, auch wenn der Text von einem Menschen stammt, der zufällig in einem gleichmäßigen Register geschrieben hat. Auf institutioneller Ebene summiert sich das, was die Rechnung in was eine 1 %-Falsch-Positiv-Rate bedeutet, wenn eine Universität 75.000 Arbeiten einreicht erklärt.

Um zu verstehen, warum ein einzelnes Segment 100 % ergeben kann, hilft es, die Funktionsweise der Bewertung von Anfang an zu betrachten. Turnitins FAQ beschreibt die Pipeline:

„When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Wenn eine Arbeit bei Turnitin eingereicht wird, werden Sätze aus der Einreichung extrahiert und für die Vorhersageanalyse in überlappende Abschnitte segmentiert. Jedes Segment wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der die Wahrscheinlichkeit angibt, dass der Text wahrscheinlich menschlich oder KI-generiert ist. Jeder qualifizierende Satz innerhalb dieser Segmente erbt den Wert des Segments. Da Segmente überlappen, können einige Sätze mehrere Werte haben, die dann zu einem einzigen Wert zusammengefasst werden. Diese Satz-Werte werden weiter aggregiert und zur Berechnung des gesamten KI-Schreibwertes des Dokuments verwendet.)

In einem längeren Dokument gibt es viele überlappende Segmente. Ein Satz am Rand eines Segments erscheint auch im nächsten. Die Werte beider Segmente werden zusammengefasst. Ein Segment, das als KI-ähnlich wirkt, dominiert nicht, da benachbarte Segmente den zusammengefassten Wert in andere Richtungen ziehen.

In einem kurzen Dokument gibt es nur ein Segment. Keine Überlappung. Kein Mitteln über Fenster. Die Klassifikation des einzelnen Segments wird zum Dokumentwert. Wenn dieses Segment mit 0,95 Wahrscheinlichkeit als KI klassifiziert wird, ist der Dokumentwert 100 % (oder was auch immer die Aggregation daraus macht). Das System hat keine zweite Meinung, die es einholen könnte.

Das ist der mechanische Grund, warum 100 %-Werte bei kurzen Arbeiten gehäuft auftreten. Es liegt nicht daran, dass kurze Arbeiten eher KI-generiert sind. Es liegt daran, dass das Instrument weniger Gelegenheiten hat, sich selbst zu korrigieren.

Turnitins eigene Dokumentation ist mit ihren Werten vorsichtiger als die Einrichtungen, die sie verwenden. Der AI Writing Report-Leitfaden stellt fest:

„Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (Unser KI-Schreiberkennungsmodell ist möglicherweise nicht immer genau (es kann menschlich geschriebenen, KI-generierten und KI-paraphrasierten Text falsch identifizieren), daher sollte es nicht als alleinige Grundlage für Maßnahmen gegen einen Studierenden verwendet werden.)

Der nächste Satz in demselben Leitfaden:

„It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (Es bedarf weiterer Prüfung und menschlicher Urteilkraft in Verbindung mit der Anwendung der spezifischen akademischen Richtlinien einer Organisation, um festzustellen, ob akademisches Fehlverhalten vorliegt.)

Ein separater Review-Leitfaden formuliert denselben Punkt anders:

„It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (Er ist nicht dafür gedacht, isoliert endgültige Antworten zu liefern. Wichtiger als jedes Werkzeug ist der Lehrende, der den Wert sieht und Entscheidungen trifft, die diese Informationen mit seinem persönlichen Wissen über seine Studierenden, ihre Arbeiten und die institutionellen Richtlinien abwägen.)

Und der Satz danach:

„When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended." (Wenn Lehrende den KI-Schreibwert betrachten und ihn als einzelnen Datenpunkt nutzen statt als endgültige Antwort, dann wird er so verwendet, wie es vorgesehen ist.)

Das sind Turnitins Worte, nicht unsere. Das Unternehmen, das den Detektor gebaut hat, sagt den Menschen, die ihn verwenden, dass ein Wert ein Datenpunkt ist, kein Schluss. Wenn Ihre Einrichtung 100 % als endgültigen Beweis behandelt, verwendet sie das Tool auf eine Weise, die Turnitin ausdrücklich nicht vorsieht.

Prüfen Sie die Dokumentlänge. Wenn die Einreichung wenige hundert Wörter umfasste, ist das „Alles-oder-Nichts"-Verhalten, das in F9 beschrieben ist, die wahrscheinlichste Erklärung. Der Wert spiegelt die Grenzen der Vorhersage mit einem einzelnen Segment wider, nicht eine Aussage über Ihren Schreibprozess.

Prüfen Sie, ob Ihr Text dem falsch-positiven Profil entspricht. Geringe strukturelle Variation, wörtliche Wiederholung und Paraphrasieren ohne neue Ideen sind die drei Merkmale, die Turnitin selbst nennt. Wenn Ihr Text eines davon aufweist, lautet die offizielle Empfehlung, das bei der Betrachtung des Prozentwertes zu berücksichtigen. Das ist ein Zitat, das Sie in ein Gespräch mitbringen können.

Fragen Sie, wann der Report erstellt wurde. Im Mai 2023 hat Turnitin seine Erkennungslogik geändert, um falsch positive Ergebnisse im ersten und letzten Satz von Dokumenten zu reduzieren, die zuvor höhere Falsch-Positiv-Raten erzeugt hatten. Die Korrektur ist in den Release-Notes dokumentiert. Wenn der Report vor dieser Korrektur erstellt wurde, kann er ein Problem widerspiegeln, das inzwischen behoben ist. Reports, die vor Juli 2024 erstellt wurden, können außerdem numerische Werte im Bereich 1 bis 19 anzeigen, die aktuelle Reports als Sternchen darstellen. Der Punkt ist: Alte Reports verhalten sich anders als neue, und das Datum ist wichtig.

Bringen Sie Belege für Ihren Schreibprozess mit. Versionshistorie, Entwurfsdateien mit Zeitstempeln, Browserverlauf, der Recherchetätigkeit zeigt. Das sind keine Argumente über den Wert. Sie sind das „further scrutiny and human judgment" (weitergehende Prüfung und menschliche Urteilskraft), das Turnitin sagen zufolge den Wert begleiten sollte.

Führen Sie Turnitins eigene Worte an. Die Aussage, dass der Wert „should not be used as the sole basis for adverse actions against a student" (nicht als alleinige Grundlage für Maßnahmen gegen einen Studierenden verwendet werden sollte) erscheint in drei separaten Turnitin-Dokumenten. Die Aussage, dass der Wert „a single data point rather than a definitive response" (ein einzelner Datenpunkt statt einer endgültigen Antwort) ist, beschreibt, wie Turnitin sagt, dass das Tool verwendet werden soll. Dies sind keine Meinungen. Es sind die vom Hersteller formulierten Betriebsanweisungen. Wenn Sie ausarbeiten, was Sie tatsächlich sagen möchten, handelt markiert, aber selbst geschrieben von der Vorbereitung dieser Antwort.

Das Tool HumanPen ist ein Werkzeug zum Umschreiben von Dokumenten. Die hier relevante Designentscheidung ist, dass wir auf Passageebene umschreiben, nicht auf Wertebene. Wir versuchen nicht, eine Zahl zu bewegen, die wir nicht sehen können. Wir nehmen die Passagen, die der AI Writing Report markiert hat, ändern die tatsächliche Sprache in diesen Passagen und lassen den Rest des Dokuments unangetastet. Die Abrechnung zählt nur die umgeschriebenen Wörter, und wenn ein neuer Report zum umgeschriebenen Text noch bei 20 % oder darüber liegt, ist der erneute Durchlauf der noch markierten Passagen kostenlos.

Wir sagen Ihnen nicht, was Ihr nächster Report besagen wird. Wir machen keine Vorhersagen über Erkennungswerte. Was wir tun, ist enger gesteckt: Wir schreiben die spezifische Sprache in den spezifischen Passagen um, die der Report identifiziert hat, und wir bewahren die Struktur, die Zitate und die Formatierung drumherum.

Kann sich Turnitin bei 100 % KI irren? Ja. Turnitins eigene FAQ sagt, dass kurze Dokumente „Alles-oder-Nichts"-Vorhersagen auf einem einzelnen Segment erhalten, und dass Text ohne strukturelle Variation oder mit engem Paraphrasieren eher anfällig für falsch Positive ist. Der 100 %-Wert ist ein Aggregat aus Klassifikationen auf Segmentebene, und bei einem kurzen Dokument kann es nur ein Segment geben.

Bedeutet 100 % KI, dass Turnitin sicher ist? Nein. Der Prozentwert ist die Ausgabe eines Klassifikators, der auf überlappende Segmente angewendet, zusammengefasst und aggregiert wird. Bei einem Dokument mit einem einzigen Segment wird ein Segment mit hoher Wahrscheinlichkeit zum gesamten Wert. Turnitin sagt, dass der Wert „should not be used as the sole basis for adverse actions against a student" (nicht als alleinige Grundlage für Maßnahmen gegen einen Studierenden verwendet werden sollte) und „a single data point rather than a definitive response." (ein einzelner Datenpunkt statt einer endgültigen Antwort) ist.

Warum hat mein kurzes Essay 100 % bekommen, meine lange Arbeit aber nicht? Längere Dokumente haben mehr überlappende Segmente, sodass Werte über Fenster gemittelt werden und ein einzelnes KI-ähnliches Segment verdünnt wird. Kurze Dokumente haben ein Segment, keine Überlappung, keine Verdünnung. Das ist eine mechanische Eigenschaft der Bewertungs-Pipeline, kein Urteil über Ihr Schreiben.

Was, wenn ich Grammarly genutzt habe? Turnitins FAQ sagt, dass Rechtschreib-, Grammatik- und Zeichensetzungsänderungen durch Grammarly „in most cases" (in den meisten Fällen) nicht als KI markiert werden. Die generativen Funktionen von Grammarly (Entwurfsgenerierung, Paraphrasieren, Zusammenfassen) sind jedoch eine andere Kategorie, und Inhalte, die von diesen Funktionen produziert wurden, „will likely be flagged as AI-generated." (werden wahrscheinlich als KI-generiert markiert.)

Kann ich Turnitins eigene Worte in meiner Verteidigung verwenden? Ja. Die Aussage, dass der Wert nicht die alleinige Grundlage für Maßnahmen sein sollte, erscheint in drei Turnitin-Dokumenten. Die Aussage, dass der Wert ein einzelner Datenpunkt ist, erscheint in ihrem Review-Leitfaden. Dies sind die Betriebsanweisungen des Herstellers, und sie sind relevant für jedes Gespräch darüber, was ein Wert bedeutet.