Ein Peer-Reviewer hat meine Arbeit als KI-generiert markiert. Was Turnitin dazu sagt

Turnitins FAQ formuliert eindeutig, wo die Grenzen des KI-Schreibindikators liegen:

"Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." (Daher müssen wir betonen, dass der Prozentsatz des KI-Schreibindikators nicht als alleinige Grundlage für Maßnahmen oder als definitives Bewertungskriterium durch Lehrkräfte verwendet werden sollte.)

Das ist eine Aussage von Turnitin selbst. Der Prozentsatz ist ein Signal, keine Schlussfolgerung. Wenn ein Peer-Reviewer Ihre Arbeit auf Basis eines Turnitin-Scores markiert hat, sagt die Dokumentation: Dieser Score war nie als letztes Wort gedacht. Die Frage, was Zeitschriften tatsächlich mit einer Einreichung machen, ist eine andere: Prüfen Zeitschriften Arbeiten auf KI-Schreibweise?.

Die FAQ beschreibt den Score als eine Eingangsinformation unter vielen:

"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (Er ist nicht dazu gedacht, isoliert definitive Antworten zu liefern. Wichtiger als jedes Tool ist die Lehrperson, die den Score sieht und Entscheidungen trifft, die diese Information mit ihrem persönlichen Wissen über ihre Studierenden, deren Arbeiten und die institutionellen Richtlinien abwägt.)

Der Score ist so konzipiert, dass er von einer Lehrperson mit Kontextwissen interpretiert wird, das dem Tool fehlt. Es kennt Ihren Schreibprozess nicht, Ihre Entwurfshistorie oder Ihre persönliche Stimme. Die Dokumentation sagt: Die Person, die den Score liest, zählt mehr als der Score selbst.

Ein Peer-Reviewer, der Ihre Arbeit allein aufgrund des Prozentsatzes markiert, verwendet das Tool auf eine Weise, die der FAQ widerspricht. Der Score soll im Abgleich mit persönlichem Wissen über die verfassende Person und deren Arbeit betrachtet werden.

Die FAQ beschreibt konkrete Textmerkmale, die falsche Positivmeldungen auslösen können:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Manchmal können falsche Positive – also fälschlich als KI-generiert markierter menschlicher Text – Inhalte ohne große strukturelle Variation umfassen, Text, der sich wortwörtlich wiederholt, oder Text, der paraphrasiert wurde, ohne neue Ideen zu entwickeln.)

Wenn Ihre Arbeit markiert wurde, prüfen Sie, ob sie solche Merkmale aufweist. Text ohne strukturelle Variation, mit sich wiederholenden Formulierungen oder der Quellen paraphrasiert ohne eigene Analyse hinzuzufügen, kann markiert werden – selbst wenn Sie jedes Wort selbst geschrieben haben. Das sind dokumentierte Muster für falsche Positivmeldungen, keine Spekulation.

Das ist bemerkenswert, weil diese Merkmale im akademischen Schreiben häufig vorkommen. Literaturreviews, Methodenteile und Ergebnisbeschreibungen können naturgemäß geringe strukturelle Variation oder wiederholende Formulierungen aufweisen. Eine falsche Positivmeldung bedeutet nicht, dass der Text KI-generiert ist. Sie bedeutet, dass der Text Muster aufweist, die das Modell mit KI-Ausgabe assoziiert. Turnitin hat meinen gesamten Methodenteil markiert ist dieser Fall im Detail durchgespielt.

Die FAQ nennt ein konkretes Ziel für die Rate falscher Positivmeldungen:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Wir bemühen uns, die Wirksamkeit unseres Detektors zu maximieren und gleichzeitig unsere Falsch-Positiv-Rate – also die fälschliche Identifizierung vollständig menschlich geschriebenen Textes als KI-generiert – bei unter 1 % für Dokumente mit mehr als 20 % KI-Schreibweise zu halten.)

Im nächsten Satz heißt es: "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (Anders ausgedrückt: Wir könnten bei einem von jeweils 100 vollständig menschlich geschriebenen Dokumenten fälschlich KI-Schreibweise annehmen.)

Das Ziel liegt bei unter 1 % für Dokumente mit mehr als 20 % KI-Anteil. Das bedeutet: Turnitin hält fest, dass falsche Positivmeldungen vorkommen, und setzt eine Schwelle, wie oft sie auftreten sollen. Diese Schwelle ist ein Zielwert, keine Garantie. Falsche Positivmeldungen sind Teil der Systemparameter. Was eine Falsch-Positiv-Rate von 1 % bedeutet, wenn eine Universität 75.000 Arbeiten einreicht rechnet diesen Zielwert in eine Kopfzahl um.

Die FAQ weist darauf hin, dass der Zugriff auf den KI-Indikator beschränkt ist:

"Please note, only instructors and administrators are able to see the indicator." (Bitte beachten Sie, dass nur Lehrkräfte und Administratoren den Indikator einsehen können.)

Studierende sehen den Score nicht. Peer-Reviewer haben in vielen redaktionellen Workflows ebenfalls keinen direkten Zugriff auf den Turnitin-KI-Indikator. Wenn ein Peer-Reviewer Ihre Arbeit als KI-generiert markiert hat, arbeitete er oder sie möglicherweise mit dem Similarity Report, einem anderen Detektor oder einer eigenen Einschätzung des Textes. Es lohnt sich zu klären, welches Tool die Markierung vorgenommen hat und wer Zugriff auf welchen Bericht hatte. Auf Zeitschriftenseite bedeutet das meist iThenticate: Erkennt iThenticate KI-generierten Text?.

Zusammengefasst sagt die Dokumentation Folgendes:

• Der Prozentsatz des KI-Schreibindikators sollte nicht als alleinige Grundlage für Maßnahmen oder als definitives Bewertungskriterium verwendet werden.
• Der Score ist nicht dazu gedacht, isoliert definitive Antworten zu liefern. Das Wissen der Lehrperson über die Studierenden und die institutionellen Richtlinien wiegen schwerer.
• Falsche Positivmeldungen können Inhalte ohne strukturelle Variation umfassen, sich wiederholenden Text oder Text, der paraphrasiert wurde, ohne neue Ideen zu entwickeln.
• Das Ziel für falsche Positivmeldungen liegt bei unter 1 % für Dokumente mit mehr als 20 % KI-Schreibweise. Falsche Positivmeldungen sind ein dokumentierter Teil des Systems.
• Nur Lehrkräfte und Administratoren können den KI-Indikator einsehen. Studierende können ihn nicht sehen.

Wenn ein Peer-Reviewer Ihre Arbeit markiert hat und Sie die betroffenen Passagen bearbeiten möchten, importieren Sie den Bericht und arbeiten Sie diese durch. Berechtigte Passagen können kostenlos erneut geprüft werden.