Der offizielle Weg: So melden Sie einen False Positive an Turnitin

Die meisten Ratschläge zu False Positives bei Turnitin laufen auf einen einzigen Weg hinaus: Sie wenden sich an Ihren Professor und ziehen die Sache notfalls bis zum Fachbereich oder zur Stelle für akademische Integrität weiter. Auf diesem Weg geht es um Ihre Note. Es gibt aber noch einen zweiten Weg, den kaum ein anderer Artikel erwähnt – und der führt direkt zu Turnitin selbst.

In der eigenen Dokumentation von Turnitin gibt es einen Rückmeldekanal. Dort heißt es unmissverständlich: „If you find AI written documents that we've missed, or notice authentic student work that we've predicted as AI-generated, please let us know! Your feedback is crucial in enabling us to improve our technology further." (Wenn Sie KI-geschriebene Dokumente finden, die wir übersehen haben, oder echte studentische Arbeit entdecken, die wir als KI-generiert eingestuft haben, lassen Sie es uns bitte wissen! Ihre Rückmeldung ist entscheidend, damit wir unsere Technik weiter verbessern können.)

Das ist eine direkte Aufforderung des Teams, das den Detektor entwickelt. Es bittet um zwei Arten von Rückmeldung: KI-Texte, die übersehen wurden (falsch negative Ergebnisse), und menschliche Texte, die fälschlich als KI eingestuft wurden (False Positives). Beide Richtungen zählen, weil beide das Modell verbessern.

Wir heben das hervor, weil praktische Ratschläge fast immer auf der Ebene der Hochschule enden. Sie legen bei Ihrem Professor Einspruch ein, Sie sammeln Belege, Sie tragen Ihre Argumente vor. Doch das System, das den Wert erzeugt hat, möchte ebenfalls von Ihnen hören. Ein Kanal betrifft Ihre Note, der andere die Verbesserung des Systems selbst.

Der Rückmeldekanal greift in zwei Fällen, und Turnitin beschreibt beide im selben Satz. Der erste: Echte studentische Arbeit wird als KI-generiert eingestuft. Wenn Ihr eigener Text einen KI-Schreibwert erhält, den Sie für falsch halten, handelt es sich um einen False Positive – und Turnitin möchte davon erfahren.

Der zweite Fall ist das Gegenteil: KI-geschriebener Text, den der Detektor übersehen hat. Wenn Sie als Lehrperson KI-generierten Text finden, den Turnitin nicht markiert hat, gehört diese Rückmeldung ebenfalls in den Kanal.

Woran erkennen Sie, ob Ihr Fall ein wahrscheinlicher False Positive ist? Turnitin gibt Hinweise darauf, welche Textarten False Positives besonders oft auslösen: „Sometimes false positives... can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Manchmal können False Positives … Inhalte mit wenig struktureller Abwechslung betreffen, Text, der sich wortwörtlich wiederholt, oder Text, der umformuliert wurde, ohne neue Gedanken zu entwickeln.) Wenn Ihr markierter Text auf eine dieser Beschreibungen passt, gehört dieser Hinweis in Ihre Rückmeldung.

Turnitin rät außerdem: „If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Wenn unsere Anzeige in einem solchen Text einen höheren KI-Anteil ausweist, empfehlen wir Ihnen, das bei der Betrachtung des angezeigten Prozentwerts zu berücksichtigen.) Anders gesagt: Ist Ihr Text strukturell gleichförmig oder stark auf Umformulierungen angewiesen, kann der Wert zu hoch ausfallen – und genau dann ist eine Meldung an Turnitin angebracht.

Wenn Sie Turnitin einen False Positive melden, helfen konkrete Angaben bei der Prüfung Ihres Falls. Wir empfehlen Ihnen, die folgenden Punkte aufzunehmen.

Erstens: Benennen Sie den Text und den Wert, den er erhalten hat. Halten Sie den Gesamtprozentsatz fest, den Turnitin vergeben hat, und nach Möglichkeit, welche Abschnitte markiert wurden.

Zweitens: Beschreiben Sie die Eigenheiten des Textes. Wenn Ihr Text auf eines der Muster passt, die Turnitin selbst nennt, sagen Sie das. Wenn der markierte Abschnitt etwa ein Literaturüberblick ist, der mehrere Quellen ohne eigene Analyse umformuliert, weisen Sie darauf hin, dass er auf Turnitins eigene Beschreibung passt: „content without a lot of structural variation" (Inhalt mit wenig struktureller Abwechslung) oder „text that has been paraphrased without developing new ideas." (Text, der umformuliert wurde, ohne neue Gedanken zu entwickeln.)

Drittens: Erläutern Sie die Aufgabe und Ihre Arbeitsweise. Wurde der Text stark überarbeitet? Haben Sie Grammatikprüfungen genutzt, die Ihre Formulierungen vereinheitlichen könnten? Solche Hinweise helfen Turnitin zu verstehen, warum der Klassifikator Ihren Text falsch gelesen haben könnte.

Viertens: Beziehen Sie sich auf die Zielgröße für die False-Positive-Rate. Turnitin schreibt: „We strive to maximize the effectiveness of our detector while keeping our false positive rate... under 1% for documents with over 20% of AI writing." (Wir sind bestrebt, die Wirksamkeit unseres Detektors zu maximieren und zugleich unsere False-Positive-Rate … unter 1 % zu halten, bei Dokumenten mit mehr als 20 % KI-Text.) Sie beschweren sich hier nicht über ein System, das Vollkommenheit behauptet. Sie tragen zu einem System bei, das eine kleine, aber reale Fehlerquote ausdrücklich einräumt.

Die Zielgröße von Turnitin für False Positives ist präzise angegeben. Man strebt unter 1 % an, bei Dokumenten mit mehr als 20 % KI-Text, und übersetzt das in einfache Worte: „In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (Anders gesagt: Wir könnten eines von 100 vollständig von Menschen geschriebenen Dokumenten fälschlich als KI-geschrieben markieren.)

Das heißt: In einem Kurs mit 100 Studierenden, die alle eigene Arbeit einreichen, könnte eine Person einen False Positive erleben. Der Zielwert ist niedrig, aber er ist nicht null. Turnitin spricht diesen Zielkonflikt offen an. Um die False-Positive-Rate bei 1 % zu halten, nimmt man in Kauf, dass mancher KI-Text unentdeckt bleibt: „In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document." (Um diese niedrige Rate von 1 % bei False Positives zu halten, besteht die Möglichkeit, dass wir in einem Dokument KI-geschriebenen Text übersehen.)

Turnitin nennt ein anschauliches Beispiel: „If we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (Wenn wir feststellen, dass 50 % eines Dokuments wahrscheinlich von einem KI-Werkzeug geschrieben wurden, könnte es bis zu 65 % KI-Text enthalten.) Der ausgewiesene Wert kann den tatsächlichen KI-Anteil unterschätzen, und diese Lücke ist so gewollt.

Deshalb ist der Rückmeldekanal wichtig. Die Zielgröße von 1 % bedeutet, dass False Positives vorkommen werden. Das System ist so kalibriert, dass es im Zweifel menschlichen Text nicht markiert – die False Positives, die dennoch auftreten, sind also einkalkuliert. Sie zu melden hilft Turnitin einzuschätzen, ob die Kalibrierung funktioniert oder ob bestimmte Textmuster systematisch falsch einsortiert werden.

Der Rückmeldekanal gehört zu einem größeren Rahmen, den Turnitin betont. In der Dokumentation heißt es: „Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (Unser Modell zur Erkennung von KI-Text ist nicht immer zutreffend – es kann von Menschen geschriebenen, KI-generierten und KI-umformulierten Text verwechseln –, darum sollte es nicht als alleinige Grundlage für nachteilige Maßnahmen gegen eine Studentin oder einen Studenten verwendet werden.)

Und weiter: „It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (Es braucht weitere Prüfung und menschliches Urteilsvermögen, zusammen mit der Anwendung der jeweiligen akademischen Richtlinien der Einrichtung, um festzustellen, ob ein akademisches Fehlverhalten vorliegt.)

Das ist eine klare Aussage des Unternehmens, das den Detektor baut. Der Wert ist kein Urteil. Turnitin versteht ihn als Signal, das eine Lehrperson einordnen muss, die die Studierenden und den Zusammenhang kennt: „It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (Er ist nicht dafür gedacht, für sich allein endgültige Antworten zu liefern. Wichtiger als jedes Werkzeug ist die Lehrperson, die den Wert sieht und Entscheidungen trifft, bei denen sie diese Information gegen ihre persönliche Kenntnis ihrer Studierenden, deren Arbeit und die Richtlinien der Einrichtung abwägt.)

Der vorgesehene Gebrauch ist eindeutig: „When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended." (Wenn Lehrpersonen den KI-Schreibwert betrachten und ihn als einen einzelnen Datenpunkt nutzen statt als endgültige Antwort, dann wird er sinnvoll eingesetzt.)

Wir verstehen den Rückmeldekanal als Teil derselben Grundhaltung. Wenn der Wert ein einzelner Datenpunkt ist, dann sorgt die Meldung eines vermuteten False Positive dafür, dass dieser Datenpunkt eingeordnet und mit der Zeit verbessert wird. Legen Sie bei Ihrem Professor Einspruch ein, klären Sie die unmittelbare Situation. Melden Sie den Fall an Turnitin, tragen Sie zur Kalibrierung des Systems für alle bei. Beides zählt, und beides dient unterschiedlichen Zwecken. Prüfen Sie Ihren Turnitin-Bericht.