Turnitin-Fehlalarme: Wie Sie sie melden und was zu tun ist

Von einem Fehlalarm spricht man, wenn Turnitin einen von Menschen geschriebenen Text als KI-generiert markiert. Die Dokumentation räumt ein, dass das vorkommt, und bittet die Nutzer, es zu melden: "If you find AI written documents that we've missed, or notice authentic student work that we've predicted as AI-generated, please let us know! Your feedback is crucial in enabling us to improve our technology further." (Wenn Sie KI-geschriebene Dokumente finden, die wir übersehen haben, oder authentische studentische Arbeiten bemerken, die wir als KI-generiert eingestuft haben, lassen Sie es uns bitte wissen! Ihre Rückmeldung ist entscheidend, damit wir unsere Technologie weiter verbessern können.)

Wenn Sie einen Fehlalarm erhalten, melden Sie ihn Turnitin über dessen Feedback-Kanal. Gleichzeitig sollten Sie den Wert als Hinweis behandeln, der eine menschliche Einschätzung verlangt – und nicht als endgültiges Urteil.

Turnitin legt für Fehlalarme eine klare Grenze fest. In der Dokumentation heißt es: "We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Wir sind bestrebt, die Wirksamkeit unseres Detektors zu maximieren und dabei unsere Fehlalarm-Quote – also den Anteil vollständig von Menschen geschriebener Texte, die fälschlich als KI-generiert erkannt werden – für Dokumente mit mehr als 20 % KI-Text unter 1 % zu halten.)

Ein Zielwert von unter 1 % ist niedrig, aber er ist nicht null. Für Institutionen, die Tausende Einreichungen bearbeiten, bedeutet selbst ein Bruchteil eines Prozentpunkts, dass echte Studierende sich für Arbeiten rechtfertigen müssen, die sie selbst geschrieben haben. Was eine Fehlalarm-Quote von 1 % bedeutet rechnet das an einem realen Einreichungsaufkommen durch. Deshalb bittet Turnitin um Rückmeldungen, und deshalb ist der Wert so angelegt, dass ihn eine Lehrperson prüft, statt dass automatisch Konsequenzen folgen.

Turnitin benennt bestimmte Muster, die Fehlalarme häufiger auslösen. In der Dokumentation heißt es: "Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Fehlalarme – also das fälschliche Markieren von menschlich verfasstem Text als KI-generiert – können Inhalte ohne große strukturelle Abwechslung betreffen, Texte, die sich wörtlich wiederholen, oder Texte, die umformuliert wurden, ohne neue Gedanken zu entwickeln.)

Der nächste Satz ist ebenso wichtig: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Wenn unser Indikator bei einem solchen Text einen höheren Anteil KI-Text anzeigt, empfehlen wir Ihnen, das bei der Betrachtung des angegebenen Prozentsatzes zu berücksichtigen.)

Anders gesagt: Ist Ihr Text von sich aus strukturell gleichförmig, bewusst wiederholend oder stark paraphrasiert, ohne dass eine eigene Analyse hinzukommt, markiert der Detektor ihn eher. Das heißt nicht, dass der Text KI-generiert ist. Es heißt, dass er oberflächliche Muster mit KI-Output teilt – und der Prozentwert sollte vor diesem Hintergrund gelesen werden. Warum KI-Detektoren gut geschriebene Essays markieren beleuchtet denselben Effekt von der anderen Seite.

Turnitin sagt ausdrücklich, dass der Detektor kein Disziplinarinstrument ist. In der Dokumentation heißt es: "Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (Unser Modell zur Erkennung von KI-Texten trifft nicht immer das Richtige – es kann von Menschen geschriebene, KI-generierte und KI-paraphrasierte Texte verwechseln – und sollte daher nicht als alleinige Grundlage für nachteilige Maßnahmen gegen eine Studentin oder einen Studenten verwendet werden.)

Der nächste Satz bekräftigt das: "It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (Um festzustellen, ob akademisches Fehlverhalten vorliegt, bedarf es einer genaueren Prüfung und menschlichen Urteilsvermögens, zusammen mit der Anwendung der jeweils geltenden akademischen Richtlinien der Institution.)

Das ist eine klare Aussage von Turnitin: Der Wert allein reicht nicht aus, um auf akademisches Fehlverhalten zu schließen. Ein Mensch muss sich die Arbeit ansehen, die Richtlinien der Institution anwenden und eine Entscheidung treffen.

Die Dokumentation geht noch weiter, wenn es darum geht, wie der Wert einzuordnen ist. Dort heißt es: "It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (Er ist nicht dazu gedacht, für sich allein endgültige Antworten zu liefern. Wichtiger als jedes Werkzeug ist die Lehrkraft, die den Wert sieht und Entscheidungen trifft, indem sie diese Information gegen ihre persönliche Kenntnis der Studierenden, deren Arbeiten und die institutionellen Richtlinien abwägt.)

Der nächste Satz fasst den vorgesehenen Anwendungsfall zusammen: "When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended." (Wenn Lehrkräfte den KI-Text-Anteil betrachten und ihn als einzelnen Datenpunkt nutzen statt als endgültige Antwort, dann wird er so verwendet, wie es gedacht ist.)

Genau diese Einordnung empfehlen wir. Der Prozentwert ist ein Anhaltspunkt unter vielen, kein Urteil. Sind Sie Lehrkraft, verbinden Sie den Wert mit dem, was Sie über die bisherigen Arbeiten der Studierenden wissen, mit dem Kontext der Aufgabenstellung und mit den Richtlinien Ihrer Institution. Haben Sie als Studierender einen Fehlalarm erhalten, ist diese Einordnung Ihr stärkstes Argument: Das Werkzeug selbst sagt, dass es keine endgültige Antwort liefert. Wie Sie gegen einen falschen KI-Verdacht vorgehen beschreibt, welche Nachweise Hochschulen tatsächlich zusätzlich anerkennen.

Turnitin bittet ausdrücklich um Rückmeldung, wenn der Detektor danebenliegt. In der Dokumentation heißt es: "If you find AI written documents that we've missed, or notice authentic student work that we've predicted as AI-generated, please let us know! Your feedback is crucial in enabling us to improve our technology further." (Wenn Sie KI-geschriebene Dokumente finden, die wir übersehen haben, oder authentische studentische Arbeiten bemerken, die wir als KI-generiert eingestuft haben, lassen Sie es uns bitte wissen! Ihre Rückmeldung ist entscheidend, damit wir unsere Technologie weiter verbessern können.)

Um einen Fehlalarm zu melden, nutzen Sie den Feedback-Kanal von Turnitin. Schicken Sie das Dokument mit, den angegebenen KI-Text-Anteil und eine kurze Begründung, warum der markierte Text Ihrer Ansicht nach von einem Menschen geschrieben wurde. Je konkreter die Rückmeldung, desto mehr hilft sie, das Modell zu verbessern. Eine Rückmeldung an den Anbieter entscheidet allerdings nicht Ihren Fall an Ihrer eigenen Institution; dafür ist wie Sie belegen, dass Ihre Arbeit von Ihnen stammt der eigene Weg.

Während Sie auf eine Rückmeldung oder auf die Prüfung warten, konzentrieren Sie sich auf die markierten Passagen. Wenn bestimmte Abschnitte Ihrer Arbeit den Ausschlag gegeben haben, kann es bei einer erneuten Einreichung helfen, genau diese Passagen so zu überarbeiten, dass sie mehr strukturelle Abwechslung, eigene Analyse und weniger repetitive Formulierungen enthalten. Nur die Absätze umschreiben, die ein Turnitin-Bericht markiert hat beschreibt diesen engeren Durchgang.

Wenn Ihr Turnitin-Bericht Passagen markiert hat, die Sie selbst geschrieben haben, gehen Sie so vor:

1. Melden Sie den Fehlalarm über den Feedback-Kanal an Turnitin.
2. Prüfen Sie die markierten Passagen auf die Muster, die Turnitin beschreibt: strukturelle Gleichförmigkeit, Wiederholungen und Paraphrasieren ohne neue Gedanken.
3. Überarbeiten Sie die markierten Abschnitte so, dass mehr Abwechslung und eigene Analyse hineinkommt.
4. Behandeln Sie den Wert als einzelnen Datenpunkt und nicht als endgültiges Urteil – so, wie es Turnitins eigene Dokumentation vorgibt.

Für Passagen, die die Voraussetzungen erfüllen, ist ein erneuter Durchlauf kostenlos.