Warum markiert Turnitin mein Literaturverzeichnis?

In aktuellen Turnitin-Berichten sollten Literaturverzeichnisse überhaupt keine KI-Markierungen erhalten. Das Modell zur Erkennung von KI-Texten nimmt Literaturverzeichnisse von der Analyse aus. Wenn Ihre Quellenangaben in einem Bericht, den Sie gerade vor sich haben, Markierungen zeigen, gibt es dafür drei realistische Erklärungen – und keine davon lautet „Turnitin hat in Ihrem Literaturverzeichnis KI entdeckt.“ Die drei sind: Der Bericht ist veraltet (von vor August 2023), die Markierungen sind Ähnlichkeitsübereinstimmungen und keine KI-Markierungen, oder der markierte Text ist eigentlich Fließtext neben Ihren Quellenangaben und wird vom Modell als Prosa gelesen.

Wir gehen alle drei durch. Der Ausgangspunkt ist aber die Änderung, die Turnitin vorgenommen hat – und der Satz, den Turnitin Sie zu befolgen gebeten hat.

In den ersten Monaten nach dem Start der KI-Schreiberkennung bei Turnitin im April 2023 waren Literaturverzeichnisse noch nicht von der Analyse ausgenommen. Ein Fehler markierte gelegentlich KI-Text innerhalb der Quellenangaben eines Literaturverzeichnisses. Wir wissen das, weil Turnitin es in seinen Release Notes zum KI-Erkennungsmodell dokumentiert hat:

„We have fixed a bug that was occasionally highlighting AI writing within references listed in a bibliography. Bibliographies are now excluded when processing the AI writing report." (Wir haben einen Fehler behoben, der gelegentlich KI-Text innerhalb der in einem Literaturverzeichnis aufgeführten Quellenangaben markierte. Literaturverzeichnisse werden bei der Verarbeitung des KI-Schreibberichts jetzt ausgenommen.)

Der nächste Satz in derselben Zeile der Release Notes lautet:

„Resubmit to reprocess existing submissions that contain highlighted reference sections." (Reichen Sie die Arbeit erneut ein, damit bestehende Einreichungen mit markierten Literaturabschnitten neu verarbeitet werden.)

Genau diesen zweiten Satz übersehen die meisten Studierenden. Der Fix gilt nicht für bereits erzeugte Berichte. Hat Ihre Lehrkraft vor dem Release im August 2023 einen Bericht erzeugt und die Arbeit danach nie erneut eingereicht, dann ist es dieser alte Bericht, der mit Markierungen auf Ihrem Literaturverzeichnis im Postfach liegt. Der Bericht aktualisiert sich nicht von selbst.

Dieselben Release Notes enthalten außerdem eine verwandte Änderung zu Tabellen. Vor August 2023 wurde längerer Fließtext in Tabellen nicht verarbeitet. In den Release Notes von Turnitin heißt es: „We are now able to process long-form prose text in tables." (Wir sind jetzt in der Lage, längeren Fließtext in Tabellen zu verarbeiten.) Und wieder lautet der nächste Satz: „Resubmit to reprocess existing submissions that contain tables." (Reichen Sie die Arbeit erneut ein, damit bestehende Einreichungen mit Tabellen neu verarbeitet werden.)

Wenn Ihre Arbeit Tabellen enthält und Ihr Bericht von vor August 2023 stammt, gilt derselbe Rat. Der Fix ist ausgeliefert, greift aber nur bei Berichten, die nach dem Fix erzeugt wurden.

Es gibt eine zweite Verwechslung, aus der Beschwerden der Form „Turnitin hat meine Quellenangaben markiert" entstehen. Sie ist die häufigste, die wir sehen.

Turnitin erzeugt zwei verschiedene Berichte. Der eine ist der AI Writing Report. Der andere ist der Similarity Report. Sie sind getrennt, und die beiden Werte für dasselbe zu halten ist der Fehler, der den meisten dieser Beschwerden zugrunde liegt. Der Similarity Report zeigt, wo Ihr Text mit Text aus anderen Quellen übereinstimmt. Der AI Writing Report zeigt, wo das Modell vermutet, dass der Text KI-erzeugt ist. Aus dem FAQ zu den Funktionen der KI-Schreiberkennung von Turnitin:

„The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (Der Ähnlichkeitswert und der Prozentsatz der KI-Schreiberkennung sind völlig unabhängig voneinander und beeinflussen sich nicht gegenseitig.)

Und aus demselben FAQ, eine Zeile weiter unten:

„AI writing highlights are not visible in the Similarity Report." (KI-Schreibmarkierungen sind im Similarity Report nicht sichtbar.)

Auch das Gegenteil gilt: Ähnlichkeitsmarkierungen sind im AI Writing Report nicht sichtbar.

Literaturverzeichnisse gehören zu den Dingen, die am häufigsten Ähnlichkeitsübereinstimmungen erzeugen. Sie haben veröffentlichte Arbeiten zitiert. Andere Studierende haben dieselben veröffentlichten Arbeiten zitiert. Die Titel, die Autorennamen, die Zeitschriftennamen und die DOIs sind alles identische Zeichenfolgen. Wenn Ihre Quellenangaben mit markiertem Text auftauchen, ist das Erste, was Sie prüfen sollten, welcher Bericht vor Ihnen liegt. Weshalb Ihre zitierten und belegten Textstellen trotzdem im Similarity Report auftauchen behandelt denselben Effekt bei Zitaten. Ist es der Similarity Report, dann sind die Markierungen keine KI-Markierungen, sondern übereinstimmender Text. Die ähnliche Quelle kann eine andere studentische Arbeit sein, ein veröffentlichter Artikel oder eine Website. Nichts davon hat mit der KI-Schreiberkennung zu tun.

Es gibt einen dritten Mechanismus, den man kennen sollte. Das KI-Modell von Turnitin analysiert nicht jedes Wort Ihrer Einreichung. Es analysiert, was das FAQ „qualifying text" (qualifizierender Text) nennt:

„This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Dieser qualifizierende Text umfasst nur Prosasätze, das heißt, wir analysieren ausschließlich Textblöcke, die in standardsprachlichen grammatikalischen Sätzen verfasst sind und keine anderen Schreibformen wie Listen, Aufzählungspunkte (kurze Nicht-Satz-Strukturen) oder sonstige Nicht-Satz-Strukturen enthalten.)

Der nächste Satz auf dieser Seite lautet:

„This percentage is not necessarily the percentage of the entire submission." (Dieser Prozentsatz ist nicht notwendigerweise der Prozentsatz der gesamten Einreichung.)

Praktisch heißt das für einen Literaturabschnitt: Eine Liste von Literaturangaben wird vom Modell womöglich gar nicht als qualifizierender Text behandelt, selbst wenn sie wie Fließtext formatiert ist. Die Einträge sind kurz. Viele sind keine vollständigen Sätze. Das Modell ist dafür gebaut, Prosa zu lesen. Ein formatiertes Literaturverzeichnis ähnelt eher einer strukturierten Liste als einem Absatz.

Das ist auch der Grund, weshalb der Prozentsatz im AI Writing Report und die Menge des markierten Texts oft nicht zusammenpassen wollen. Ein Dokument mit einem langen Literaturverzeichnis, einem Abbildungsverzeichnis und einem Inhaltsverzeichnis enthält einen großen Anteil an nicht qualifizierendem Text. Der Prozentsatz wird über die Prosa berechnet, die das Modell tatsächlich liest. Die Markierungen sitzen auf den Prosaabschnitten, die über der Schwelle des Modells lagen. Wenn Ihr Literaturverzeichnis 40 Einträge hat und nur zwei eigene Absätze markiert werden, dann sind die „2 %" im Bericht 2 % der qualifizierenden Prosa – nicht 2 % des gesamten Dokuments.

Wenn Sie gerade einen Bericht vor sich haben und Ihre Quellenangaben darauf markiert wirken, prüfen Sie der Reihe nach das Folgende.

Prüfen Sie erstens das Datum, an dem Ihr Bericht erzeugt wurde. Stammt der Bericht von vor August 2023, wurde er vor dem Fix für Literaturverzeichnisse erzeugt. Mit dem aktuellen Modell stimmt alles. Der Bericht ist nur veraltet. Die Lösung besteht darin, Ihre Lehrkraft zu bitten, die Arbeit erneut einzureichen. Oft reicht es schon, die Release Note zu zitieren. Die Notiz steht auf der Dokumentationsseite von Turnitin und sagt „resubmit to reprocess existing submissions that contain highlighted reference sections." (Reichen Sie die Arbeit erneut ein, damit bestehende Einreichungen mit markierten Literaturabschnitten neu verarbeitet werden.)

Prüfen Sie zweitens, welchen Bericht Sie vor sich haben. Liegen die Markierungen im Similarity Report und nicht im AI Writing Report, handelt es sich um Ähnlichkeitsübereinstimmungen und nicht um KI-Markierungen. Dass Ihr Literaturverzeichnis mit dem Literaturverzeichnis einer anderen Arbeit übereinstimmt, ist bei einer Ähnlichkeitsprüfung erwartbar. Das sagt nichts über eine KI-Autorschaft aus. KI-Schreibmarkierungen „are not visible in the Similarity Report," (sind im Similarity Report nicht sichtbar), und Ähnlichkeitsmarkierungen sind im AI Writing Report nicht sichtbar. Die beiden sind getrennt.

Prüfen Sie drittens den Text unmittelbar um Ihre Quellenangaben herum. Ist der markierte Text ein oder zwei Sätze Prosa direkt vor oder nach Ihrem Literaturverzeichnis (eine Danksagung, ein methodischer Hinweis, eine Einleitung zum Quellenabschnitt), liest das Modell ihn womöglich als Prosa. Genau das soll das Modell tun. Die Markierung sitzt nicht auf Ihren Quellenangaben, sondern auf der Prosa in deren Nähe. Lesen Sie den markierten Text selbst, nicht das Kapitel, in dem er steht. Wenn Sie danach überarbeiten möchten, ist genau diese markierte Prosa die ganze Aufgabe: nur die Absätze umschreiben, die ein Turnitin-Bericht markiert hat.

Der Vollständigkeit halber: Turnitin hat 2023 außerdem beobachtet, dass falsch positive Ergebnisse in den ersten und letzten Sätzen eines Dokuments häufiger auftraten. Es handelte sich dabei um Einleitungs- oder Schlussteile, die generisch formuliert sind. Aus den Release Notes vom 24. Mai 2023:

„Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (Seit dem Start haben wir beobachtet, dass falsch positive Erkennungen in den ersten oder letzten Sätzen eines Dokuments häufiger auftreten. Oft bestehen diese Sätze aus Einleitungs- oder Schlussinhalten, die generisch formuliert sind. Wir haben daher unsere Erkennungslogik geändert, um diese falsch positiven Ergebnisse zu verringern.)

Das ist relevant, weil Studierende online mitunter auf ältere Ratschläge stoßen wie „Turnitin markiert Einleitungen und Schlussteile.“ Das war ein bekanntes Problem – und es war eine Verbesserung aus dem Jahr 2023, keine aktuelle. Wenn Sie diesen Rat in einem Forenbeitrag aus dem Jahr 2023 lesen: Der Fix ist längst ausgeliefert. Die Release Note sagt das im eigenen nächsten Satz. Für aktuelle Berichte ist das kein offenes Problem, um das Sie sich sorgen müssten.

Die Zusammenfassung für alle, die gerade auf ein markiertes Literaturverzeichnis schauen:

1. Prüfen Sie, wann der Bericht erzeugt wurde. Berichte von vor August 2023 müssen erneut eingereicht werden.
2. Prüfen Sie, ob Sie den AI Writing Report oder den Similarity Report vor sich haben. Ähnlichkeitsmarkierungen bei Quellenangaben sind erwartbar. KI-Markierungen bei Literaturverzeichnissen sind es nicht.
3. Wenn der Bericht aktuell ist und die Markierungen im AI Writing Report liegen, lesen Sie den tatsächlich markierten Text. Wahrscheinlich ist es Prosa in der Nähe der Quellenangaben, nicht die Quellenangaben selbst.

Der Fix vom August 2023 ist auf der verlinkten Seite dokumentiert. Muss eine Lehrkraft die Arbeit erneut einreichen, enthalten die Release Notes die passende Anweisung. „Resubmit to reprocess existing submissions that contain highlighted reference sections." (Reichen Sie die Arbeit erneut ein, damit bestehende Einreichungen mit markierten Literaturabschnitten neu verarbeitet werden.)