Warum kommentierte Bibliografien in Turnitin unzuverlässige KI-Werte bekommen

In einem Turnitin-Hilfeartikel werden bekannte Grenzen des Modells bei bestimmten Formaten genannt:

„The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies." (Das Modell erkennt KI-generierten Text in nicht fortlaufender Form – etwa Gedichte, Skripte oder Code – nicht zuverlässig und ebenso wenig kurze oder unkonventionelle Schreibweisen wie Aufzählungspunkte, Tabellen oder kommentierte Bibliografien.)

Im nächsten Satz: „This means that a document containing several different writing types would result in a disparity between the percentage and the highlights." (Das bedeutet: Enthält ein Dokument mehrere verschiedene Textarten, kommt es zu einer Abweichung zwischen dem Prozentwert und den Markierungen.)

Kommentierte Bibliografien werden in dieser Liste ausdrücklich genannt. Das Modell erkennt KI-generierten Text in diesem Format nicht zuverlässig. Das ist eine im Hilfeartikel eingeräumte Grenze der Abdeckung und kein Konfigurationsfehler auf Ihrer Seite. Wenn Ihre kommentierte Bibliografie einen hohen KI-Wert bekommt, stammt dieser Wert von einem Modell, das außerhalb seines zuverlässigen Abdeckungsbereichs arbeitet.

Das Literaturverzeichnis ist nicht nur unzuverlässig. Es ist vollständig von der Verarbeitung ausgenommen. In einer Release Note von 2023 heißt es:

„We have fixed a bug that was occasionally highlighting AI writing within references listed in a bibliography. Bibliographies are now excluded when processing the AI writing report." (Wir haben einen Fehler behoben, durch den gelegentlich KI-Text innerhalb der Literaturangaben eines Literaturverzeichnisses markiert wurde. Literaturverzeichnisse werden bei der Verarbeitung des KI-Schreibberichts jetzt ausgenommen.)

Im nächsten Satz: „Resubmit to reprocess existing submissions that contain highlighted reference sections." (Reichen Sie erneut ein, damit bereits vorliegende Einreichungen mit markierten Literaturabschnitten neu verarbeitet werden.)

Das heißt: Die Einträge des Literaturverzeichnisses – also die Zitate selbst – werden nicht analysiert. Haben Sie ein Dokument vor dieser Korrektur eingereicht und Markierungen in Ihrem Literaturverzeichnis gesehen, würde eine erneute Einreichung das Dokument ohne das Literaturverzeichnis neu verarbeiten. Warum markiert Turnitin meine Literaturangaben und Zitate geht durch, wie weit die Ausnahmen tatsächlich reichen. Dieselbe Release Note behandelte auch Tabelleninhalte:

„We are now able to process long-form prose text in tables." (Wir können nun langformatigen Prosa-Text in Tabellen verarbeiten.)

Im nächsten Satz: „Resubmit to reprocess existing submissions that contain tables." (Reichen Sie erneut ein, damit bereits vorliegende Einreichungen mit Tabellen neu verarbeitet werden.)

Bei kommentierten Bibliografien sind die Literaturangaben ausgenommen. Die Anmerkungsabsätze – also der Fließtext, den Sie zu jeder Quelle schreiben – sind der qualifizierende Text, der verarbeitet wird. Der Wert, den Sie sehen, spiegelt nur den Anmerkungstext, nicht die Zitate.

Der Detektor verarbeitet nur qualifizierenden Text. Die FAQ-Seite von Turnitin zu den „AI writing detection capabilities" (Fähigkeiten zur KI-Schreiberkennung) erklärt:

„This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Dieser qualifizierende Text umfasst nur Prosa-Sätze; das heißt, wir analysieren ausschließlich Textblöcke, die in standardgemäßen grammatikalischen Sätzen geschrieben sind, und schließen andere Schreibweisen aus – Listen, Aufzählungspunkte, also kurze Strukturen, die keine Sätze sind, oder andere Strukturen ohne Satzform.)

Im nächsten Satz: „This percentage is not necessarily the percentage of the entire submission." (Dieser Prozentwert ist nicht notwendigerweise der Prozentwert der gesamten Einreichung.)

Für kommentierte Bibliografien entsteht daraus eine ganz bestimmte Dynamik. Die Literaturangaben – formatierte Zitate, hängende Einzüge, DOI-Links – sind ausgenommen. Die Anmerkungsabsätze bestehen aus Prosa-Sätzen und gelten deshalb als qualifizierender Text. Der Prozentwert im Bericht bezieht sich nur auf den Anmerkungstext. Wenn Ihre Anmerkungen 300 Wörter eines 1000 Wörter langen Dokuments sind, deckt der Prozentwert diese 300 Wörter ab und nicht das gesamte Dokument. Diese Lücke zwischen Prozentwert und Seitenumfang ist das Erste, was Sie prüfen sollten, wenn Sie einen Turnitin-KI-Schreibbericht lesen.

Die FAQ-Seite von Turnitin zu „AI writing detection capabilities" (Fähigkeiten zur KI-Schreiberkennung) formuliert die Grenze kürzer:

„The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures)." (Das Modell erkennt KI-generierten Text in nicht fortlaufender Form oder als Code nicht zuverlässig und ebenso wenig kurze oder unkonventionelle Schreibweisen wie Aufzählungspunkte, also kurze Strukturen, die keine Sätze sind.)

Im nächsten Satz: „This means that a document containing several different writing types would result in a disparity between the percentage and the highlights." (Das bedeutet: Enthält ein Dokument mehrere verschiedene Textarten, kommt es zu einer Abweichung zwischen dem Prozentwert und den Markierungen.)

Eine kommentierte Bibliografie ist genau diese Art von Mischdokument. Die Abweichung zwischen Prozentwert und Markierungen ist ein bekanntes Verhalten.

Die Erkennungspipeline zerlegt qualifizierenden Text in überlappende Abschnitte:

„When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Wird eine Arbeit bei Turnitin eingereicht, werden die Sätze der Einreichung extrahiert und für die Vorhersageanalyse in überlappende Abschnitte unterteilt. Jeder Abschnitt wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der die Wahrscheinlichkeit angibt, ob der Text eher von einem Menschen oder von einer KI stammt. Jeder qualifizierende Satz innerhalb dieser Abschnitte übernimmt die Bewertung des Abschnitts. Da die Abschnitte überlappen, kann ein Satz mehrere Bewertungen haben, die anschließend zu einer einzigen zusammengeführt werden. Diese Satzwerte werden weiter aggregiert und daraus der KI-Schreibwert des gesamten Dokuments berechnet.)

Bei kommentierten Bibliografien durchlaufen nur die Sätze des Anmerkungstexts diese Pipeline. Die Literaturangaben gelangen nie hinein. Die Abschnittsbewertungen spiegeln die Wahrscheinlichkeitseinschätzung allein des Anmerkungstexts. Der Gesamtprozentwert ist eine Zusammenfassung dieser Satzwerte, die nur aus den Anmerkungen stammen.

Anmerkungstexte folgen meist einer vorhersehbaren Formel: Sie fassen die Quelle zusammen, bewerten ihre Glaubwürdigkeit und beschreiben ihre Relevanz. Diese Wiederholung entspricht Mustern, die die Dokumentation mit Fehlalarmen in Verbindung bringt:

„Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Fehlalarme – also von Menschen geschriebener Text, der fälschlich als KI-generiert markiert wird – können Inhalte betreffen, die kaum strukturelle Abwechslung aufweisen, Texte, die sich wörtlich wiederholen, oder Texte, die umformuliert wurden, ohne neue Gedanken zu entwickeln.)

Im nächsten Satz: „If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Wenn unser Indikator bei einem solchen Text einen höheren KI-Schreibanteil anzeigt, empfehlen wir Ihnen, dies beim Blick auf den ausgewiesenen Prozentwert zu berücksichtigen.)

Anmerkungen weisen oft geringe strukturelle Abwechslung auf, weil sich die Formel Zusammenfassung – Bewertung – Relevanz über alle Einträge hinweg wiederholt. Die Formulierungen wiederholen sich, weil Studierende in verschiedenen Anmerkungen ähnliche Verben verwenden ("argues", "claims", "demonstrates"). Die Gedanken sind aus der Quelle umformuliert, ohne dass neue Argumente entstehen, und das Umformulieren allein treibt den Wert schon in die falsche Richtung, wie warum Umformulieren Ihren Turnitin-KI-Wert nach oben treibt darlegt. Die eigene Empfehlung von Turnitin lautet, den Prozentwert einzuordnen, statt ihn für bare Münze zu nehmen, wenn der Text diesen Mustern entspricht.

Zusammengefasst, was wir behandelt haben:

• Ein Turnitin-Hilfeartikel sagt, dass das Modell KI-generierten Text in kommentierten Bibliografien nicht zuverlässig erkennt.
• Literaturverzeichnisse sind von der Verarbeitung ausgenommen. Nur der Anmerkungstext wird analysiert.
• Der Prozentwert spiegelt nur den Anmerkungstext, nicht die gesamte Einreichung.
• Anmerkungstexte passen tendenziell zu Fehlalarm-Mustern: geringe strukturelle Abwechslung, wiederkehrende Formulierungen und umformulierte Gedanken.
• Turnitin rät: „If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Wenn unser Indikator bei einem solchen Text einen höheren KI-Schreibanteil anzeigt, empfehlen wir Ihnen, dies beim Blick auf den ausgewiesenen Prozentwert zu berücksichtigen.)
• Hatten Sie eine ältere Einreichung mit markierten Literaturangaben, wird das Dokument bei einer erneuten Einreichung ohne das Literaturverzeichnis neu verarbeitet.

Wenn Sie zu einer kommentierten Bibliografie einen Turnitin-KI-Bericht erhalten haben und die markierten Passagen bearbeiten möchten, importieren Sie den Bericht und arbeiten Sie sie durch. Passagen, die die Voraussetzungen erfüllen, können kostenlos erneut durchlaufen werden.