Warum markiert Turnitin meine Quellenangaben und Zitate? Was die Ausschlussregeln tatsächlich abdecken

Der AI Writing Report von Turnitin nimmt Literaturverzeichnisse aus der Verarbeitung aus und prüft nur Prosa, die in vollständigen, standardsprachlichen Sätzen geschrieben ist. Ihr Verzeichnis treibt Ihren KI-Wert also weder nach oben, noch steht es zur Verfügung, um ihn zu verwässern. Farbe auf einem Literaturverzeichnis stammt fast immer vom Similarity Report – und dort ist ein übereinstimmender Eintrag genau das, was ein gemeinsamer Zitierstil hervorbringen soll.

Damit bleiben drei engere Fragen offen, die die übliche Antwort übergeht. Warum manche KI-Berichte trotzdem Farbe auf Literatureinträgen zeigen. Ob ein annotiertes Literaturverzeichnis derselbe Fall ist wie ein einfaches Verzeichnis. Und wer, falls die Farbe von der Ähnlichkeitsseite stammt, den Hebel in der Hand hält, der daran etwas ändern könnte.

Allen dreien liegt derselbe Gedanke zugrunde: Diese Ausschlüsse sind keine Eigenschaften Ihres Dokuments. Sie sind Schritte bei der Entstehung eines Berichts und greifen genau in dem Moment, in dem er entsteht. Verschieben Sie den Moment, verändern Sie den Bericht – ohne ein einziges Wort der Datei anzufassen.

Auf der Turnitin-Seite zum Modell zur Erkennung von KI-Text stehen datierte Versionshinweise. Der Eintrag vom 9. August 2023 lautet:

„We have fixed a bug that was occasionally highlighting AI writing within references listed in a bibliography. Bibliographies are now excluded when processing the AI writing report." (Wir haben einen Fehler behoben, durch den gelegentlich KI-Text innerhalb von Literaturangaben in einem Literaturverzeichnis markiert wurde. Literaturverzeichnisse werden bei der Verarbeitung für den AI Writing Report jetzt ausgenommen.)

Der Satz direkt danach ist der, der jedes Mal unterschlagen wird, wenn diese Notiz zitiert wird: „Resubmit to reprocess existing submissions that contain highlighted reference sections." (Reichen Sie erneut ein, damit bereits vorhandene Einreichungen mit markierten Literaturabschnitten neu verarbeitet werden.) Der Ausschluss greift also während der Erstellung eines Berichts. Ein Bericht, der am 9. August 2023 bereits existierte, behielt seine Markierungen – und behielt sie, bis jemand die Arbeit erneut eingereicht hat.

Dieselbe Notiz behandelte Tabellen in genau derselben Form: „We are now able to process long-form prose text in tables" (Wir können jetzt längere Prosa in Tabellen verarbeiten), gefolgt von „Resubmit to reprocess existing submissions that contain tables." (Reichen Sie erneut ein, damit bereits vorhandene Einreichungen mit Tabellen neu verarbeitet werden.) Zwei Änderungen, beide an eine erneute Einreichung geknüpft, die niemand automatisch vornimmt.

Für die meisten, die einen in diesem Jahr erzeugten Bericht in der Hand halten, erklärt das nichts. Wozu es taugt, ist die Gewohnheit, die es vermitteln sollte: Klären Sie, wann der Bericht erzeugt wurde, bevor Sie zu erklären versuchen, was er zeigt – denn maßgeblich sind die Regeln jenes Datums, nicht die von heute. Zwei Berichte zu derselben Datei, ein Jahr auseinander erzeugt, sind nicht zwei Ablesungen derselben Messung. Die allgemeine Form davon haben wir in Zwei Turnitin-Berichte nach einer Neuprüfung im Vergleich auseinandergenommen.

Das erklärt auch, warum so viele Ratschläge zu markierten Literaturverzeichnissen gleichzeitig selbstsicher und angestaubt klingen. Ein großer Teil davon wurde anhand von Screenshots aus dem Jahr 2023 geschrieben.

Zwei Fragen kommen ständig, und beide haben dieselbe Antwort. Hat mein Literaturverzeichnis meinen KI-Wert nach oben getrieben? Und würde ein längeres Verzeichnis ihn senken?

Turnitin nennt das, worauf das Modell schaut, qualifizierenden Text. In den FAQ zur Erkennung heißt es, das Modell „only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures" (analysiere ausschließlich Textblöcke, die in vollständigen, standardsprachlichen Sätzen verfasst sind und keine anderen Schreibformen wie Listen, Aufzählungspunkte – kurze Strukturen, die keine Sätze sind – oder sonstige Nicht-Satz-Strukturen enthalten); die Konsequenz steht im nächsten Satz: „This percentage is not necessarily the percentage of the entire submission." (Dieser Prozentwert ist nicht notwendigerweise der Prozentwert der gesamten Einreichung.) Ein Literatureintrag ist kein vollständiger standardsprachlicher Satz, und Literaturverzeichnisse werden ohnehin vor der Verarbeitung entfernt. Das Verzeichnis steht also weder im Zähler noch im Nenner.

Damit sind zwei Pläne auf einmal erledigt. Wer die Quellenangaben vor der Einreichung löscht, verändert nicht, was der Bericht analysiert – und gibt eine unvollständige Arbeit ab, um ein Problem zu beheben, das gar nicht bestand. Und das Verzeichnis aufzublähen verwässert nichts, denn Verwässerung setzt voraus, dass die zusätzlichen Wörter im Nenner landen. Genau das tun sie nicht.

Wenn Sie sehen wollen, wie der Nenner in einem Dokument voller Tabellen und Listen tatsächlich aussieht: In Wie man einen Turnitin AI Writing Report liest wird ein Zahlenbeispiel Schritt für Schritt durchgerechnet.

Das Wort Literaturverzeichnis trägt in alledem eine Menge Bedeutung, und Turnitins eigene Seiten enthalten zwei getrennte Aussagen über Material in Zitierform, die gern zu einer einzigen zusammengezogen werden.

In einem Turnitin-Hilfeartikel heißt es: „The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies." (Das Modell erkennt KI-generierten Text in nicht-prosaischer Form – etwa Gedichte, Skripte oder Code – nicht zuverlässig, ebenso wenig kurze oder unkonventionelle Schreibformen wie Aufzählungspunkte, Tabellen oder annotierte Literaturverzeichnisse.)

Lesen Sie das neben der Versionsnotiz. Die Notiz beschreibt eine Verarbeitungsregel: Literaturverzeichnisse werden entfernt, bevor das Modell läuft. Der Hilfeartikel beschreibt eine Grenze der Zuverlässigkeit: Für bestimmte Textarten will Turnitin für das Ergebnis des Modells nicht einstehen. Das sind nicht dieselben Zusagen – und die zweite ist deutlich schwächer.

Am schärfsten trifft die Unterscheidung bei annotierten Literaturverzeichnissen: Die Annotationen sind Prosasätze, die Sie geschrieben haben, und stehen unter Einträgen, die Sie nicht geschrieben haben. Kommt ein annotiertes Verzeichnis mit Farbe zurück, ist das nicht derselbe Vorgang wie Farbe auf einem einfachen Verzeichnis – und die Versionsnotiz ist nicht das Dokument, das ihn abdeckt.

Turnitins veröffentlichte Beschreibung der Berechnung nennt eine Kette von Arbeitsschritten. Sätze werden extrahiert, zu überlappenden Segmenten zusammengefasst, jedes Segment erhält einen Wert zwischen 0 und 1, jeder qualifizierende Satz erbt den Wert der Segmente, die ihn überdecken, und diese gesammelten Satzwerte werden zum Dokumentwert zusammengefasst. Ein Zitat geht in keinen einzigen Schritt dieser Kette als Eingabe ein.

Aus der Überlappung folgt etwas, das kaum jemand zu Ende denkt. Ein Satz nahe der Grenze eines Segments liegt in zwei Segmenten und trägt damit mehr als einen geerbten Wert. Die Markierung auf Ihrem zitattragenden Satz stammt teilweise von den Sätzen daneben – weshalb die Lösung, falls es eine gibt, nie an der Klammer liegt. Was daraus folgt und was nicht, haben wir in Senkt das Umschreiben eines markierten Satzes den Wert? nachgezeichnet.

Das heißt auch, dass mehrere verlockende Eingriffe ins Leere gehen. Neu nummerieren, eine Klammerangabe durch eine Hochzahl ersetzen, vor die Behauptung eine Signalphrase setzen, die Quellenangabe ans Satzende schieben: Nichts davon verändert die bewertete Eigenschaft, denn nichts davon verändert die Prosa.

Für die Variante dieser Frage, die mit „welchen Bericht halte ich hier überhaupt in der Hand" beginnt, gehen wir die Verzweigungen in Warum hat Turnitin meine Quellenangaben markiert? durch.

Jetzt der andere Fall. Jemand hat Ihnen einen Prozentwert weitergeleitet, die Farbe sitzt auf Ihrem Literaturverzeichnis, und Sie sollen die Zahl nach unten bringen. Was sie bewegen würde, liegt nicht in Ihrer Datei.

Similarity Reports werden mit Ausschlussfiltern erzeugt; das Literaturverzeichnis ist einer davon, Zitate ein anderer. Wer den Bericht eingerichtet hat, hat ausgewählt, welche aktiv waren – und diese Wahl reist nicht mit einem Prozentwert mit, der in eine E-Mail kopiert wurde. Zwei Berichte zu derselben unveränderten Datei können allein deshalb weit auseinanderliegen. Die beiden Berichte im direkten Vergleich behandelt die Filter und wo ihr Zustand zu finden ist; Warum zitierte und belegte Textstellen weiterhin übereinstimmen behandelt, was mit ausgewiesenen Zitaten passiert, wenn niemand die Filter eingeschaltet hat.

Das ist zugleich das Argument gegen den naheliegenden Schritt. Ein Literatureintrag gleicht den Einträgen anderer, weil der Stilleitfaden Ihnen allen dieselbe Zeichenfolge vorgeschrieben hat. Ein Eintrag, der so lange umgeschrieben wird, bis er nicht mehr gleicht, ist ein Eintrag, der den Stil nicht mehr einhält – und wenn ein Werkzeug das im ganzen Verzeichnis auf einmal tut, merken Sie es erst, wenn es eine bewertende Person merkt. Was mit Zitaten und Tabellen in einem Umschreibewerkzeug passiert dokumentiert genau einen solchen Fall.

Die brauchbare Antwort auf die E-Mail ist also eine Frage statt einer Überarbeitung: Welche Ausschlüsse waren in diesem Bericht aktiv, und wo sitzt Farbe außerhalb des Literaturverzeichnisses? Nur der zweite Teil verlangt überhaupt eine Antwort von Ihnen.

Nichts davon braucht ein Konto, einen Einspruch oder eine Fachperson. Es braucht das eigentliche PDF statt eines Screenshots mit einer Zahl – und etwa fünf Minuten.

1. Finden Sie zuerst das Erzeugungsdatum. Jeder Ausschluss und jede Modellversion, die irgendwo beschrieben wird, gilt in der Fassung, die in Kraft war, als diese Datei erzeugt wurde – nicht in der, die heute auf der Hilfeseite steht.
2. Sehen Sie auf die KI-Anzeige, bevor Sie auf irgendetwas Farbiges sehen. Turnitin weist im Bereich von 1 % bis 19 % weder einen Wert noch Markierungen zu, sondern zeigt ein Sternchen. Wenn Sie also ein Sternchen vor sich haben, stammt nichts von dem, was dort markiert ist, aus dem KI-Bericht.
3. Verfolgen Sie eine farbige Stelle und sehen Sie, was sie Ihnen anbietet. Führt eine Übereinstimmung zu einer benannten Quelle mit eigenem Prozentwert, ist das der Similarity Report. KI-Markierungen tauchen dort nicht auf und führen nirgendwohin.
4. Fragen Sie, welche Ausschlussfilter aktiv waren. Literaturverzeichnis und Zitate sind getrennte Schalter; an einer weitergeleiteten Zahl ist keiner der beiden Zustände abzulesen, und wer den Bericht erzeugt hat, weiß es.
5. Wenn es der KI-Bericht ist: Lesen Sie die markierte Prosa und hören Sie auf, Zeilen zu zählen. Der Prozentwert wird über den qualifizierenden Text berechnet, und die Markierungen sitzen in einem Dokument, das auch alles Übrige enthält – mit bloßem Auge werden die beiden nicht aufgehen.

Aufgeschrieben ist das eine Liste von Fragen an den Bericht statt an Ihren Text – und das ist in etwa das richtige Verhältnis für genau dieses Problem.

Das Tool HumanPen ist ein Umschreibewerkzeug für Dokumente, und die hier entscheidende Designentscheidung betrifft den Umfang, nicht das Ergebnis. Entweder wählen Sie die Stellen selbst aus, oder Sie laden das Dokument zusammen mit seinem AI Writing Report hoch und lassen die markierten Stellen den Umfang bestimmen. Umschrieben werden nur die aus dem Bericht übernommenen Stellen; der Rest des Dokuments bleibt unverändert.

Für das Thema dieses Artikels hat das eine ganz bestimmte Folge. Ein Literaturverzeichnis hat von vornherein keinen Grund, im Umfang einer Umschreibung zu liegen, weil es auf beiden Seiten außerhalb der KI-Berechnung steht. Ein Werkzeug, das es trotzdem anfasst, setzt Ihr Risiko für etwas ein, das Ihrem Wert ohnehin nicht geholfen hätte.

Abgerechnet werden nur die tatsächlich umgeschriebenen Wörter: Markiert ein Bericht ein Fünftel des Dokuments, kostet das ungefähr ein Fünftel eines vollständigen Durchlaufs. Passagen, die die Voraussetzungen erfüllen, können kostenlos erneut durchlaufen werden.

Was wir Ihnen nicht sagen werden, ist, was in Ihrem nächsten Bericht stehen wird. Unsere eigene Seite sagt, HumanPen ziele darauf, Bedeutung, Struktur, Terminologie, Zitate, Layout und Formatvorlagen zu erhalten und nur die notwendige Sprache umzuschreiben – und sie sagt außerdem, komplexe Dokumente nach dem Download zu prüfen. Beide Hälften sind ernst gemeint.

Mein KI-Bericht zeigt Farbe direkt auf den Literatureinträgen. Ist das überhaupt möglich? Es war möglich, bevor Turnitins Versionsnotiz vom 9. August 2023 meldete, dass ein Fehler behoben sei, der KI-Text innerhalb von Literaturverzeichnissen markierte, und dass Verzeichnisse bei der Verarbeitung des Berichts künftig ausgenommen würden. Die Notiz ergänzt, dass bestehende Einreichungen erneut eingereicht werden müssen, bevor sie neu verarbeitet werden – ein älterer Bericht behielt seine Markierungen also. Ist Ihr Bericht neuer, prüfen Sie, ob Sie stattdessen den Similarity Report in der Hand haben.

Verwässert ein längeres Literaturverzeichnis meinen KI-Wert? Nein. Der Wert wird über die qualifizierende Prosa berechnet, und Turnitin sagt, das Ergebnis sei „not necessarily the percentage of the entire submission" (nicht notwendigerweise der Prozentwert der gesamten Einreichung). Wörter, die nicht im Nenner stehen, können nichts verwässern.

Mein annotiertes Literaturverzeichnis ist markiert. Fällt das unter denselben Ausschluss? Nicht unter dieselbe Aussage. Die Versionsnotiz betrifft die Ausnahme von Verzeichnissen aus der Verarbeitung. Ein Turnitin-Hilfeartikel führt annotierte Verzeichnisse gesondert unter den Schreibformen, in denen das Modell KI-Text nicht zuverlässig erkennt – das ist eine Aussage über Zuverlässigkeit, keine Regel darüber, was entfernt wird. Hinzu kommt: Die Annotationen sind Prosa, die Sie geschrieben haben, was ein einfaches Verzeichnis nicht ist.

Verändert ein Wechsel des Zitierstils eine der beiden Zahlen? Auf der KI-Seite nicht, denn in der veröffentlichten Beschreibung dieser Berechnung werden Zitate an keiner Stelle gelesen. Auf der Ähnlichkeitsseite hängt die Einordnung einer ausgewiesenen Übereinstimmung von einem Erkennungsschritt mit dokumentierten Grenzen ab, und Warum zitierte und belegte Textstellen weiterhin übereinstimmen geht sie durch.

Wonach sollte ich fragen, bevor ich auf eine E-Mail dazu antworte? Nach dem vollständigen Bericht als PDF statt eines Screenshots, dem Datum seiner Erzeugung, der Art des Berichts und den aktiven Ausschlussfiltern. Diese vier Antworten klären das meiste, bevor überhaupt jemand über Ihren Text sprechen muss.