Literaturübersicht hat einen hohen AI-Score bekommen? Darum liegt es

Literaturübersichten bekommen strukturell bedingt hohe AI-Scores – das liegt in der Natur des Genres. Eine Literaturschau fasst existierende Forschung zusammen und synthetisiert sie, was extensives Paraphrasieren bedeutet. Jeder Absatz gibt wieder, was andere Forschende gefunden haben, häufig in ähnlichen Satzstrukturen, weil auch das Ausgangsmaterial ähnlichen Mustern folgt. Turnitins FAQ nennt als Merkmale, die zu Falsch-Positiv-Meldungen neigen, "content without a lot of structural variation" (Inhalte ohne große strukturelle Variation) und "text that has been paraphrased without developing new ideas" (Text, der paraphrasiert wurde, ohne neue Ideen zu entwickeln). Eine Literaturübersicht kann von Natur aus auf beide Beschreibungen zutreffen, ganz ohne KI-Beteiligung. Der hohe Score spiegelt dann das statistische Profil des Textes wider, nicht seine Herkunft. Dieses Verständnis macht den Score zwar nicht verschwinden, erklärt aber, warum eine vollständig menschlich geschriebene Literaturübersicht einen hohen AI-Prozentsatz bekommen kann.

In Turnitins FAQ heißt es:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Manchmal können Falsch-Positiv-Meldungen – also das fälschliche Kennzeichnen menschlich geschriebenen Textes als KI-generiert – Inhalte ohne große strukturelle Variation umfassen, Text, der sich wortwörtlich wiederholt, oder Text, der paraphrasiert wurde, ohne neue Ideen zu entwickeln.)

Im nächsten Satz: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Wenn unser Indikator in solchem Text einen höheren Anteil an KI-Schreibweise anzeigt, raten wir Ihnen, dies bei der Betrachtung des angegebenen Prozentsatzes zu berücksichtigen.)

Drei dieser Beschreibungen treffen auf Literaturübersichten schon vom Aufbau her zu. "Inhalte ohne große strukturelle Variation" beschreibt einen Abschnitt, in dem jeder Absatz demselben Muster folgt: Forschende X haben Y gefunden, Forschende Z haben W gefunden, Forschende A haben B bestätigt. "Text, der sich wortwörtlich wiederholt" beschreibt die wiederkehrenden Formulierungen, die die Zusammenfassungen verknüpfen: "Ebenso", "Im Gegensatz dazu", "Aufbauend auf", "Im Einklang mit". "Text, der paraphrasiert wurde, ohne neue Ideen zu entwickeln" beschreibt das, was eine Literaturübersicht auf Satzebene tut. In weiten Teilen des Textes geben Sie Befunde wieder, anstatt eigene Argumente zu entwickeln. Die FAQ sagt damit genau: Dieser Texttyp kann Falsch-Positiv-Meldungen produzieren. Und Turnitin rät Lehrenden, beim Lesen des Scores dies zu berücksichtigen.

Es gibt noch einen strukturellen Grund, warum Literaturübersichten höhere Prozentsätze produzieren als andere Abschnitte. Turnitin analysiert nur "qualifying text" (qualifizierenden Text), was die FAQ definiert als "prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences" (Prosa-Sätze, das heißt, wir analysieren nur Textblöcke, die in standardmäßigen grammatikalischen Sätzen verfasst sind). Die FAQ führt fort: "This percentage is not necessarily the percentage of the entire submission." (Dieser Prozentsatz ist nicht zwangsläufig der Prozentsatz der gesamten Einreichung.)

Ein Results-Abschnitt enthält oft Tabellen, Abbildungen und Gleichungen, die von der Analyse ausgenommen sind. Ein Methodik-Abschnitt kann Listen und Aufzählungspunkte enthalten. Eine Literaturübersicht besteht aber fast vollständig aus Prosa. Jeder Absatz ist qualifizierender Text. Das bedeutet, ein höherer Anteil des Dokuments wird bewertet, und ein höherer Anteil bedeutet mehr Segmente, die Wahrscheinlichkeitswerte liefern, die in den Gesamtscore einfließen. Eine Literaturübersicht und ein Results-Abschnitt gleicher Länge können allein deshalb unterschiedliche AI-Scores produzieren, weil die Literaturschau mehr qualifizierenden Text für den Detektor bietet. Dasselbe Dichte-Argument ist der Grund, warum Turnitin hat meinen gesamten Methodik-Abschnitt markiert so häufig als Beschwerde vorkommt.

Turnitins Release Notes vom Mai 2023 beschreiben ein Muster, das für Literaturübersichten relevant ist:

"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (Seit dem Launch haben wir eine höhere Häufigkeit von Falsch-Positiv-Erkennungen in den ersten oder letzten Sätzen eines Dokuments beobachtet. Oft bestehen diese Sätze aus Einleitungs- oder Schlusshinhalten, die auf generische Weise verfasst sind. Daher haben wir unsere Detektionslogik geändert, um diese Falsch-Positiv-Meldungen zu reduzieren.)

Der nächste Satz: "We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version." (Außerdem haben wir daran gearbeitet, unsere Erkennung von Segmentgrenzen präziser zu machen, was in einigen seltenen Fällen zu einer Veränderung der Grenzen im Vergleich mit einer vorherigen Version führen kann.)

Das war eine Verbesserung von 2023, kein aktueller Defekt. Aber das Muster, das es beschreibt – generische Einleitungs- und Schlusshinhalte – ist genau das, was die Öffnungs- und Schlussabsätze einer Literaturübersicht oft enthalten. Wenn Ihre Literaturschau beginnt mit "Die Forschung zu X ist in den letzten Jahren erheblich gewachsen" und endet mit "Zusammenfassend lässt die Literatur erkennen, dass...", dann sind das genau jene generischen Konstruktionen, die historisch mit Falsch-Positiv-Meldungen in Verbindung gebracht wurden. Die Detektionslogik wurde aktualisiert, um dies zu reduzieren, aber das zugrundeliegende Muster existiert in vielen Literaturübersichten weiterhin.

Noch etwas ist zu verstehen. Turnitins FAQ stellt klar: "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (Der Similarity Score und der AI Writing Detection-Prozentsatz sind völlig unabhängig und beeinflussen sich gegenseitig nicht.)

Eine Literaturübersicht hat typischerweise einen moderaten bis hohen Ähnlichkeits-Score, weil sie auf existierende Forschung verweist und zitiert. Das ist erwartet und kein Problem. Aber einige Studierende gehen davon aus, dass ein hoher Ähnlichkeits-Score auch einen hohen AI-Score bedeutet oder dass das Senken des Ähnlichkeits-Scores den AI-Score senkt. Beides trifft nicht zu. Die beiden Messgrößen sind unabhängig voneinander. Ihre Literaturschau kann einen Ähnlichkeits-Score von 30% haben (durch korrekt zitierte Quellen) und einen niedrigen AI-Score – oder 5% Ähnlichkeit und einen hohen AI-Score. An dem einen zu arbeiten, beeinflusst den anderen nicht; die beiden Scores als dasselbe zu lesen ist der Punkt, an dem es am häufigsten schiefgeht.

Zusammengefasst:

• Literaturübersichten entsprechen Turnitins anfälligem Falsch-Positiv-Profil: geringe strukturelle Variation, Wiederholungen und Paraphrasieren ohne neue Ideen.
• Literaturübersichten bestehen fast vollständig aus Prosa, was mehr qualifizierenden Text für den Detektor bedeutet.
• Generische Einleitungs- und Schlusshinhalte waren historisch mit Falsch-Positiv-Meldungen verbunden (in einem 2023-Update adressiert).
• Der AI-Score und der Ähnlichkeits-Score sind unabhängig. Das Senken des einen senkt nicht den anderen.
• Turnitin rät Lehrenden, den Texttyp zu berücksichtigen, wenn sie hohe AI-Scores bei solchen Inhalten bewerten.

Wenn Sie einen Turnitin-Bericht haben, der zeigt, welche Passagen Ihrer Literaturübersicht markiert wurden, importieren Sie den Bericht und arbeiten Sie gezielt an diesen Passagen. Der Rest Ihrer Übersicht bleibt unverändert – das ist wichtig, denn beim Literature-Review-Umschreiben ohne die Beweiskette zu unterbrechen ist genau das der Teil, der schiefgeht, wenn man zu breit umschreibt. Berechtigte Passagen können kostenlos erneut geprüft werden.