Systematische Reviews und KI-Erkennung: Warum Methodik-Abschnitte auffallen

Bei systematischen Reviews ist der Methodik-Abschnitt standardisiert. Sie beschreiben, welche Datenbanken durchsucht wurden, mit welchen Suchstrings, welche Einschluss- und Ausschlusskriterien galten und wie der Screening-Prozess ablief. Die Sprache muss zwangsläufig repetitiv sein – die PRISMA-Checkliste verlangt spezifische Berichtselemente. Turnitins Dokumentation beschreibt Textsorten, die falsch-positive Treffer produzieren:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Manchmal können falsch-positive Treffer – also fälschlich als KI-generiert markierter menschlicher Text – Inhalte ohne große strukturelle Variation umfassen, Text, der sich buchstäblich wiederholt, oder Text, der paraphrasiert wurde, ohne neue Ideen zu entwickeln.)

Im nächsten Satz heißt es: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Wenn unser Indikator in solchem Text einen höheren Anteil an KI-Schreibung anzeigt, raten wir Ihnen, dies bei der Betrachtung des angezeigten Prozentsatzes zu berücksichtigen.)

Ein Methodik-Abschnitt erfüllt alle drei Kriterien – deshalb ist /blog/turnitin-flagged-my-methodology-section eine so häufige Beschwerde. Die strukturelle Variation ist gering, weil jedes systematische Review dieselben Schritte dokumentiert. Die Formulierung wiederholt sich ("we searched", "we identified", "we screened"). Der Text stammt aus Protokollbeschreibungen in paraphrasierter Form, ohne neue Ideen zu entwickeln. Die Dokumentation sagt, man solle den Prozentwert in solchen Fällen berücksichtigen – nicht als endgültiges Urteil akzeptieren.

Die Erkennungspipeline zerlegt qualifizierenden Text in Segmente und bewertet jedes einzeln:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Wenn ein Paper bei Turnitin eingereicht wird, werden Sätze aus der Einreichung extrahiert und für die Vorhersageanalyse in überlappende Abschnitte segmentiert. Jedes Segment wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der die Wahrscheinlichkeit angibt, dass der Text eher menschlich oder KI-generiert ist. Jeder qualifizierende Satz innerhalb dieser Segmente erbt den Score des Segments. Da sich Segmente überlappen, können manche Sätze mehrere Scores haben, die dann zu einem einzigen Score zusammengefasst werden. Diese Satz-Scores werden weiter aggregiert und zur Berechnung des gesamten Dokumenten-KI-Schreib-Scores verwendet.)

In einem systematischen Review können die repetitiven Muster des Methodik-Abschnitts über mehrere überlappende Segmente hinweg hohe Segment-Scores erzeugen. Diese Scores aggregieren sich zu einem hohen Prozentwert auf Dokumentenebene. Ein 800-Wörter-Methodik-Abschnitt kann den Score eines gesamten 5000-Wörter-Reviews nach oben ziehen. Wenn Sie überarbeiten müssen, markiert /blog/methods-results-safe-revision-checklist die Passagen, die Sie nicht verändern dürfen.

Der Detector bewertet keine Burstiness, Perplexity oder andere benannte Metriken – diese Behauptung wird in /blog/does-turnitin-use-perplexity-and-burstiness untersucht:

"Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." (Unser Modell ist nicht explizit darauf programmiert, spezifische Signale wie "Burstiness", "Perplexity" oder andere einzelne Metriken zu bewerten, auf die in öffentlichen Diskussionen manchmal Bezug genommen wird.)

Der nächste Satz lautet: "Instead, it learns statistical patterns from our training data." (Stattdessen lernt es statistische Muster aus unseren Trainingsdaten.)

Dieselbe Quelle erklärt, was das Modell tatsächlich tut:

"Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (Unsere Klassifikatoren sind darauf trainiert, diese Unterschiede in der Wortwahrscheinlichkeit zu erkennen und sind geübt darin, die spezifischen Wort-Wahrscheinlichkeits-Sequenzen menschlicher Schreiber zu identifizieren.)

Der Detector analysiert Wort-Wahrscheinlichkeits-Sequenzen. Er prüft, ob die Wörter in einem Segment zu Mustern passen, die aus menschlichem Schreiben oder KI-generiertem Text gelernt wurden. In einem Methodik-Abschnitt wird die Wortsequenz durch die Berichts-Vorlage bestimmt. Phrasen wie "we searched the following databases" und "studies were included if" tauchen in Tausenden von Papers auf. Diese Sequenzen können näher an den statistischen Mustern aus den Trainingsdaten liegen als an individuellen Wortwahl-Entscheidungen. Diese Übereinstimmung kann einen hohen Wahrscheinlichkeits-Score erzeugen – ohne KI-Beteiligung.

Der Detector verarbeitet nur /blog/what-is-qualifying-text-in-turnitin:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Dieser qualifizierende Text umfasst nur Prosa-Sätze, das heißt, wir analysieren nur Textblöcke, die in standardmäßigen grammatikalischen Sätzen verfasst sind und keine anderen Schreibformen wie Listen, Aufzählungspunkte (kurze Nicht-Satz-Strukturen) oder andere Nicht-Satz-Strukturen enthalten.)

Der nächste Satz: "This percentage is not necessarily the percentage of the entire submission." (Dieser Prozentsatz ist nicht zwangsläufig der Prozentsatz der gesamten Einreichung.)

Systematische Reviews enthalten Tabellen (PRISMA-Flussdiagramme, Extraktionstabellen) und strukturierte Listen (Ein- und Ausschlusskriterien). Das sind keine qualifizierende Prosa. Der Prozentwert deckt nur Prosa-Sätze ab. Wenn Ihr Ergebnis-Abschnitt hauptsächlich aus Tabellen besteht, gewichtet der Prozentwert prosa-lastige Abschnitte wie die Methodik stärker. Die Dokumentation merkt außerdem an:

"The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures)." (Das Modell erkennt KI-generierten Text in Form von Nicht-Prosa oder Code nicht zuverlässig und erkennt auch keine Kurzform-/unkonventionellen Schreibweisen wie Aufzählungspunkte (kurze Nicht-Satz-Strukturen).)

Der nächste Satz: "This means that a document containing several different writing types would result in a disparity between the percentage and the highlights." (Das bedeutet, dass ein Dokument, das mehrere verschiedene Schreibtypen enthält, zu einer Diskrepanz zwischen dem Prozentsatz und den Hervorhebungen führt.)

Ein systematisches Review ist ein Dokument mit mehreren Format-Ebenen. Die Diskrepanz zwischen Prozentwert und Hervorhebungen ist erwartetes Verhalten.

Methodik-Abschnitte sind manchmal in kurze Unterabschnitte gegliedert. Ein Suchstrategie-Unterabschnitt kann nur 200 Wörter umfassen. Die Dokumentation warnt:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (In kürzeren Dokumenten mit nur wenigen hundert Wörtern ist die Vorhersage meist "alles oder nichts", weil wir auf einem einzigen Segment ohne Möglichkeit zur Überlappung vorhersagen.)

Der nächste Satz: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Das bedeutet, dass mancher Text, der eine Mischung aus KI-generiertem und originalem Inhalt ist, als vollständig KI-generiert markiert werden kann.)

Bei einem kurzen Unterabschnitt kann der Detector auf einem einzigen Segment ohne überlappende Moderation vorhersagen. Ein menschlich geschriebener, aber vorlagen-followender Unterabschnitt kann einen Alles-oder-Nichts-Hochscore erhalten.

2023 adressierte Turnitin auch falsch-positive Treffer an Dokumentgrenzen:

"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (Seit dem Launch haben wir eine höhere Rate falsch-positiver Erkennungen in den ersten wenigen oder letzten wenigen Sätzen eines Dokuments beobachtet. Oft bestehen diese Sätze aus Einleitungs- oder Schlussfolgerungs-Inhalten, die allgemein formuliert sind. Daher haben wir unsere Erkennungslogik geändert, um diese falsch-positiven Treffer zu reduzieren.)

Der nächste Satz: "We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version." (Wir haben außerdem daran gearbeitet, unsere Segmentgrenzen-Erkennung präziser zu gestalten, was in einigen seltenen Fällen zu Änderungen der Grenzen im Vergleich zu einer vorherigen Version führen kann.)

Das war eine Verbesserung von 2023. Einleitungen und Schlussfolgerungen systematischer Reviews folgen Vorlagen (Hintergrund, Lücke, Zielsetzung, Zusammenfassung der Befunde). Die Logik-Änderung adressierte dieses Muster.

Turnitins Dokumentation ist explizit, was die Limitationen angeht:

"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (Unser KI-Schreiberkennungs-Modell ist nicht immer akkurat (es kann menschlich geschriebenen, KI-generierten und KI-paraphrasierten Text fehlidentifizieren), daher sollte es nicht als alleinige Grundlage für nachteilige Maßnahmen gegen einen Studierenden verwendet werden.)

Der nächste Satz: "It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (Es bedarf weiterer Prüfung und menschlichen Urteils in Verbindung mit der Anwendung der spezifischen akademischen Richtlinien einer Institution, um zu bestimmen, ob akademisches Fehlverhalten vorliegt.)

Ein systematisches Review mit hohem KI-Score im Methodik-Abschnitt ist kein Beweis für Fehlverhalten. Der Methodik-Abschnitt entspricht falsch-positiven Mustern. Der Detector ist ein Wort-Wahrscheinlichkeits-Klassifikator. Der Score erfordert menschliches Urteil und institutionelle Richtlinien. /blog/the-conversation-after-an-ai-flag erklärt, was Ihre Prüferin tun soll, wenn Ihr KI-Prozentsatz hoch ist.

Zusammenfassend:

• Methodik-Abschnitte entsprechen falsch-positiven Mustern: geringe strukturelle Variation, repetitive Formulierungen und paraphrasierter Text ohne neue Ideen.
• Der Detector ist ein Wort-Wahrscheinlichkeits-Klassifikator, kein Burstiness- oder Perplexity-Evaluator.
• Nur qualifizierende Prosa wird analysiert. Tabellen, Listen und Aufzählungspunkte sind ausgeschlossen.
• Kurze Methodik-Unterabschnitte haben ein Alles-oder-Nichts-Scoring-Problem.
• 2023 verbesserte Turnitin die Erkennungslogik, um falsch-positive Treffer an Dokumentgrenzen zu reduzieren.
• Der Score sollte nicht als alleinige Grundlage für nachteilige Maßnahmen verwendet werden. Er erfordert menschliches Urteil.

Wenn Sie einen Turnitin-KI-Report zu einem systematischen Review erhalten und die markierten Passagen überarbeiten möchten, /humanize/turnitin-report importieren und bearbeiten. Berechtigte Passagen können kostenlos erneut geprüft werden.