Warum Einleitungen und Schlussfolgerungen als KI markiert werden (und was Sie tun können)

Einleitungen und Schlussfolgerungen werden häufiger als KI markiert als Haupttextabschnitte. In den Versionshinweisen von Turnitin vom Mai 2023 heißt es: "Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way." (Seit dem Start haben wir eine höhere Rate falsch positiver Erkennungen in den ersten oder letzten Sätzen eines Dokuments beobachtet. Häufig bestehen diese Sätze aus Einleitungs- oder Schlusstexten, die generisch formuliert sind.) Die Erkennungslogik wurde angepasst, um diese falsch positiven Treffer zu reduzieren. Das Muster generischer, formelhafter Texte in Einleitungen und Schlussfolgerungen besteht aber weiter. Wenn Ihre Einleitung mit einer allgemeinen Aussage beginnt und Ihre Schlussfolgerung Ihre These in vorhersehbarer Sprache wiederholt, können diese Passagen Wortwahrscheinlichkeitsprofile erzeugen, die sich mit KI-generiertem Text überschneiden – selbst nach der Verbesserung von 2023.

Die Versionshinweise vom Mai 2023 beschreiben das Muster und die Reaktion darauf:

"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (Seit dem Start haben wir eine höhere Rate falsch positiver Erkennungen in den ersten oder letzten Sätzen eines Dokuments beobachtet. Häufig bestehen diese Sätze aus Einleitungs- oder Schlusstexten, die generisch formuliert sind. Daher haben wir unsere Erkennungslogik geändert, um diese falsch positiven Treffer zu reduzieren.)

Im nächsten Satz: "We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version." (Außerdem haben wir daran gearbeitet, unsere Erkennung von Segmentgrenzen präziser zu machen, was in einigen seltenen Fällen zu Änderungen der Grenzen im Vergleich zu einer früheren Version führen kann.)

Das war eine Verbesserung von 2023, keine Beschreibung eines aktuellen Fehlers. Die Erkennungslogik wurde geändert, um falsch positive Treffer an diesen Positionen zu reduzieren. Aber die Hinweise verraten uns etwas Wichtiges: Die ersten und letzten Sätze eines Dokuments waren inhärent anfälliger für falsch positive Erkennungen. Die Verbesserung hat das Problem verringert, aber nicht beseitigt.

Die Versionshinweise sprechen von "introduction or conclusion content written in a generic way" (generisch formulierten Einleitungs- oder Schlusstexten). Generische Inhalte sind hier der gemeinsame Nenner. Einleitungen beginnen oft mit breitem Kontext: "In den letzten Jahren ist X zu einem wichtigen Thema geworden." Schlussfolgerungen wiederholen häufig die These: "Diese Arbeit hat gezeigt, dass X zu Y führt." Diese Konstruktionen sind vorhersehbar, formelhaft und strukturell einheitlich. In Turnitins FAQ wird "content without a lot of structural variation" (Inhalt ohne viel strukturelle Variation) als falschpositivanfällig genannt. Generische Einleitungen und Schlussfolgerungen sind genau diese Art von Inhalt. Die Wortwahrscheinlichkeitsmuster in diesen Abschnitten sind tendenziell vorhersehbarer als in Hauptabschnitten, wo das Argument spezifischer und die Sprache abwechslungsreicher ist. Den allgemeinen Zusammenhang dazu finden Sie unter warum KI-Detektoren gut geschriebene Essays markieren.

Die Erkennungspipeline funktioniert so:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score." (Wenn eine Arbeit bei Turnitin eingereicht wird, werden Sätze aus der Einreichung extrahiert und für die Vorhersageanalyse in überlappende Abschnitte segmentiert. Jedes Segment wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der die Wahrscheinlichkeit angibt, dass der Text eher menschlich oder KI-generiert ist. Jeder qualifizierende Satz innerhalb dieser Segmente übernimmt die Punktzahl des Segments. Da sich Segmente überschneiden, können einige Sätze mehrere Punktzahlen haben, die dann zu einer einzigen Punktzahl zusammengefasst werden.)

Die Versionshinweise erwähnen auch die "segment boundaries detection" (Erkennung von Segmentgrenzen). Die ersten und letzten Sätze eines Dokuments befinden sich am Rand der Segmentstruktur. Vor der Verbesserung von 2023 hatten diese Positionen eine höhere Rate falsch positiver Ergebnisse. Die Verbesserung machte die Erkennung von Segmentgrenzen präziser, was half. Aber der Inhalt selbst kann, wenn er generisch geschrieben ist, immer noch Wortwahrscheinlichkeitsmuster erzeugen, die als KI-ähnlich klassifiziert werden. Was genau diese Muster sind, wird im Beitrag verwendet Turnitin Perplexity und Burstiness behandelt.

In Turnitins FAQ heißt es außerdem:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Bei kürzeren Dokumenten mit nur wenigen hundert Wörtern ist die Vorhersage meist "alles oder nichts", weil wir auf einem einzigen Segment ohne Möglichkeit zur Überschneidung vorhersagen.)

Im nächsten Satz: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Das bedeutet, dass Texte, die eine Mischung aus KI-generierten und originalen Inhalten sind, als vollständig KI-generiert markiert werden können.)

Bei einem kurzen Aufsatz können Einleitung und Schlussfolgerung einen großen Anteil des Gesamttextes ausmachen. Wenn beide markiert werden, bedeutet das Alles-oder-Nichts-Verhalten kurzer Dokumente, dass der gesamte Aufsatz als KI-generiert klassifiziert werden kann. Das ist zwar ein Extremfall, erklärt aber, warum ein kurzer Aufsatz mit generischer Einleitung und Schlussfolgerung eine überraschend hohe Punktzahl erhalten kann. Den Extremfall von Anfang bis Ende durchgeht der Beitrag Warum Turnitin deine Arbeit als 100% KI einstuft.

Zusammenfassend:

• Die Versionshinweise von Turnitin vom Mai 2023 beschreiben ein Muster höherer falsch positiver Erkennungen in den ersten und letzten Sätzen von Dokumenten.
• Die Erkennungslogik wurde 2023 aktualisiert, um dies zu reduzieren, aber das zugrundeliegende Muster generischer Einleitungs- und Schlusstexte besteht weiterhin.
• Generische Einleitungen und Schlussfolgerungen weisen das Merkmal "geringe strukturelle Variation" auf, das in der FAQ als falschpositivanfällig genannt wird.
• Kurze Dokumente verstärken das Problem, weil Einleitung und Schlussfolgerung einen größeren Anteil am Gesamttext ausmachen.
• Wenn Sie Ihre Einleitung und Schlussfolgerung spezifischer, weniger formelhaft und strukturell abwechslungsreicher gestalten, können Sie dem Muster entgegenwirken.

Wenn Sie einen Turnitin-Bericht haben, der die markierten Passagen anzeigt, können Sie den Bericht importieren und an diesen spezifischen Passagen arbeiten. Berechtigte Passagen können kostenlos erneut verarbeitet werden.