Warum Forschungsanträge bei Turnitin als KI markiert werden

Forschungsanträge greifen auf einen engen Satz konventioneller Strukturen zurück. Methodenabschnitte beschreiben Standardverfahren, und wie es aussieht, wenn Turnitin Ihren gesamten Methodenteil markiert hat zeigt, was das in der Praxis bedeutet. Literaturteile fassen frühere Arbeiten in paraphrasierter Form zusammen. Diese Muster sind weit verbreitet, und sie decken sich genau mit dem, was Turnitins Dokumentation als Fehlalarm-Bereich bezeichnet. Bei kurzen Anträgen von nur wenigen hundert Wörtern kommt ein zusätzliches Risiko hinzu: Der Detektor behandelt sie nach dem Muster „Alles oder nichts", weil der Text für überlappende Segmente nicht ausreicht. Die Folge: Anträge, die tatsächlich von einem Menschen geschrieben wurden, können hohe KI-Werte zurückgeben, ohne dass irgendeine KI beteiligt war.

In den FAQ werden ganz bestimmte Texteigenschaften genannt, die Fehlalarme auslösen können:

„Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Manchmal können Fehlalarme – also die irrtümliche Markierung von menschlich geschriebenem Text als KI-generiert – Inhalte ohne große strukturelle Variation betreffen, Text, der sich wörtlich wiederholt, oder Text, der umformuliert wurde, ohne dass neue Ideen entwickelt werden.)

Diese Beschreibung passt fast Punkt für Punkt auf Forschungsanträge. Ein Methodenabschnitt, der eine gezielte Stichprobenziehung und halbstrukturierte Interviews beschreibt, benutzt Formulierungen, die in Tausenden von Anträgen vorkommen. Literaturteile verdichten komplexe Studien zu zusammenfassenden Sätzen – das ist seinem Wesen nach Paraphrasieren, und Paraphrasieren verschiebt den Wert erfahrungsgemäß in die falsche Richtung, wie weshalb Paraphrasieren Ihren Turnitin-KI-Wert nach oben treibt erklärt. Keine dieser Tätigkeiten entwickelt in diesem Moment neue Ideen. Umso mehr zählt der nächste Satz aus den FAQ:

„If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Zeigt unser Indikator in einem solchen Text einen höheren Anteil KI-generierten Schreibens an, empfehlen wir Ihnen, dies zu berücksichtigen, wenn Sie den ausgewiesenen Prozentsatz betrachten.)

Das ist ein ausdrückliches Eingeständnis: Der Prozentwert allein reicht bei Dokumenten mit diesen Merkmalen nicht aus. Einen hohen Wert bei einem Antrag sollten wir als Signal verstehen, dem man nachgehen sollte – nicht als endgültiges Urteil.

Um zu verstehen, warum Anträge so anfällig sind, lohnt ein Blick darauf, wie Turnitin eine Einreichung verarbeitet:

„When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score." (Wird eine Arbeit bei Turnitin eingereicht, werden die Sätze der Einreichung entnommen und für die Vorhersageanalyse in überlappende Abschnitte unterteilt. Jeder Abschnitt wird vom KI-Erkennungsmodell eingeordnet und erhält einen Wert zwischen 0 und 1, der die Wahrscheinlichkeit angibt, dass der Text von einem Menschen oder von einer KI stammt. Jeder qualifizierende Satz innerhalb dieser Abschnitte übernimmt die Bewertung des Abschnitts.)

Der entscheidende Begriff ist der „qualifizierende Satz". Was genau als qualifizierender Text zählt, klären die FAQ:

„This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Dieser qualifizierende Text umfasst ausschließlich Prosasätze. Das heißt: Wir analysieren nur Textblöcke, die in standardsprachlich-grammatikalischen Sätzen verfasst sind, und keine anderen Textarten wie Listen, Aufzählungspunkte – kurze Strukturen, die keine Sätze sind – oder sonstige Nicht-Satz-Strukturen.)

Für Anträge heißt das: Methodenabsätze, der Fließtext des Literaturteils und die narrative Begründung werden alle ausgewertet. Forschungsfragen in Aufzählungspunkten oder Zeitplan-Tabellen mit kurzen Einträgen dagegen nicht. Dieser Unterschied zwischen dem, was bewertet wird, und dem, was auf der Seite steht, ist irritierend, wenn Sie nur den Prozentwert sehen.

Viele Forschungsanträge sind kurz. Ein Antrag für eine Abschlussarbeit kommt vielleicht auf 1.500 bis 3.000 Wörter. Der narrative Teil eines Förderantrags kann noch kürzer ausfallen. Die FAQ sprechen diesen Punkt direkt an:

„In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Bei kürzeren Dokumenten mit nur wenigen hundert Wörtern fällt die Vorhersage meist als „Alles oder nichts" aus, weil wir auf der Grundlage eines einzigen Segments vorhersagen und keine Möglichkeit zur Überlappung haben.)

Der nächste Satz macht deutlich, was daraus folgt:

„This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Das bedeutet, dass mancher Text, der eine Mischung aus KI-generierten und eigenen Inhalten ist, vollständig als KI-generiert markiert werden kann.)

Auch Anträge mit deutlich mehr als einigen hundert Wörtern können betroffen sein, wenn sich der qualifizierende Fließtext auf wenige dichte Absätze konzentriert. Weniger Segmente bedeuten weniger Mittelung – und ein einzelnes Segment mit hohem Wert kann den Gesamtprozentsatz erheblich nach oben ziehen.

Turnitin hat Änderungen vorgenommen, um bestimmte Fehlalarme zu verringern. In einer Mitteilung vom Mai 2023 wird eine dieser Korrekturen beschrieben:

„Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (Seit der Einführung beobachten wir eine höhere Rate an Fehlalarmen bei den ersten oder letzten Sätzen eines Dokuments. Vielfach bestehen diese Sätze aus Einleitungs- oder Schlussteilen, die allgemein formuliert sind. Daher haben wir unsere Erkennungslogik geändert, um diese Fehlalarme zu verringern.)

Diese Verbesserung ist für Anträge deshalb relevant, weil ihre Einleitungen oft einem festen Muster folgen: das Problem benennen, die Forschungslücke beschreiben, die Forschungsfrage präsentieren. Dieselbe Mitteilung nennt eine weitere Verfeinerung:

„We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version." (Wir haben außerdem daran gearbeitet, die Erkennung unserer Segmentgrenzen präziser zu machen, was in seltenen Fällen dazu führen kann, dass sich die Grenzen gegenüber einer früheren Version verschieben.)

Das waren Verbesserungen aus dem Jahr 2023, keine aktuellen Mängel. Hätten Sie den Wert eines Antrags vor und nach jenem Update verglichen, hätten Sie einen Rückgang sehen können. Die zugrundeliegenden strukturellen Muster, die wir weiter oben beschrieben haben, gibt es in Anträgen bis heute.

Der Leitfaden zum Bericht wird sehr deutlich, wo die Grenzen des KI-Schreib-Werts liegen:

„Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (Unser Modell zur Erkennung von KI-Texten trifft nicht immer zu – es kann menschlich geschriebenen, KI-generierten und KI-paraphrasierten Text falsch einordnen – und sollte daher nicht als alleinige Grundlage für nachteilige Maßnahmen gegen einen Studierenden herangezogen werden.)

Der nächste Satz bekräftigt das:

„It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (Um festzustellen, ob ein akademisches Fehlverhalten vorliegt, braucht es eine weitergehende Prüfung und menschliches Urteilsvermögen, zusammen mit der Anwendung der jeweils geltenden akademischen Richtlinien durch die Institution.)

Eine andere Quelle von Turnitin ordnet den Wert als eine Information unter vielen ein:

„It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (Sie ist nicht dafür gedacht, für sich allein genommen endgültige Antworten zu liefern. Wichtiger als jedes Werkzeug ist die Lehrkraft, die den Wert sieht und Entscheidungen trifft, indem sie diese Information gegen ihre persönliche Kenntnis ihrer Studierenden, deren Arbeiten und die Richtlinien der Institution abwägt.)

Der nächste Satz führt den Gedanken zu Ende:

„When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended." (Wenn Lehrende den KI-Schreib-Wert betrachten und ihn als einen einzelnen Datenpunkt nutzen statt als endgültige Antwort, dann wird er so verwendet, wie es gedacht ist.)

Für Forschungsanträge heißt das: Ein hoher KI-Prozentsatz sollte ein Gespräch in Gang setzen und kein Urteil sein. Was Ihre Lehrkraft tun soll, wenn Ihr KI-Prozentsatz hoch ist ist die Vorgabe des Anbieters, an der sich dieses Gespräch orientieren soll.

Wenn Ihr Forschungsantrag einen hohen Turnitin-KI-Wert erhalten hat, sollten Sie Folgendes im Kopf behalten:

• Anträge verwenden konventionelle, paraphrasierte und strukturell gleichförmige Sprache – und genau das bezeichnen die FAQ als Fehlalarm-Bereich.
• Kurze Anträge mit wenig Fließtext können zu „Alles oder nichts"-Vorhersagen führen, weil zu wenige Segmente für eine Überlappung vorhanden sind.
• Der Prozentsatz spiegelt nur den qualifizierenden Fließtext wider, nicht Ihr gesamtes Dokument.
• Turnitin hat die Behandlung des ersten und des letzten Satzes 2023 verbessert, aber die grundsätzliche Anfälligkeit der Sprache von Anträgen bleibt bestehen.
• Der KI-Wert sollte ein einzelner Datenpunkt sein und nicht die alleinige Grundlage für ein Urteil.

Wenn Sie die markierten Stellen angehen möchten, importieren Sie Ihren Turnitin-Bericht und arbeiten Sie sie durch. Stellen, die die Voraussetzungen erfüllen, lassen sich kostenlos erneut durchlaufen.