Stuft Turnitin Reflexionsberichte als KI ein? Falsch-Positive im Detail

Reflexionsberichte verlangen von Studierenden, über eigene Erfahrungen zu schreiben. Doch die Struktur ist oft monoton: Sie stellen die Erfahrung vor, beschreiben, was passiert ist, und ziehen eine Lehre. In dieser introspektiven Form ähneln sich die Sätze verschiedener Studierender stark. Turnitins Dokumentation nennt die Textmerkmale, die Falsch-Positive produzieren:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Falsch-Positive können Texte ohne große strukturelle Variation enthalten, Texte, die sich wortwörtlich wiederholen, oder Texte, die paraphrasiert wurden, ohne neue Ideen zu entwickeln.)

Der nächste Satz dazu: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Wenn unser Indikator in solchen Texten einen höheren Anteil an KI-generiertem Text anzeigt, raten wir Ihnen, dies bei der Bewertung des angegebenen Prozentsatzes zu berücksichtigen.)

Reflexionsberichte weisen häufig alle drei Merkmale auf. Die strukturelle Variation ist gering, weil die introspektive Form einem vorhersehbaren Bogen folgt. Die Formulierungen wiederholen sich, weil Studierende ähnliche Vokabeln nutzen, um Wachstum, Herausforderungen und Lernen zu beschreiben. Die Ideen sind aus dem Kursmaterial paraphrasiert, ohne zwangsläufig neue Argumente zu entwickeln. All das bedeutet nicht, dass der Text von KI stammt. Es bedeutet nur, dass der Text das Profil trifft, von dem Turnitin selbst sagt, dass es Falsch-Positive produzieren kann. Das wird klarer, wenn Sie wissen, was KI-Detektoren messen.

Um zu verstehen, warum ein Reflexionsbericht einen hohen Score bekommt, müssen wir uns ansehen, wie der Detektor arbeitet:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Wenn ein Dokument bei Turnitin eingereicht wird, werden Sätze extrahiert und in überlappende Abschnitte segmentiert. Jedes Segment wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der die Wahrscheinlichkeit angibt, dass der Text menschlich oder KI-generiert ist. Jeder qualifizierte Satz übernimmt den Score seines Segments. Da Segmente überlappen, können manche Sätze mehrere Scores haben, die zu einem einzigen Wert zusammengefasst werden. Diese Satz-Scores werden weiter aggregiert und bilden den gesamten KI-Schreib-Score des Dokuments.)

Jeder Satz erhält einen Wahrscheinlichkeits-Score. Die Scores werden zusammengeführt und zu einem prozentualen Gesamtwert auf Dokumentebene aggregiert. Ein Reflexionsbericht mit durchgehend ähnlichen Satzmustern kann überall hohe Segment-Scores erhalten – und diese summieren sich zu einem hohen Gesamtprozentsatz.

Der Detektor verarbeitet nicht jedes Wort der Einreichung. Er verarbeitet nur qualifizierenden Text:

"The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures)." (Das Modell erkennt KI-generierten Text in Form von Nicht-Prosa oder Code nicht zuverlässig und erkennt auch keine Kurzform- oder unkonventionellen Schreibweisen wie Aufzählungspunkte.)

Der nächste Satz dazu: "This means that a document containing several different writing types would result in a disparity between the percentage and the highlights." (Das bedeutet, dass ein Dokument mit mehreren verschiedenen Schreibtypen zu einer Diskrepanz zwischen dem Prozentsatz und den Hervorhebungen führen würde.)

Die gleiche Dokumentation erklärt, was zählt:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Dieser qualifizierende Text umfasst nur prosaische Sätze. Wir analysieren also nur Textblöcke, die in standardmäßigen grammatischen Sätzen geschrieben sind und keine anderen Schreibtypen wie Listen, Aufzählungspunkte oder andere Nicht-Satz-Strukturen enthalten.)

Der nächste Satz dazu: "This percentage is not necessarily the percentage of the entire submission." (Dieser Prozentsatz ist nicht zwangsläufig der Prozentsatz der gesamten Einreichung.)

Bei Reflexionsberichten besteht der größte Teil des Textes aus prosaischen Sätzen, sodass der qualifizierende Text den Großteil des Dokuments abdeckt. Das Diskrepanz-Problem ist hier weniger relevant als bei Dokumenten mit gemischten Formaten. Der angezeigte Prozentsatz entspricht ziemlich genau dem Prozentsatz der tatsächlichen Prosa.

Reflexionsberichte sind oft kurz. Ein 500-Wörter-Bericht ist üblich – und genau vor diesem Szenario warnt die Dokumentation:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Bei kürzeren Dokumenten mit nur wenigen hundert Wörtern ist die Vorhersage meist "alles oder nichts", weil wir auf einem einzelnen Segment ohne Überlappungsmöglichkeit vorhersagen.)

Der nächste Satz dazu: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Das bedeutet, dass manche Texte, die eine Mischung aus KI-generierten und ursprünglichen Inhalten sind, vollständig als KI-generiert markiert werden könnten.)

Bei einem kurzen Reflexionsbericht hat der Detektor möglicherweise nur ein einziges Segment zur Bewertung. Es gibt keine Überlappung, die die Vorhersage abmildern könnte. Bekommt dieses eine Segment einen hohen Score, wird das gesamte Papier als verdächtig eingestuft. Ein gemischtes Dokument, das teils original und teils entwurfsunterstützt ist, könnte als 100 % KI-generiert gemeldet werden – das ist einer der Wege, warum Turnitin sagt, Ihre Arbeit sei zu 100 % KI. Die Kürze nimmt den Dokumenten den Durchschnittseffekt, von dem längere Texte profitieren.

Turnitins Dokumentation stellt ausdrücklich klar, wie der Score verwendet werden sollte – und wie nicht:

"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (Unser KI-Schreiberkennungsmodell ist nicht immer präzise – es kann menschlich geschriebene, KI-generierte und KI-paraphrasierte Texte falsch identifizieren. Daher sollte es nicht als alleinige Grundlage für Maßnahmen gegen eine Studentin oder einen Studenten dienen.)

Der nächste Satz dazu: "It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (Es bedarf weiterer Prüfung und menschlicher Einschätzung im Rahmen der spezifischen akademischen Richtlinien einer Institution, um festzustellen, ob ein akademisches Fehlverhalten vorliegt.)

Eine weitere Turnitin-Quelle bekräftigt diese Position:

"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (Es ist nicht dafür gedacht, isoliert definitive Antworten zu liefern. Wichtiger als jedes Tool ist die Lehrperson, die den Score sieht und Entscheidungen trifft – im Abgleich mit ihrem persönlichen Wissen über ihre Studierenden, deren Arbeiten und die institutionellen Richtlinien.)

Der nächste Satz dazu: "When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended." (Wenn Lehrpersonen den KI-Schreib-Score betrachten und ihn als einen einzigen Datenpunkt nutzen statt als definitive Antwort, dann wird er so verwendet, wie es vorgesehen ist.)

Erhält Ihr Reflexionsbericht einen hohen KI-Score, ist das ein einzelner Datenpunkt – kein Beweis. Die Dokumentation sagt ausdrücklich, dass das Modell Texte falsch identifizieren kann, und fordert menschliche Einschätzung neben der institutionellen Policy. Wenn Sie es sind, die den Score erklären müssen: Markiert, aber Sie haben es selbst geschrieben zeigt, wie Sie diese Antwort vorbereiten.

Zusammenfassung der wichtigsten Punkte:

• Reflexionsberichte entsprechen mehreren Falsch-Positiv-Mustern aus Turnitins Dokumentation: geringe strukturelle Variation, sich wiederholende Formulierungen und paraphrasierte Ideen.
• Turnitin rät: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Wenn unser Indikator in solchen Texten einen höheren Anteil an KI-generiertem Text anzeigt, raten wir Ihnen, dies bei der Bewertung des angegebenen Prozentsatzes zu berücksichtigen.)
• Der Detektor segmentiert den Text und bewertet jedes Segment. Kurze Berichte haben möglicherweise nur ein Segment – das führt zu einem Alles-oder-Nichts-Ergebnis.
• Kurze Reflexionsberichte (wenige hundert Wörter) haben das höchste Risiko für einen binären Score.
• Der Score sollte nicht als einzige Grundlage für Maßnahmen dienen. Es ist ein einzelner Datenpunkt, der menschliche Einschätzung erfordert.

Wenn Sie einen Turnitin-KI-Bericht für einen Reflexionsbericht erhalten und die markierten Passagen überarbeiten möchten, importieren Sie den Bericht und arbeiten Sie diese durch. Berechtigte Passagen können kostenlos erneut geprüft werden.