Wie Turnitin mit mathematischen Formeln und Nicht-Prosa-Texten umgeht

Mathematische Gleichungen, Formeln und Code-Blöcke wertet der KI-Detektor von Turnitin nicht aus. In den FAQ heißt es: „This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Dieser qualifizierende Text umfasst ausschließlich Prosasätze. Das heißt: Wir werten nur Textblöcke aus, die in grammatikalisch vollständigen Standardsätzen verfasst sind, und keine anderen Textarten wie Listen, Aufzählungspunkte – also kurze Strukturen, die keine Sätze sind – oder sonstige Nicht-Satz-Strukturen.) Über das Modell heißt es weiter, es „does not reliably detect AI-generated text in the form of non-prose, or code." (KI-generierten Text in Form von Nicht-Prosa oder Code erkennt es nicht zuverlässig.) Und ergänzend: „In addition, we are not pursuing ChatGPT code detection at this time." (Darüber hinaus verfolgen wir die Erkennung von ChatGPT-Code zum jetzigen Zeitpunkt nicht.) Ihre Gleichungen und Formeln fließen also nicht direkt in Ihren KI-Wert ein. Der Wert spiegelt nur die Prosateile Ihres Dokuments. Besteht Ihre Arbeit überwiegend aus Gleichungen mit kurzen Erklärungen dazwischen, prüft der KI-Detektor nur sehr wenig Text – und der Wert ist dann weniger aussagekräftig.

In den FAQ ist festgelegt, was das Modell untersucht:

„This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Dieser qualifizierende Text umfasst ausschließlich Prosasätze. Das heißt: Wir werten nur Textblöcke aus, die in grammatikalisch vollständigen Standardsätzen verfasst sind, und keine anderen Textarten wie Listen, Aufzählungspunkte – also kurze Strukturen, die keine Sätze sind – oder sonstige Nicht-Satz-Strukturen.)

Im nächsten Satz: „This means that a document containing several different writing types would result in a disparity between the percentage and the highlights." (Das bedeutet: Enthält ein Dokument mehrere verschiedene Textarten, führt das zu einer Abweichung zwischen dem Prozentwert und den Markierungen.)

Für eine mathematische oder ingenieurwissenschaftliche Arbeit heißt das: Die Gleichungen selbst werden nicht bewertet. Der KI-Erkennung unterliegen nur die Prosasätze darum herum – die Erklärungen, Einleitungen und Diskussionen. Haben Sie eine Seite voller Gleichungen mit zwei erklärenden Sätzen, dann sind genau diese zwei Sätze das, was der Detektor bewertet. Wer die Passagen umschreibt, steht vor der spiegelbildlichen Frage: was ein KI-Humanizer mit Zitaten, Tabellen und Gleichungen macht.

Bei nicht-prosaischen Inhalten werden die FAQ sehr deutlich:

„The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures)." (Das Modell erkennt KI-generierten Text in Form von Nicht-Prosa oder Code nicht zuverlässig und ebenso wenig Kurzformen oder unkonventionelle Texte wie Aufzählungspunkte – also kurze Strukturen, die keine Sätze sind.)

In den FAQ heißt es außerdem: „In addition, we are not pursuing ChatGPT code detection at this time." (Darüber hinaus verfolgen wir die Erkennung von ChatGPT-Code zum jetzigen Zeitpunkt nicht.)

Für STEM-Arbeiten hat das eine praktische Folge: Haben Sie ein KI-Werkzeug genutzt, um Code oder Gleichungen zu erzeugen, ist der KI-Detektor nicht darauf ausgelegt, das aufzuspüren. Er bewertet die Prosa darum herum, nicht den Code oder die Mathematik selbst.

Das Erkennungsmodell verarbeitet den qualifizierenden Text, indem es ihn in überlappende Abschnitte zerlegt:

„When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (Wird eine Arbeit bei Turnitin eingereicht, werden die Sätze der Einreichung extrahiert und für die Vorhersageanalyse in überlappende Abschnitte unterteilt. Jeder Abschnitt wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der angibt, wie wahrscheinlich der Text von einem Menschen oder von einer KI stammt.)

Die Abschnitte überlappen sich, und deshalb kann ein Satz mehrere Werte erhalten, die anschließend zusammengefasst werden. In einer Arbeit mit dichten Gleichungen und spärlicher Prosa schwindet dieser Vorteil, weil schlicht weniger Prosasätze zum Unterteilen übrig bleiben. Der Wert wird dadurch instabiler: Dem Modell stehen weniger Datenpunkte zur Verfügung.

Ein Release-Hinweis vom August 2023 beschreibt, wie das Modell mit Tabellen umgeht:

„We are now able to process long-form prose text in tables." (Wir können nun längere Prosatexte in Tabellen verarbeiten.)

Der nächste Satz: „Resubmit to reprocess existing submissions that contain tables." (Reichen Sie die Arbeit erneut ein, damit vorhandene Einreichungen mit Tabellen neu verarbeitet werden.)

Das bedeutet: Stehen in Ihrer Tabelle längere Prosasätze, werden diese Sätze inzwischen ausgewertet. Reine Daten, Zahlen und kurze Beschriftungen in Tabellen sind jedoch keine Prosasätze und fallen damit nicht unter die Definition des qualifizierenden Textes. Auch Literaturverzeichnisse sind ausgenommen – im selben Release-Hinweis heißt es: „Bibliographies are now excluded when processing the AI writing report." (Literaturverzeichnisse werden bei der Verarbeitung des KI-Schreibberichts nun ausgeschlossen.) Der nächste Satz verlangt für bestehende Einreichungen erneut eine Neueinreichung, und deshalb kann ein älterer Bericht immer noch so aussehen, als hätte Turnitin Ihre Quellenangaben markiert.

Häufig entsteht Verwirrung durch die Frage, ob mathematischer Inhalt, der bei der Ähnlichkeitsprüfung auffällt, auch den KI-Wert beeinflusst. Das ist nicht der Fall. In den FAQ heißt es:

„The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (Der Similarity-Wert und der Prozentwert der KI-Schreiberkennung sind völlig unabhängig voneinander und beeinflussen sich nicht gegenseitig.)

Wenn Ihre Gleichungen mit einer Quelle in der Ähnlichkeitsdatenbank übereinstimmen, wirkt sich das auf Ihren Similarity-Wert aus, nicht auf Ihren KI-Wert. Der KI-Detektor prüft ausschließlich die Prosa auf Muster, die auf KI hindeuten – ganz unabhängig davon, was die Ähnlichkeitsprüfung findet. Der Fehler, den Sie hier vermeiden sollten: beide Werte für dasselbe zu halten.

Noch einmal das Wichtigste in Kürze:

• Mathematische Gleichungen und Formeln wertet der KI-Detektor nicht aus. Es zählen allein qualifizierende Prosasätze.
• Laut FAQ erkennt das Modell Nicht-Prosa oder Code nicht zuverlässig, und eine Erkennung von Code wird nicht angestrebt.
• Tabellen mit längeren Prosatexten werden inzwischen verarbeitet, reine Daten und kurze Beschriftungen dagegen nicht.
• Literaturverzeichnisse sind von der Verarbeitung durch die KI-Erkennung ausgenommen.
• Der KI-Wert und der Similarity-Wert sind völlig unabhängig voneinander und beeinflussen sich nicht gegenseitig.
• Arbeiten mit dichten Gleichungen und spärlicher Prosa liefern dem Modell weniger Text zum Auswerten, was den Wert instabiler machen kann.

Wenn Sie für eine STEM-Arbeit einen Turnitin-Bericht bekommen haben und die markierten Prosatextstellen angehen möchten, importieren Sie den Bericht und arbeiten Sie daran. Passagen, die die Voraussetzungen erfüllen, können kostenlos erneut durchlaufen werden.