Verändert das Streichen von Wörtern Ihren Turnitin-KI-Wert?

Die Zahl in Ihrem KI-Bericht ist kein Prozentsatz Ihrer gesamten Arbeit. Sie ist ein Prozentsatz dessen, was Turnitin „qualifying text," nennt – einer Teilmenge Ihrer Einreichung, nicht des Ganzen. Ob das Streichen von Wörtern diese Zahl bewegt, hängt davon ab, welche Wörter Sie entfernen und ob sie zu dieser Teilmenge gehören.

The displayed percentage indicates the amount of qualifying text within the submission that Turnitin's AI writing detection model determines was generated by AI. (Der angezeigte Prozentsatz gibt an, wie viel von dem qualifizierenden Text innerhalb der Einreichung das Modell von Turnitin zur Erkennung KI-generierten Schreibens als von KI erzeugt einstuft.)

Dieser Satz stammt von der FAQ-Seite von Turnitin zu den Möglichkeiten der Erkennung KI-generierten Schreibens. Der Ausdruck, den Sie sich merken sollten, ist „qualifying text." (qualifizierender Text). Der Prozentsatz ist ein Anteil an diesem Vorrat, nicht an allem, was Sie hochgeladen haben. Bevor Sie also auch nur einen Absatz löschen, um unter eine Wortgrenze zu kommen, müssen Sie wissen, was als qualifizierend zählt und was nicht.

Turnitin definiert „qualifying text" (qualifizierenden Text) auf derselben FAQ-Seite, und die Definition ist enger, als die meisten Studierenden annehmen, wenn sie einen Bericht zum ersten Mal sehen.

This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures. (Dieser qualifizierende Text umfasst nur Prosasätze; das heißt, wir analysieren ausschließlich Textblöcke, die in standardsprachlich korrekten Sätzen geschrieben sind, und schließen andere Schreibformen aus, etwa Listen, Aufzählungspunkte (kurze Strukturen, die keine Sätze sind) oder andere Strukturen, die keine Sätze sind.)

Der Nenner, also die Basis, aus der der Prozentsatz berechnet wird, sind demnach Prosasätze. Alles, was kein Prosasatz ist, liegt außerhalb dieser Basis. Eine ausführlichere Aufschlüsselung dessen, was in diese Kategorie fällt und was nicht, finden Sie unter was qualifizierender Text bei Turnitin bedeutet. Auf der Grundlage der obigen Definition hier die Kurzfassung:

• Prosasätze (standardsprachlich korrekte Sätze): zählen als qualifizierender Text
• Listen und Aufzählungspunkte: ausgeschlossen, beschrieben als „short non-sentence structures" (kurze Strukturen, die keine Sätze sind)
• Andere Strukturen, die keine Sätze sind: durch dieselbe Formulierung ausgeschlossen

Hier wird es praktisch. Weil der Nenner nur die Prosa umfasst, hat das Streichen unterschiedlicher Teile Ihrer Arbeit unterschiedliche Folgen dafür, woran der Prozentsatz gemessen wird.

• Prosasätze streichen: der Nenner verändert sich
• Listen oder Aufzählungspunkte streichen: der Nenner bleibt gleich. Die obige Definition nennt sie als ausgeschlossen
• Eine Tabelle kürzen: es kommt darauf an, was darin steht. Die Versionshinweise von Turnitin vom August 2023 sagen „We are now able to process long-form prose text in tables." (Wir können inzwischen längere Prosatexte in Tabellen verarbeiten.) Kurze Einträge in einer Tabelle sind keine Prosasätze; ein Absatz innerhalb einer Tabellenzelle schon.

Hier endet die Hilfe der Dokumentation. Turnitin sagt nicht, ob das Entfernen von Prosa den Prozentsatz nach oben drückt, nach unten drückt oder ihn unverändert lässt. Das Ergebnis hängt davon ab, welche Prosa Sie entfernen: markierte oder nicht markierte Sätze. Das können Sie im Voraus nicht wissen, es sei denn, Sie haben bereits einen Bericht. Und selbst mit einem Bericht in der Hand zeigen die Markierungen, was das Modell in der aktuellen Fassung markiert hat, nicht, was es nach Ihren Änderungen markieren wird. Was die Dokumentation aussagen lässt, ist, was den Nenner bewegt und was nicht. Sie erlaubt keine Aussage darüber, in welche Richtung die Zahl geht, wenn sich der Nenner bewegt.

Es gibt ein zweites Problem, das auftaucht, wenn Sie viel streichen. Die FAQ-Seite von Turnitin räumt ein, dass kurze Dokumente sich anders verhalten.

In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. (In kürzeren Dokumenten mit nur wenigen hundert Wörtern wird die Vorhersage meist „alles oder nichts" sein, weil wir auf einem einzigen Segment vorhersagen und keine Möglichkeit zur Überlappung haben.)

Sobald ein Dokument auf wenige hundert Wörter schrumpft, trifft das Modell im Grunde eine einzige Entscheidung über den gesamten Text. Der Prozentsatz ist dann keine fein abgestufte Ablesung mehr, sondern kommt einem Ja-Nein-Urteil näher. Das ist unsere Schlussfolgerung aus dem Zitat, nicht die Formulierung von Turnitin. Das Zitat selbst sagt „all or nothing" (alles oder nichts) und nennt den Grund: ein einzelnes Segment ohne Überlappung.

Results show that our accuracy increases with a little more text so submissions that contain less than 300 words may result in an AI writing score that is likely less accurate. (Die Ergebnisse zeigen, dass unsere Genauigkeit mit etwas mehr Text steigt; Einreichungen mit weniger als 300 Wörtern können daher zu einem Wert für KI-generiertes Schreiben führen, der wahrscheinlich weniger genau ist.)

Diese Aussage steht nicht auf der FAQ-Seite. Sie erscheint in einem Versionshinweis vom Dezember 2023 auf der Seite von Turnitin zum Modell der Erkennung KI-generierten Schreibens. Lesen Sie sie aufmerksam: Dort steht „less accurate," (weniger genau), nicht „higher" (höher) oder „lower." (niedriger). Genauigkeit bedeutet, ob der Wert die Wirklichkeit trifft, nicht, in welche Richtung sich die Zahl bewegt. Ein weniger genauer Wert kann zu hoch oder zu niedrig ausfallen. Die Dokumentation sagt nicht, welches von beidem. Für Sie bedeutet das: Ihre Wortgrenze zu treffen und in dem Bereich zu bleiben, in dem die Ablesung verlässlich ist, können zwei verschiedene, mitunter widersprüchliche Ziele sein. Wenn Sie verstehen wollen, warum kurze Arbeiten oft extreme Werte zeigen, sehen Sie sich warum Turnitin kurze Arbeiten als zu 100 % von KI geschrieben markiert an.

Angesichts all dessen hier, was Sie tun können, wenn Sie eine Arbeit kürzen müssen und der KI-Prozentsatz Sie beschäftigt.

• Wenn Sie bereits einen Bericht haben, prüfen Sie vor dem Streichen, welche Prosaabschnitte markiert sind. Markierte und nicht markierte Prosa wirken sich unterschiedlich auf den Prozentsatz aus, und Sie wollen wissen, was was ist, bevor Sie mit dem Löschen beginnen.
• Kürzen Sie zuerst Listen und Aufzählungspunkte. Sie sind als ausgeschlossen benannt, also sinkt Ihre Wortzahl, ohne dass Sie den Nenner berühren. Bei Tabellen gibt es keine sichere Annahme: Prüfen Sie, ob die Zellen kurze Einträge oder ganze Absätze enthalten, bevor Sie sie als frei behandeln.
• Achten Sie auf die Länge. Die FAQ von Turnitin sagt, dass die Vorhersage in Dokumenten von „only a few hundred words" (nur wenigen hundert Wörtern) meist „all or nothing" (alles oder nichts) wird, und der Versionshinweis sagt, dass die Genauigkeit mit etwas mehr Text steigt.
• Wenn die Einreichung unter 300 Wörtern liegt, behandeln Sie den Prozentsatz mit Skepsis. Turnitin selbst sagt, dass der Wert bei dieser Länge weniger genau sein kann. Das betrifft die Verlässlichkeit der Ablesung, nicht eine Richtung, in die sich die Zahl bewegt.

Nichts davon sagt Ihnen, dass der Prozentsatz nach dem Streichen sinken wird. Der Nenner kann sich verschieben, die Genauigkeit kann abnehmen, aber die Richtung ist etwas, das die Dokumentation nicht vorhersagt. Wenn Sie lieber an der Prosa selbst arbeiten wollen, statt nur darum herum zu kürzen, führt das Senken Ihres KI-Wertes, ohne die Zitate zu beschädigen das gesondert aus. Das condense-Werkzeug von HumanPen strafft Weitschweifigkeit in Richtung einer Zielwortzahl, die Sie festlegen – für die gesamte .docx-Datei oder für die Absätze, die Sie auswählen – und gibt eine bearbeitbare Datei zurück. Es verspricht keinen bestimmten KI-Wert, denn aus den gerade dargelegten Gründen kann das niemand.