Wie funktioniert Turnitins KI-Erkennungsrate?

Turnitin berechnet Ihre KI-Rate, indem es Ihr Papier in Sätze zerlegt, diese in überlappende Segmente gruppiert und jedem Segment eine Wahrscheinlichkeit zwischen 0 und 1 zuweist. Diese Werte werden zusammengefasst und zu einem einzigen Prozentsatz für das gesamte Dokument aggregiert. Das Modell analysiert ausschließlich Fließtext, nicht Code oder Aufzählungspunkte. Nur Dozierende und Administratoren können die Punktzahl einsehen, sie können jedoch ein PDF herunterladen und mit Ihnen teilen. Liegt die Punktzahl zwischen 1% und 19%, zeigt der Bericht ein Sternchen anstelle eines Prozentsatzes.

Der Prozess beginnt mit der Einreichung Ihres Papiers. Turnitin beschreibt es so: "When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Wenn ein Papier bei Turnitin eingereicht wird, werden Sätze aus der Einreichung extrahiert und in überlappende Abschnitte zur Vorhersageanalyse unterteilt. Jedes Segment wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der die Wahrscheinlichkeit angibt, dass der Text menschlich oder KI-generiert ist. Jeder qualifizierte Satz in diesen Segmenten übernimmt die Punktzahl des Segments. Da Segmente sich überschneiden, können manche Sätze mehrere Punktzahlen haben, die dann zu einer einzigen zusammengefasst werden. Diese Satzpunktzahlen werden weiter aggregiert und zur Berechnung der gesamten Dokument-KI-Schreibpunktzahl verwendet.)

Dabei sind mehrere Punkte wichtig. Erstens ist die Analyseeinheit der Satz, nicht das gesamte Dokument. Zweitens überlappen sich die Segmente, das heißt, ein einzelner Satz kann zu mehreren Segmenten gehören und mehrere Punktzahlen tragen, die zusammengefasst werden. Drittens ist der finale Prozentsatz eine Aggregation all dieser Satz-Level-Punktzahlen. Es handelt sich nicht um ein einziges Urteil, sondern um viele kleine Bewertungen, die kombiniert werden.

Deshalb können zwei Dokumente mit demselben Prozentsatz unterschiedliche Verteilungen markierten Textes aufweisen. Das eine hat vielleicht einige stark markierte Sätze, das andere viele leicht markierte. Die Aggregation glättet diese Unterschiede zu einer einzigen Zahl.

Nicht alles in Ihrem Dokument wird analysiert. Turnitin stellt klar: "The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures)." (Das Modell erkennt KI-generierten Text in Form von Nicht-Fließtext oder Code nicht zuverlässig und erkennt auch keine kurzen/unüblichen Schreibformen wie Aufzählungspunkte.)

Das bedeutet, Code-Blöcke, Aufzählungspunkte, nummerierte Listen und andere Nicht-Fließtext-Elemente sind von der KI-Erkennungsanalyse ausgeschlossen. Nur Fließtextsätze, also tatsächliche Absätze mit zusammenhängendem Text, werden vom Modell verarbeitet. Turnitin erläutert weiter: "This means that a document containing several different writing types would result in a disparity between the percentage and the highlights." (Das bedeutet, dass ein Dokument mit verschiedenen Schreibtypen zu einer Diskrepanz zwischen Prozentsatz und Markierungen führt.)

Wenn Ihr Papier langen Fließtext mit Aufzählungslisten und Code-Schnipseln kombiniert, spiegelt der Prozentsatz nur die Fließtext-Abschnitte wider. Die Markierungen beziehen sich ebenfalls nur auf Fließtext. Das kann für Verwirrung sorgen, wenn Sie den markierten Text mit der Gesamtlänge des Dokuments vergleichen und die Zahlen nicht übereinstimmen. Der Prozentsatz wird nur gegen den qualifizierten Fließtext berechnet, nicht gegen das gesamte Dokument.

Studierende können den KI-Erkennungsindikator und -Bericht nicht direkt einsehen. Turnitin stellt klar: "The AI writing detection indicator and report are not visible to students." (Der KI-Schreiberkennungsindikator und -Bericht sind für Studierende nicht sichtbar.) Und: "Please note, only instructors and administrators are able to see the indicator." (Bitte beachten Sie, nur Dozierende und Administratoren können den Indikator einsehen.)

Das bedeutet nicht, dass Sie Ihre eigene Punktzahl nie zu sehen bekommen. Turnitin fügt hinzu: "However, with the PDF download feature, instructors can download and share the AI report with students." (Über die PDF-Download-Funktion können Dozierende den KI-Bericht herunterladen und mit Studierenden teilen.) Der Weg zur eigenen Punktzahl führt also über Ihre Dozierenden. Wenn diese das PDF herunterladen und mit Ihnen teilen, sehen Sie den Prozentsatz, die Markierungen und eventuelle Sternchen. Wenn sie es nicht teilen, bekommen Sie es über die Turnitin-Oberfläche nicht zu sehen. Der Turnitin-Login für Studierende erklärt, was die Studierendenansicht enthält und was nicht.

Wenn Sie Ihren Bericht zur Überarbeitung benötigen, fragen Sie Ihre Dozierenden, ob sie das PDF herunterladen und mit Ihnen teilen können. Viele sind dazu bereit, besonders wenn Sie erklären, dass Sie markierte Passagen vor der finalen Abgabe überarbeiten möchten.

Liegt die KI-Punktzahl zwischen 1% und 19%, zeigt der Bericht keinen Prozentsatz. Stattdessen erscheint ein Sternchen (%). Turnitin erklärt: "To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (%) and no percentage is attributed." (Um mögliche Falschpositiv-Ergebnisse zu vermeiden, wird für KI-Erkennungspunktzahlen im Bereich von 1% bis 19% keine Punktzahl oder Markierung angegeben. Wenn KI unter der 20%-Schwelle erkannt wird, wird dies nun mit einem Sternchen (*%) angezeigt und es wird kein Prozentsatz zugeordnet.)

Das Sternchen bedeutet, dass das Erkennungssystem etwas gefunden hat, aber nicht genug, um sich auf eine konkrete Zahl festzulegen. In diesem Bereich erscheinen auch keine Markierungen. Die Punktzahl ist zu niedrig, als dass Turnitin spezifische Passagen als KI-generiert kennzeichnen würde. Das ist ein konservativer Ansatz, um Falschpositiv-Ergebnisse zu reduzieren.

Wenn Sie das Sternchen sehen, hat das System einige KI-ähnliche Muster in Ihrem Fließtext erkannt. Aber die Zuversicht lag unter der Schwelle, bei der Turnitin bereit ist, einen festen Prozentsatz zu vergeben. Für die meisten Studierenden ist das Sternchen kein Grund zur Sorge. Was das Sternchen (*%) bei einer Turnitin-KI-Punktzahl bedeutet erklärt, was Sie sagen können, wenn Dozierende danach fragen.

Wenn Ihre Dozierenden den PDF-Bericht mit Ihnen teilen und Sie einen Prozentsatz über 20% sehen, schauen Sie sich die markierten Passagen an. Das sind die spezifischen Segmente, die das Modell als wahrscheinlich KI-generiert klassifiziert hat. Konzentrieren Sie Ihre Überarbeitung auf diese Abschnitte, in der Reihenfolge, die das Überarbeiten nur der von einem Turnitin-Bericht markierten Absätze vorgibt. Behalten Sie Ihre Zitate, Tabellen und Code-Blöcke unverändert bei, da diese nicht Teil der KI-Analyse sind.

Wenn Sie das Sternchen sehen, gibt es keine zu überarbeitenden markierten Passagen. Die Punktzahl liegt unter der Berichtsschwelle. Sie können Ihren Fließtext trotzdem auf generische oder formelhafte Formulierungen überprüfen, aber es gibt keine spezifische Markierung, die Sie entkräften müssten.

Wenn Ihr Prozentsatz hoch genug ist, um Sie oder Ihre Dozierenden zu beunruhigen, überarbeiten Sie die markierten Passagen und reichen Sie erneut ein. Denken Sie daran, dass sich das Modell im Laufe der Zeit aktualisiert, sodass eine erneute Einreichung auch bei gleichem Text eine andere Punktzahl produzieren kann. Deshalb ist der Vergleich zweier Berichte besser als der Vergleich zweier Punktzahlen.

Qualifizierte Passagen können kostenlos erneut ausgeführt werden.