Pourquoi l'écriture créative est signalée comme IA par Turnitin

L'écriture créative peut déclencher des faux positifs sur le détecteur IA de Turnitin pour plusieurs raisons documentées par Turnitin lui-même. Le modèle analyse ce qu'il appelle du « qualifying text », qui comprend uniquement les phrases de prose écrites dans un style grammatical standard. Un article d'aide de Turnitin indique que le modèle « does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code. » (ne détecte pas de manière fiable les textes générés par IA sous forme non littéraire, comme la poésie, les scripts ou le code). Les pièces créatives courtes rencontrent un problème supplémentaire : la FAQ précise que dans les documents de quelques centaines de mots, « the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. » (la prédiction sera principalement « tout ou rien » car nous prédisons sur un seul segment sans possibilité de chevauchement). La FAQ mentionne également des caractéristiques produisant des faux positifs, notamment « content without a lot of structural variation » (contenu sans grande variation structurelle) et « text that literally repeats itself. » (texte qui se répète littéralement). Une écriture créative utilisant des motifs répétés ou des structures de phrases uniformes peut correspondre à ce profil même lorsqu'elle est entièrement rédigée par un humain.

La FAQ définit ce que le modèle examine :

This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures. (Ce texte éligible comprend uniquement des phrases de prose, ce qui signifie que nous analysons seulement des blocs de texte rédigés dans des phrases grammaticalement standard et n'incluant pas d'autres types d'écriture comme les listes, les puces (structures courtes non phrastiques) ou autres structures non phrastiques.)

La phrase suivante : « This percentage is not necessarily the percentage of the entire submission. »

Un article d'aide de Turnitin fournit une liste plus étendue des types de texte que le modèle ne détecte pas de manière fiable :

The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies. (Le modèle ne détecte pas de manière fiable les textes générés par IA sous forme non littéraire, comme la poésie, les scripts ou le code, et ne détecte pas non plus l'écriture courte/non conventionnelle telle que les puces, les tableaux ou les bibliographies annotées.)

Il s'agit d'une limite de contenu textuel, non d'une limite de format de fichier. Les exigences actuelles en matière de fichiers de Turnitin acceptent .docx, .pdf, .txt et .rtf, mais un fichier accepté peut toujours mélanger de la prose longue éligible avec de la poésie, du dialogue de type script ou des structures non conventionnelles. Un article d'aide indique que ces formes créatives ne sont pas fiablement détectées ; il ne dit pas que chaque section de ce type est toujours exclue. La FAQ précise que le texte non considéré comme prose longue n'est pas inclus, donc le pourcentage peut ne pas représenter la totalité de la soumission.

Les devoirs d'écriture créative sont souvent courts. Une nouvelle flash de 500 mots éligible se situe dans la fourchette de « quelques centaines de mots » décrite par la FAQ. Celle-ci indique :

In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. (Dans les documents plus courts ne contenant que quelques centaines de mots, la prédiction sera principalement « tout ou rien » car nous prédisons sur un seul segment sans possibilité de chevauchement.)

La phrase suivante : « This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated. »

Les exigences actuelles en matière de fichiers de Turnitin établissent une limite distincte : pour générer un AI Writing Report et un pourcentage, une soumission doit contenir au moins 300 mots de texte de prose dans un format d'écriture longue.

En dessous de ce seuil, la soumission ne répond pas aux exigences publiées pour un rapport IA ou un pourcentage. Une fois qu'un texte éligible ne contient toujours que quelques centaines de mots, la FAQ actuelle indique que la prédiction est principalement tout ou rien et qu'un mélange de texte généré par IA et de contenu original peut être signalé comme entièrement généré par IA. Pourquoi Turnitin dit que votre travail est 100 % IA explique ce basculement segment par segment.

La FAQ répertorie les caractéristiques de texte qui tendent à produire des faux positifs :

Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. (Parfois, les faux positifs – signalant incorrectement un texte humain comme généré par IA – peuvent inclure un contenu sans grande variation structurelle, un texte qui se répète littéralement, ou un texte qui a été paraphrasé sans développer de nouvelles idées.)

La phrase suivante : « If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated. »

Plusieurs de ces caractéristiques recoupent des techniques courantes d'écriture créative. Une pièce utilisant délibérément la répétition comme procédé stylistique peut correspondre au « texte qui se répète littéralement ». Une pièce avec une voix narrative cohérente et un rythme de phrase uniforme peut correspondre au « contenu sans grande variation structurelle ». Le conseil officiel est de prendre le pourcentage « en considération » plutôt que de le traiter comme définitif. Les habitudes stylistiques uniques sont lues de la même manière, ce qui soulève la question derrière le tiret long est-il un marqueur IA.

Le modèle de détection traite votre texte en le divisant en segments chevauchants et en attribuant à chacun un score de probabilité :

When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. (Lorsqu'un travail est soumis à Turnitin, les phrases de la soumission sont extraites et segmentées en sections chevauchantes pour l'analyse de prédiction. Chaque segment est classifié par le modèle de détection IA et reçoit une valeur entre 0 et 1, indiquant la probabilité que le texte soit humain ou généré par IA.)

Dans un document plus long, les segments se chevauchent, ce qui signifie qu'une même phrase peut recevoir plusieurs scores qui sont ensuite regroupés. Ce regroupement lisse les erreurs de prédiction individuelles. Dans une pièce créative courte, il peut n'y avoir qu'un seul segment sans chevauchement, c'est pourquoi la prédiction devient tout ou rien. Ce que les détecteurs IA mesurent au-delà de la perplexité et du burstiness explique sur quoi chaque segment est évalué.

Pour résumer ce que nous avons vu :

• Le pourcentage est basé sur la prose longue éligible et ne représente pas nécessairement un pourcentage de la totalité de la soumission.
• Un article d'aide de Turnitin répertorie la poésie, les scripts et les bibliographies annotées comme des types de texte que le modèle ne détecte pas de manière fiable.
• Pour les documents éligibles de seulement quelques centaines de mots, Turnitin indique que la prédiction sera principalement tout ou rien car il n'y a pas de chevauchement.
• Les soumissions avec moins de 300 mots de prose longue éligible ne répondent pas aux exigences actuelles pour un rapport IA ou un pourcentage.
• La FAQ conseille aux instructeurs de prendre le pourcentage « en considération » lorsque le texte présente peu de variation structurelle ou se répète.
• Les techniques d'écriture créative comme la répétition délibérée et une voix cohérente peuvent correspondre à des caractéristiques sujettes aux faux positifs.

Si vous recevez un rapport Turnitin sur une pièce d'écriture créative et souhaitez traiter les passages signalés, importez le rapport et travaillez dessus. Les passages éligibles peuvent être re-testés sans frais.