Projets capstone et détection de l’IA : dépôts par étapes, documents partagés

Trois choses distinguent un capstone d’un devoir de cours, et chacune a sa conséquence. Il est déposé plus d’une fois : votre propre rapport intermédiaire peut donc atterrir dans un dépôt et devenir un élément de comparaison pour votre rapport final. Il est écrit par plusieurs personnes : le pourcentage d’écriture IA porte donc sur un document que personne n’a écrit seul, et il ne comporte aucune colonne d’auteur. Et la personne qui fusionne les sections de tout le monde en une seule voix à la fin effectue exactement la passe de révision que la propre documentation de Turnitin désigne comme propice aux faux positifs.

Aucun des trois ne se règle en réécrivant le fichier à la fin de l’année. Deux d’entre eux sont décidés par un réglage que quelqu’un d’autre a choisi des mois plus tôt, et l’action utile est une question, pas une modification.

Rien ici ne prédit un score. Turnitin publie la forme de son pipeline et un ensemble d’exigences de fichier. Il ne publie pas de seuils, et nous non plus.

Turnitin possède une fonction conçue exactement pour la forme qu’a un capstone. Elle s’appelle Multipart assignment, et la description du guide se lit comme un calendrier de projet :

"Multipart assignments let instructors connect two or more assignment parts into one larger assignment workflow. Use Multipart assignments when students need to complete a larger project in stages, such as an outline, annotated bibliography, first draft, and final draft." (Les Multipart assignments permettent aux enseignants de relier deux parties de devoir ou plus en un seul flux de travail plus large. Utilisez les Multipart assignments lorsque les étudiants doivent réaliser un projet plus important par étapes, par exemple un plan, une bibliographie annotée, un premier jet et une version finale.)

La phrase qui compte est la suivante :

"A Multipart assignment is a connected set of assignment parts. Each part has its own title, instructions, dates, settings, and submissions, but the parts are grouped together as one assignment experience." (Une Multipart assignment est un ensemble relié de parties de devoir. Chaque partie a son propre titre, ses propres consignes, dates, paramètres et dépôts, mais les parties sont regroupées en une seule expérience de devoir.)

Ses propres paramètres. Ses propres dépôts. Et de votre côté de l’écran, Turnitin dit que vous ne remarquerez peut-être même pas le regroupement : "Students see each part of a Multipart assignment as a separate assignment in their LMS or Turnitin, as they normally would." (Les étudiants voient chaque partie d’une Multipart assignment comme un devoir distinct dans leur LMS ou dans Turnitin, comme ils le feraient normalement.) Le guide étudiant le répète. Vos parties "appear in your assignment list as separate assignments" (apparaissent dans votre liste de devoirs comme des devoirs distincts), et "each part of a Multipart assignment has its own submission" (chaque partie d’une Multipart assignment a son propre dépôt).

Ainsi, lorsque vous téléversez le rapport intermédiaire en semaine sept et le rapport final en semaine vingt-deux, il s’agit de deux dépôts avec deux jeux de paramètres, et non d’un fichier en cours de révision. La protection sur laquelle on compte — une rediffusion écrase la précédente et les deux ne sont pas comparées entre elles — est une règle qui vaut pour un nouveau dépôt dans le même devoir. Nous avons détaillé quand elle s’applique et quand elle ne s’applique pas dans mon propre brouillon antérieur correspondra-t-il à mon nouveau dépôt, et la version courte est que le cas qui fait mal, c’est le second devoir, pas le second téléversement.

Que votre fichier de la semaine sept se trouve ou non dans un dépôt est un paramètre, et il est défini deux niveaux au-dessus de vous. Le guide des paramètres de compte de Turnitin liste ce qu’un administrateur peut confier aux enseignants :

"Enable instructor standard repository options: Chosen instructors will be able to set the assignment option to either store student papers within the standard paper repository or not store the papers in any repository." (Activer les options de dépôt standard pour les enseignants : les enseignants choisis pourront définir l’option du devoir soit pour stocker les copies des étudiants dans le dépôt standard, soit pour ne les stocker dans aucun dépôt.)

Si les options étendues sont activées, l’enseignant choisit plutôt entre le dépôt standard et le dépôt institutionnel. Et un administrateur peut retirer complètement le choix en sélectionnant "Submit all papers to the standard repository" (soumettre toutes les copies au dépôt standard), que la même page décrit ainsi : "All student papers submitted to the account will be stored in the standard paper repository." (Toutes les copies d’étudiants soumises au compte seront stockées dans le dépôt standard de copies.)

Les points de dépôt d’un même module n’ont donc pas à suivre la même règle, et aucun de ces paramètres n’est visible depuis l’écran de téléversement.

Cela vous donne une seule chose utile à faire, et le moment est tout l’enjeu : posez la question avant le dépôt intermédiaire, pas après le dépôt final. Un seul courriel à votre directeur ou directrice pour demander si la partie intermédiaire stocke les dépôts dans le référentiel prend une minute en semaine six et n’a plus de réponse en semaine vingt-trois.

Encore une chose à propos de la structure Multipart, car il est facile de supposer que votre établissement l’a. Turnitin liste les intégrations où elle n’est pas disponible : Google Classroom, Sakai, Manaba, In Campus. Si votre capstone passe par l’une d’elles, les parties ne sont que des devoirs distincts sans rien qui les relie, ce qui ne change rien à la question du dépôt et change tout à celle de savoir si votre enseignant peut passer d’un dépôt à l’autre en corrigeant.

Voici l’erreur que nous préférerions vous voir éviter. Un groupe voit un taux de similarité élevé sur le rapport final, comprend que la source est sa propre revue de littérature du dépôt intermédiaire, puis passe une semaine à réécrire cette revue de littérature pour qu’elle cesse de correspondre.

Deux problèmes à cela.

Premièrement, le score de similarité et le pourcentage d’IA ne sont pas la même mesure et ne s’influencent pas l’un l’autre. Turnitin le dit clairement : "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (Le score de similarité et le pourcentage de détection d’écriture IA sont totalement indépendants et ne s’influencent pas mutuellement.) Une correspondance avec soi-même est un événement de similarité : elle ne dit rien d’un chiffre d’IA, et la corriger n’en fait bouger aucun. Rapport d’écriture IA et rapport de similarité explique pourquoi les quatre combinaisons de haut et de bas sont possibles.

Deuxièmement, et c’est la partie qui mord : réécrire sa propre revue de littérature pour qu’elle cesse de se ressembler pousse le texte vers le profil que Turnitin nomme lorsqu’il décrit ses propres faux positifs :

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Il arrive que des faux positifs — signaler à tort comme généré par l’IA un texte écrit par un être humain — concernent un contenu avec peu de variation structurelle, un texte qui se répète littéralement, ou un texte paraphrasé sans développer de nouvelles idées.)

La phrase immédiatement après celle-là est la phrase à retenir :

"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Si notre indicateur montre une quantité plus élevée d’écriture IA dans un tel texte, nous vous conseillons d’en tenir compte lorsque vous examinez le pourcentage indiqué.)

Une revue de littérature réécrite uniquement pour qu’elle cesse de ressembler à sa version antérieure, sans aucune nouvelle lecture derrière, se situe tout près d’un élément précis de cette phrase : un texte paraphrasé sans développement d’idées nouvelles. Vous échangeriez un chiffre de similarité qui a une solution côté enseignant contre un profil de texte qui n’en a pas.

La solution côté enseignant est la vraie réponse ici. Exclure vos dépôts précédents du rapport est un contrôle que votre enseignant détient et que vous ne détenez pas.

Le mécanisme explique pourquoi un document de groupe se comporte comme il le fait. Turnitin le décrit à peu près ainsi : le dépôt est découpé en sections qui se chevauchent. Chaque section reçoit une probabilité comprise entre zéro et un. Une phrase éligible prend son score des sections qui la couvrent, plusieurs scores sont regroupés en un seul, puis agrégés vers le haut jusqu’à ce qu’un chiffre unique pour le document en ressorte.

Lu comme un pipeline, une chose saute aux yeux : nulle part il n’y a de champ pour savoir qui a tapé le segment. Le document est l’unité. Cinq auteurs entrent, un pourcentage sort, et ce pourcentage ne peut pas être réparti entre eux. La version générale de ce problème, pour ceux qui sont déjà en plein dedans, se trouve dans projet de groupe signalé pour IA alors que vous n’avez pas utilisé l’IA.

Mais il y a une chose dans le rapport qui possède une dimension absente du score : les surlignages ont des positions. Un passage surligné se trouve à une page, dans une section, sous un titre, et votre équipe sait qui a écrit ce titre.

Cela n’aide que si deux conditions sont réunies. Il vous faut le rapport, que vous ne pouvez pas obtenir vous-même, car Turnitin indique que "The AI writing detection indicator and report are not visible to students" (l’indicateur et le rapport de détection d’écriture IA ne sont pas visibles pour les étudiants), puis précise que "with the PDF download feature, instructors can download and share the AI report with students" (avec la fonction de téléchargement PDF, les enseignants peuvent télécharger le rapport IA et le partager avec les étudiants). La demande porte donc sur le PDF, pas sur la capture d’écran d’un chiffre. Ce que vous avez sous les yeux une fois le PDF obtenu est expliqué dans Comment lire un rapport d’écriture IA Turnitin.

Et il vous faut une trace de qui a écrit quoi, établie au moment des faits. Un tableau de propriété des sections avec des dates, rédigé en semaine deux et mis à jour au fil des déplacements de sections, est ennuyeux et prend dix minutes par trimestre. Assemblé en semaine vingt-trois sous pression, le même tableau devient un document créé après l’accusation, et tout le monde dans la salle le sait.

Turnitin n’analyse que ce qu’il appelle le texte éligible, qu’il définit comme des phrases de prose rédigées en phrases grammaticalement standard, à l’intérieur d’un écrit long. Il précise aussi que le pourcentage "is not necessarily the percentage of the entire submission" (n’est pas nécessairement le pourcentage de l’ensemble du dépôt). La version complète de cette définition, avec les exclusions, se trouve dans ce qu’est le texte éligible dans Turnitin.

Pensez maintenant à ce dont un rapport de capstone est réellement fait. Tableaux d’exigences. Procédures de test numérotées. Listings de code. Légendes de figures. Un diagramme de Gantt. Grilles d’entretien en annexe. Tout cela, ce sont très rarement des paragraphes de phrases.

Reste donc que le contexte, la revue de littérature, la discussion et la conclusion portent presque toute la mesure.

Voici pourquoi c’est un problème de groupe et non un problème de format. Dans la plupart des équipes, ces quatre sections ne sont pas réparties également. Elles échoient à celui ou celle qui écrit couramment en anglais, ou à celui ou celle qui s’est porté volontaire pour les « parties rédaction » pendant que les autres construisaient l’artefact. Le pourcentage au niveau du document est donc calculé presque entièrement sur un texte écrit par une ou deux personnes, puis présenté comme une propriété d’un document qui porte cinq noms.

Bon à savoir avant la réunion, car la première question dans cette salle est généralement « qui a écrit ceci », et la réponse honnête pour les parties qui ont produit le chiffre peut être plus courte que la liste des auteurs.

Chaque document de groupe en a une : la personne qui prend cinq fichiers la semaine avant l’échéance et les fait se lire comme un seul document.

Une partie de ce qu’elle fait est nécessaire et ne comporte aucun risque. Rendre cohérents les termes définis pour qu’un « participant » de la section trois ne devienne pas un « répondant » de la section cinq. Corriger le temps dans la méthodologie. Renuméroter les figures après l’insertion de l’une d’elles. Mettre toutes les citations dans un même style. Aligner les niveaux de titres. Rien de tout cela ne touche à la forme des phrases de qui que ce soit.

La partie qui demande de la prudence, c’est la passe où quelqu’un lisse tout le document en une seule voix parce que les raccords se voient.

Revenez à la liste que donne Turnitin pour les faux positifs. Le contenu avec peu de variation structurelle est le premier élément. Un document écrit par cinq personnes contient de la variation structurelle par construction, et il l’a parce que cinq personnes l’ont écrit. Une passe de lissage de la voix est une passe qui la supprime.

La version pratique, donc : harmonisez la terminologie, le formatage et les références, et laissez le rythme des phrases tranquille. Un rapport de capstone a le droit de sonner comme s’il avait été écrit par une équipe, parce qu’il l’a été. Les raccords ne sont pas un défaut qu’un correcteur sanctionnera, et l’effort pour les cacher est dépensé sur la seule dimension que vous avez intérêt à conserver.

Si le document vit dans un éditeur partagé, il y a une seconde raison de se retenir : la trace que cet éditeur conserve de qui a écrit quelle section cesse d’être utile dès l’instant où une personne modifie chaque paragraphe. Notre passage en revue outil par outil de ce que ces traces conservent réellement se trouve dans comment conserver l’historique des versions dans Word, Google Docs et Overleaf.

Les capstones avec un partenaire externe — une entreprise, un hôpital, une collectivité — ajoutent un lecteur qui se trouve en dehors de tous les systèmes décrits plus haut. Cela produit trois choses précises à régler tôt.

Personne dans cette conversation n’a le rapport. Les étudiants ne peuvent pas voir l’indicateur d’écriture IA. Personne à l’extérieur de l’établissement ne le peut non plus. Si un partenaire demande si le rapport a été vérifié par IA et ce qu’il disait, la seule voie vers une réponse passe par le téléchargement du PDF par votre enseignant. Passez par l’université, pas à côté.

Le fichier que vous remettez au partenaire n’est peut-être pas celui que vous déposez. Les versions livrables suppriment généralement les sections réflexives et les annexes de barème, ou ajoutent des éléments que l’université ne voit jamais. Deux fichiers, deux nombres de mots. Cela compte à une frontière précise : Turnitin ne génère pas de rapport d’écriture IA pour un dépôt de plus de 30 000 mots, et un rapport de capstone compilé avec annexes approche cette ligne plus souvent qu’on ne l’imagine. Un dépôt hors des exigences de fichier ne revient pas propre : il revient non traité, et nous avons détaillé la différence dans Turnitin peut-il vérifier une thèse entière.

Si le matériel du projet est confidentiel, la question du dépôt cesse d’être administrative. Que votre dépôt soit stocké est le paramètre cité plus haut, et il peut être réglé pour que les enseignants choisissent par devoir, ou pour que chaque copie du compte soit stockée sans exception. Le retrait ultérieur n’est pas quelque chose que vous faites. Turnitin le décrit comme une demande qui remonte : "instructors have the ability to request the deletion of any submissions in their assignments. Administrators can approve or reject requests." (les enseignants peuvent demander la suppression de n’importe quel dépôt dans leurs devoirs ; les administrateurs peuvent approuver ou rejeter les demandes.) Donc si les données du partenaire figurent dans vos annexes, c’est une conversation avec votre directeur ou directrice avant le premier téléversement, pas un formulaire après le dernier.

Nous ne pouvons pas vous dire ce que votre organisation partenaire exigera ou acceptera. Personne ne le peut, et quiconque publie une réponse assurée à ce sujet devine à votre place. Ce qui est connaissable, c’est le côté université — et le côté université est un ensemble d’interrupteurs qui portent un nom.

Toutes les citations ci-dessus proviennent des propres pages d’aide de Turnitin : elles valent donc pour les établissements qui utilisent Turnitin et pour personne d’autre. Si le vôtre utilise autre chose, ce qui se transpose n’est pas le vocabulaire du fournisseur. Ce sont trois questions, et elles tiennent dans un seul courriel à un directeur, une directrice ou un responsable de programme :

• Chaque point de dépôt de ce module est-il un dépôt distinct, ou s’agit-il de versions d’une même chose ?
• Qui décide si un dépôt est stocké, et à quel niveau cette décision est-elle prise ?
• Si quelque chose doit être retiré ensuite, quelle est la procédure et qui la valide ?

Chaque système a une réponse à ces trois questions sous un autre jeu de noms. Ce qui ne va pas, ce n’est presque jamais d’ignorer comment s’appelait une fonction. C’est d’avoir supposé que plusieurs dépôts étaient un seul événement.

Tout cela est bon marché au début d’un capstone et impossible à la fin.

• Demandez quelles parties stockent les dépôts. Un seul courriel au directeur ou à la directrice couvrant tous les points de dépôt du module, envoyé avant le premier.
• Tenez un tableau de propriété des sections. Section, responsable, date de début, date de dernière modification substantielle. Sur le lecteur partagé, mis à jour au fil de l’eau, pas reconstitué après coup.
• Décidez à qui appartient le document partagé. Dans la plupart des éditeurs collaboratifs, la personne qui a créé le fichier a sur son historique des pouvoirs que les autres n’ont pas.
• Nommez une version à chaque jalon. Quel que soit le nom que votre éditeur lui donne, une version étiquetée avec une date et une note de deux mots vaut plus que cent versions automatiques.
• Fixez les règles d’harmonisation avant la dernière semaine. Liste de terminologie, style de citation, numérotation des figures, niveaux de titres. Écrivez-les en semaine deux et personne n’aura rien à lisser en semaine vingt-deux.
• Vérifiez si votre dépôt final dépasse 30 000 mots assez tôt pour le diviser, plutôt que de découvrir un rapport non traité la veille au soir.

Si vous avez déjà dépassé le stade où ceci est un conseil préventif, signalé, mais c’est vous qui l’avez écrit explique comment monter une réponse ; et si votre module utilise l’espace d’écriture dans le navigateur de Turnitin plutôt que le téléversement de fichiers, ce que cet espace enregistre est un tout autre sujet, traité dans ce que Turnitin Clarity enregistre.

Une réécriture ne répond à aucun des trois problèmes ci-dessus. Elle ne peut pas changer quel devoir a stocké votre rapport intermédiaire, elle ne peut pas ajouter une colonne d’auteur à un pourcentage, et elle ne remplace pas la trace de la façon dont le document a été construit.

Là où elle a sa place, c’est étroit et précis : vous avez le rapport PDF, certains passages sont surlignés, et vous voulez réviser ces passages sans toucher au reste d’un document que quatre autres personnes ont écrit et vérifié. Ce dernier point est la contrainte qui rend les documents de groupe différents. Tout ce qu’un outil réécrit doit être vérifié par un humain avant de retourner dans le document, et sur un capstone, cet humain n’est souvent pas la personne qui a lancé l’outil.

C’est autour de cette contrainte qu’est conçu L’outil HumanPen. Vous téléversez le document avec le rapport, les surlignages du rapport fixent le périmètre, et ce qu’ils n’ont pas couvert revient exactement comme il a été écrit. Le paragraphe est la plus petite unité touchée : une correspondance partielle est donc étendue au paragraphe entier et vous est montrée avant que quoi que ce soit ne s’exécute. La facturation suit les mots réellement réécrits, non la taille du fichier. Les passages éligibles peuvent être relancés gratuitement.

C’est une affirmation sur le périmètre et le coût. Ce n’est pas une affirmation sur ce que dira votre prochain rapport, et nous n’en faisons pas. Sur un document à cinq auteurs, la propriété utile est la courte liste de paragraphes que votre équipe doit relire avant de le remettre en circulation.

Le pourcentage d’IA indique-t-il à mon directeur ou ma directrice lequel d’entre nous a utilisé l’IA ? Non. La propre description du mécanisme par Turnitin ne comporte aucun champ d’auteur : le dépôt est segmenté, chaque segment reçoit un score, et les résultats sont regroupés et agrégés en un chiffre au niveau du document. Les surlignages ont des positions dans le document — c’est la seule chose dans le rapport qui puisse être reliée à une personne, et seulement si votre équipe sait déjà qui a écrit quoi.

Mon rapport intermédiaire et mon rapport final sont tous les deux dans le système. Est-ce un problème ? C’est une question de similarité, pas une question d’IA, et la réponse dépend de si le dépôt intermédiaire a été stocké. C’est un paramètre de devoir que votre enseignant contrôle, choisi parmi les options activées par votre administrateur. Demandez avant le dépôt intermédiaire, et si une correspondance avec vous-même s’est déjà produite, portez-la à votre enseignant, puisque l’exclusion des dépôts précédents est un contrôle de son côté du rapport.

Notre rapport final fait 45 000 mots avec les annexes. Que se passe-t-il ? Les exigences de fichier de Turnitin indiquent qu’un dépôt ne doit pas dépasser 30 000 mots pour qu’un rapport d’écriture IA soit généré. Au-delà de la limite, il n’y a pas de pourcentage, et l’indicateur signale qu’il n’a pas pu traiter le dépôt plutôt que d’afficher un résultat net.

Une personne a relu tout le document à la fin pour qu’il soit cohérent. Était-ce une erreur ? Pas automatiquement, et pas pour ce qui concernait la terminologie, les références et le formatage. La partie qui demande de la prudence est le lissage des phrases de tout le monde en une seule voix, car "content without a lot of structural variation" (un contenu avec peu de variation structurelle) est le premier élément de la propre liste de Turnitin sur ce qui peut produire des faux positifs, et un document écrit par cinq personnes part avec cette variation gratuitement.

Puis-je montrer un historique des versions au lieu de discuter du score ? Vous pouvez le montrer, et c’est raisonnable de l’apporter, mais cela ne règle rien à soi seul. Turnitin dit de son propre score qu’il "should not be used as the sole basis for adverse actions against a student" (ne doit pas être utilisé comme seule base de mesures défavorables à un étudiant) et le décrit ailleurs comme "a single data point rather than a definitive response" (un simple point de donnée plutôt qu’une réponse définitive). Votre historique des versions est un autre point de donnée au même sens. Le poids accordé à l’un ou l’autre relève de la décision de votre établissement, énoncée dans sa procédure d’intégrité académique, et c’est ce document qu’il faut lire.