Progetti capstone e rilevamento dell'IA: consegne a più fasi, documenti condivisi

Tre cose distinguono un capstone da un elaborato di corso, e ognuna ha la sua conseguenza. Viene consegnato più di una volta, quindi il tuo report intermedio può finire in un archivio e diventare un termine di confronto per il report finale. È scritto da più persone, quindi la percentuale di scrittura IA riguarda un documento che nessuno ha scritto da solo e non prevede una colonna per l'autore. E chi alla fine fonde le sezioni di tutti in un'unica voce fa esattamente la passata di revisione che la stessa documentazione di Turnitin indica come soggetta a falsi positivi.

Nessuno dei tre si risolve riscrivendo il file alla fine dell'anno. Due li decide un'impostazione scelta da qualcun altro mesi prima, e l'azione utile è una domanda, non una modifica.

Niente di tutto questo predice un punteggio. Turnitin pubblica la forma della sua pipeline e una serie di requisiti di file. Non pubblica soglie, e noi nemmeno.

Turnitin ha una funzione creata esattamente per la forma che ha un capstone. Si chiama Multipart assignment e la descrizione nella guida si legge come un cronoprogramma:

"Multipart assignments let instructors connect two or more assignment parts into one larger assignment workflow. Use Multipart assignments when students need to complete a larger project in stages, such as an outline, annotated bibliography, first draft, and final draft." (Le Multipart assignments consentono ai docenti di collegare due o più parti di un compito in un unico flusso di lavoro più ampio. Usa le Multipart assignments quando gli studenti devono completare un progetto più grande per fasi, come una scaletta, una bibliografia annotata, una prima bozza e una bozza finale.)

La frase che conta è quella subito dopo:

"A Multipart assignment is a connected set of assignment parts. Each part has its own title, instructions, dates, settings, and submissions, but the parts are grouped together as one assignment experience." (Una Multipart assignment è un insieme collegato di parti di un compito. Ogni parte ha titolo, istruzioni, date, impostazioni e consegne propri, ma le parti sono raggruppate come un'unica esperienza di compito.)

Impostazioni proprie. Consegne proprie. E dal tuo lato dello schermo, Turnitin dice che potresti non accorgerti affatto del raggruppamento: "Students see each part of a Multipart assignment as a separate assignment in their LMS or Turnitin, as they normally would." (Gli studenti vedono ogni parte di una Multipart assignment come un compito separato nel loro LMS o in Turnitin, come avviene normalmente.) La guida per studenti lo ripete. Le tue parti "appear in your assignment list as separate assignments" (appaiono nel tuo elenco di compiti come compiti separati), e "each part of a Multipart assignment has its own submission" (ogni parte di una Multipart assignment ha la sua consegna).

Quindi, se carichi il report intermedio alla settimana sette e il report finale alla settimana ventidue, si tratta di due consegne con due serie di impostazioni, non di un file che viene rivisto. La protezione su cui tutti contano — una nuova consegna sovrascrive la precedente e le due non vengono confrontate tra loro — è una regola che vale per il reinvio allo stesso compito. Quando si applica e quando no lo abbiamo visto in la mia bozza precedente corrisponderà alla mia nuova consegna, e la versione breve è che il caso doloroso è il secondo compito, non il secondo caricamento.

Che il tuo file della settimana sette sia in un archivio è un'impostazione, e la decide qualcuno due livelli sopra di te. La guida alle impostazioni dell'account di Turnitin elenca ciò che un amministratore può affidare ai docenti:

"Enable instructor standard repository options: Chosen instructors will be able to set the assignment option to either store student papers within the standard paper repository or not store the papers in any repository." (Abilita le opzioni di archivio standard per i docenti: i docenti selezionati potranno impostare l'opzione del compito in modo da archiviare gli elaborati degli studenti nell'archivio standard oppure non archiviarli in nessun archivio.)

Con le opzioni estese attive, il docente sceglie invece tra l'archivio standard e quello istituzionale. E un amministratore può togliere del tutto la scelta selezionando "Submit all papers to the standard repository" (invia tutti gli elaborati all'archivio standard), che la stessa pagina descrive così: "All student papers submitted to the account will be stored in the standard paper repository." (Tutti gli elaborati degli studenti inviati all'account saranno archiviati nell'archivio standard degli elaborati.)

Quindi i punti di consegna di uno stesso modulo non devono seguire la stessa regola, e nessuna di queste impostazioni è visibile dalla schermata di caricamento.

Questo ti dà una cosa utile da fare, e il momento è tutto il punto: chiedi prima della consegna intermedia, non dopo quella finale. Una sola email al tuo relatore in cui chiedi se la parte intermedia archivia le consegne richiede un minuto alla settimana sei e non trova più risposta alla settimana ventitré.

Un'ultima cosa sulla struttura Multipart, perché è facile dare per scontato che il tuo ateneo ce l'abbia. Turnitin elenca le integrazioni in cui non è disponibile: Google Classroom, Sakai, Manaba, In Campus. Se il tuo capstone passa da una di queste, le parti sono semplicemente compiti separati senza nulla che le colleghi: non cambia nulla sulla questione dell'archivio e cambia tutto sul fatto che il tuo docente possa passare da una consegna all'altra mentre valuta.

Ecco l'errore che preferiremmo evitassi. Un gruppo vede un valore di similarità alto sul report finale, capisce che la fonte è la propria revisione della letteratura della consegna intermedia e poi passa una settimana a riscrivere quella revisione perché smetta di corrispondere.

Due problemi, qui.

Primo: il punteggio di similarità e la percentuale IA non sono la stessa misurazione e non si influenzano a vicenda. Turnitin lo dice chiaramente: "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (Il punteggio di similarità e la percentuale di rilevamento della scrittura IA sono completamente indipendenti e non si influenzano reciprocamente.) Una corrispondenza con sé stessi è un evento di similarità: non dice nulla su un valore IA e correggerla non ne sposta nessuno. Perché tutte e quattro le combinazioni di alto e basso sono possibili lo spieghiamo in Report di scrittura IA e report di similarità.

Secondo, ed è la parte che morde: riscrivere la propria revisione della letteratura per farle smettere di corrispondere a sé stessa spinge il testo verso il profilo che Turnitin nomina quando descrive i propri falsi positivi:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (A volte i falsi positivi — segnalare erroneamente come generato dall'IA un testo scritto da un essere umano — possono riguardare contenuti con poca variabilità strutturale, testi che si ripetono letteralmente o testi parafrasati senza sviluppare nuove idee.)

La frase subito dopo è quella da tenere:

"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Se il nostro indicatore mostra una quantità maggiore di scrittura IA in un testo di questo tipo, ti consigliamo di tenerne conto quando guardi la percentuale indicata.)

Una revisione della letteratura riscritta solo perché smetta di somigliare alla versione precedente, senza nessuna lettura nuova dietro, sta molto vicina a un elemento preciso di quella frase: testo parafrasato senza che vi siano nuove idee a svilupparlo. Saresti scambiando un valore di similarità che ha una soluzione lato docente con un profilo di testo che non ce l'ha.

La soluzione lato docente è la vera risposta, qui. Escludere le consegne precedenti dal report è un controllo che ha il tuo docente, non tu.

Il meccanismo spiega perché un documento di gruppo si comporta così. La descrizione di Turnitin è più o meno questa: la consegna viene suddivisa in sezioni che si sovrappongono. Ogni sezione riceve una probabilità tra zero e uno. Una frase idonea prende il proprio punteggio dalle sezioni che la comprendono, più punteggi vengono raggruppati in uno solo e poi aggregati verso l'alto finché non esce un unico valore per il documento.

Letta come una pipeline, una cosa è evidente: non c'è da nessuna parte un campo per chi ha scritto il segmento. Il documento è l'unità. Entrano cinque autori ed esce una percentuale, e quella percentuale non si può dividere tra loro. La versione generale di questo problema, per chi ci è già dentro, è progetto di gruppo segnalato per IA senza aver usato l'IA.

Ma c'è una cosa nel report che ha una dimensione che al punteggio manca: le evidenziazioni hanno posizioni. Un passaggio evidenziato sta su una pagina, in una sezione, sotto un titolo, e il tuo gruppo sa chi ha scritto quel titolo.

Questo serve solo se valgono due condizioni. Ti serve il report, e non puoi ottenerlo da solo, perché Turnitin dice che "The AI writing detection indicator and report are not visible to students" (l'indicatore e il report di rilevamento della scrittura IA non sono visibili agli studenti) e poi dice che "with the PDF download feature, instructors can download and share the AI report with students" (con la funzione di download PDF, i docenti possono scaricare il report IA e condividerlo con gli studenti). Quindi la richiesta è per il PDF, non per lo screenshot di un numero. Cosa stai guardando una volta che ce l'hai lo spieghiamo in Come leggere un report di scrittura IA di Turnitin.

E ti serve una registrazione di chi ha scritto cosa, fatta al momento. Una tabella con le responsabilità delle sezioni e le date, scritta alla settimana due e aggiornata quando le sezioni si spostano, è noiosa e richiede dieci minuti per trimestre. Ricostruita alla settimana ventitré sotto pressione, la stessa tabella è un documento creato dopo l'accusa, e tutti nella stanza lo sanno.

Turnitin analizza solo ciò che chiama testo idoneo, che definisce come frasi di prosa scritte in frasi grammaticalmente standard, all'interno di un testo di forma lunga. Dichiara anche che la percentuale "is not necessarily the percentage of the entire submission" (non è necessariamente la percentuale dell'intera consegna). La versione completa di questa definizione, con le esclusioni, è in che cos'è il testo idoneo in Turnitin.

Ora pensa a com'è fatto davvero un report di capstone. Tabelle di requisiti. Procedure di test numerate. Listati di codice. Didascalie di figure. Un diagramma di Gantt. Schede di intervista in appendice. Ben poco di tutto questo è fatto di paragrafi di frasi.

Restano così il background, la revisione della letteratura, la discussione e le conclusioni a sostenere quasi tutta la misurazione.

Ecco perché è un problema di gruppo e non di formattazione. Nella maggior parte dei team quelle quattro sezioni non sono distribuite in modo uniforme: finiscono a chi scrive fluentemente in inglese, o a chi si è offerto per le «parti di scrittura» mentre gli altri costruivano l'artefatto. Quindi la percentuale a livello di documento è calcolata quasi interamente su testo scritto da una o due persone, e poi viene riportata come proprietà di un documento con cinque nomi sopra.

Vale la pena saperlo prima della riunione, perché la prima domanda in quella stanza di solito è «chi ha scritto questo» e la risposta onesta per le parti che hanno prodotto il numero può essere più corta dell'elenco degli autori.

Ogni documento di gruppo ne ha una: la persona che prende cinque file la settimana prima della scadenza e li fa leggere come un documento solo.

Una parte di ciò che fa è necessaria e non comporta alcun rischio. Rendere coerenti i termini definiti, così che un «partecipante» nella sezione tre non diventi un «rispondente» nella sezione cinque. Correggere il tempo nella metodologia. Rinumerare le figure dopo che qualcuno ne ha inserita una. Portare tutte le citazioni a uno stile unico. Allineare i livelli dei titoli. Niente di questo tocca la forma delle frasi di nessuno.

La parte su cui stare attenti è la passata in cui qualcuno leviga tutto il documento in un'unica voce perché le giunture si vedono.

Torna all'elenco che Turnitin dà per i falsi positivi. I contenuti con poca variabilità strutturale sono il primo elemento. Un documento scritto da cinque persone ha variabilità strutturale per costruzione, e ce l'ha perché l'hanno scritto cinque persone. Una passata di levigatura della voce è una passata che la elimina.

Quindi la versione pratica: armonizza terminologia, formattazione e riferimenti, e lascia in pace il ritmo delle frasi. Un report di capstone può suonare come se l'avesse scritto un gruppo, perché l'ha scritto. Le giunture non sono un difetto che chi valuta punirà, e la fatica di nasconderle si spende sull'unica dimensione che ti conviene tenere.

Se il documento vive in un editor condiviso, c'è una seconda ragione per trattenersi: qualsiasi registrazione di chi ha scritto quale sezione, tenuta da quell'editor, smette di essere utile nel momento in cui una persona modifica ogni paragrafo. La nostra rassegna strumento per strumento di ciò che queste registrazioni conservano davvero è in come conservare la cronologia delle versioni in Word, Google Docs e Overleaf.

I capstone con un partner esterno — un'azienda, un ospedale, un ente locale — aggiungono un lettore che sta fuori da tutti i sistemi descritti sopra. Questo produce tre cose precise da sistemare per tempo.

Nessuno in quella conversazione ha il report. Gli studenti non possono vedere l'indicatore di scrittura IA. Nessuno fuori dall'ateneo può farlo. Se un partner chiede se il report è stato controllato con l'IA e cosa diceva, l'unica strada per una risposta è che il tuo docente scarichi il PDF. Chiedi attraverso l'università, non aggirandola.

Il file che consegni al partner potrebbe non essere il file che invii. Le versioni da consegnare di solito tolgono le sezioni riflessive e le appendici con i criteri di valutazione, o aggiungono materiale che l'università non vede mai. Due file, due conteggi di parole. Questo conta a un confine preciso: Turnitin non genera un report di scrittura IA per una consegna oltre 30.000 parole, e un report di capstone con appendici arriva vicino a quella soglia più spesso di quanto ci si aspetti. Una consegna fuori dai requisiti di file non torna pulita: torna non elaborata, e la differenza l'abbiamo vista in Turnitin può controllare una tesi intera.

Se il materiale del progetto è riservato, la questione dell'archivio smette di essere amministrativa. Che la tua consegna venga archiviata è l'impostazione citata prima, e può essere configurata in modo che i docenti scelgano per ogni compito, oppure in modo che tutti gli elaborati dell'account vengano archiviati senza eccezioni. Rimuoverli dopo non è una cosa che fai tu. Turnitin la descrive come una richiesta che sale verso l'alto: "instructors have the ability to request the deletion of any submissions in their assignments. Administrators can approve or reject requests." (i docenti possono richiedere la cancellazione di qualsiasi consegna nei propri compiti; gli amministratori possono approvare o respingere le richieste.) Quindi, se i dati del partner sono nelle tue appendici, è una conversazione con il tuo relatore prima del primo caricamento, non un modulo dopo l'ultimo.

Non possiamo dirti cosa chiederà o accetterà la tua organizzazione partner. Nessuno può, e chiunque pubblichi una risposta sicura in merito sta tirando a indovinare al posto tuo. Ciò che si può sapere è il lato università, e il lato università è una serie di interruttori con un nome.

Tutte le citazioni sopra vengono dalle pagine di aiuto di Turnitin, quindi valgono per gli atenei che usano Turnitin e per nessun altro. Se il tuo usa altro, ciò che si trasferisce non è il vocabolario del fornitore. Sono tre domande, e stanno in una sola email a un relatore o a un responsabile del corso di studi:

• Ogni punto di consegna di questo modulo è un deposito separato, o sono versioni di una stessa cosa?
• Chi decide se una consegna viene archiviata, e a quale livello si prende questa decisione?
• Se in seguito qualcosa deve essere ritirato, qual è la procedura e chi la firma?

Ogni sistema ha una risposta a queste tre sotto un altro insieme di nomi. Quello che va storto quasi non è mai non sapere come si chiamava una funzione: è aver dato per scontato che più consegne fossero un solo evento.

Tutto questo costa poco all'inizio di un capstone ed è impossibile alla fine.

• Chiedi quali parti archiviano le consegne. Una sola email al relatore che copra tutti i punti di consegna del modulo, inviata prima del primo.
• Tieni una tabella delle responsabilità delle sezioni. Sezione, responsabile, data di inizio, data dell'ultima modifica sostanziale. Nella cartella condivisa, aggiornata strada facendo, non ricostruita dopo.
• Decidete a chi appartiene il documento condiviso. Nella maggior parte degli editor collaborativi, chi ha creato il file ha sulla sua cronologia poteri che gli altri non hanno.
• Dai un nome a una versione per ogni traguardo. Comunque lo chiami il tuo editor, una versione etichettata con data e una nota di due parole vale più di cento versioni automatiche.
• Decidi le regole di armonizzazione prima dell'ultima settimana. Elenco di terminologia, stile delle citazioni, numerazione delle figure, livelli dei titoli. Scrivile alla settimana due e nessuno dovrà levigare nulla alla settimana ventidue.
• Scopri se la tua consegna finale supera 30.000 parole in tempo utile per dividerla, invece di trovarti davanti a un report non elaborato la sera prima.

Se hai già superato il punto in cui questi sono consigli preventivi, segnalato, ma l'hai scritto tu spiega come costruire una risposta; e se il tuo modulo usa lo spazio di scrittura nel browser di Turnitin invece del caricamento di file, ciò che quello spazio registra è un argomento a parte, trattato in cosa registra Turnitin Clarity.

Una riscrittura non risponde a nessuno dei tre problemi sopra. Non può cambiare quale compito ha archiviato il tuo report intermedio, non può aggiungere una colonna autore a una percentuale e non sostituisce la registrazione di come il documento è stato costruito.

Dove invece ha senso è un caso stretto e specifico: hai il report in PDF, alcuni passaggi sono evidenziati e vuoi rivedere quei passaggi senza toccare il resto di un documento che altre quattro persone hanno scritto e controllato. Quest'ultima parte è il vincolo che rende diversi i documenti di gruppo. Tutto ciò che uno strumento riscrive deve essere controllato da una persona prima di rientrare nel documento, e in un capstone quella persona spesso non è chi ha usato lo strumento.

È attorno a questo vincolo che è costruito Lo strumento HumanPen. Carichi il documento insieme al report, le evidenziazioni nel report definiscono l'estensione, e ciò che non hanno coperto torna esattamente com'era stato scritto. Il paragrafo è l'unità più piccola che tocca, quindi una corrispondenza parziale viene estesa all'intero paragrafo e ti viene mostrata prima che parta qualsiasi cosa. La fatturazione segue le parole effettivamente riscritte, non la dimensione del file. I passaggi idonei possono essere rielaborati gratuitamente.

Questa è un'affermazione su estensione e costo. Non è un'affermazione su cosa dirà il tuo prossimo report, e noi non ne facciamo. Su un documento con cinque autori, la proprietà utile è la breve lista di paragrafi che il tuo gruppo deve rileggere prima di rimetterlo dentro.

La percentuale IA dice al mio relatore quale di noi ha usato l'IA? No. La stessa descrizione del meccanismo fatta da Turnitin non contiene alcun campo per l'autore: la consegna viene segmentata, ogni segmento riceve un punteggio, e i risultati vengono raggruppati e aggregati in un valore a livello di documento. Le evidenziazioni hanno posizioni nel documento, che è l'unica cosa nel report che può essere collegata a una persona, e solo se il tuo gruppo sa già chi ha scritto cosa.

Il mio report intermedio e il mio report finale sono entrambi nel sistema. È un problema? È una questione di similarità, non di IA, e la risposta dipende dal fatto che la consegna intermedia sia stata archiviata. È un'impostazione del compito che controlla il tuo docente, scelta tra le opzioni abilitate dal tuo amministratore. Chiedi prima che la consegna intermedia entri, e se è già avvenuta una corrispondenza con te stesso, portala al tuo docente, perché escludere le consegne precedenti è un controllo che sta dalla sua parte del report.

Il nostro report finale è di 45.000 parole con le appendici. Cosa succede? I requisiti di file di Turnitin dicono che una consegna non deve superare 30.000 parole perché venga generato un report di scrittura IA. Oltre il limite non c'è percentuale, e l'indicatore segnala che non ha potuto elaborare la consegna invece di mostrare un risultato pulito.

Una persona ha modificato tutto il documento alla fine per renderlo coerente. È stato un errore? Non automaticamente, e non per le parti che riguardavano terminologia, riferimenti e formattazione. La parte su cui stare attenti è levigare le frasi di tutti in un'unica voce, perché "content without a lot of structural variation" (contenuti con poca variabilità strutturale) è il primo elemento dell'elenco di Turnitin su ciò che può produrre falsi positivi, e un documento scritto da cinque persone parte con quella variabilità gratis.

Posso mostrare una cronologia delle versioni invece di discutere del punteggio? Puoi mostrarla, ed è ragionevole portarla, ma da sola non risolve nulla. Turnitin dice del proprio punteggio che "should not be used as the sole basis for adverse actions against a student" (non deve essere usato come unica base per provvedimenti sfavorevoli a uno studente) e lo descrive altrove come "a single data point rather than a definitive response" (un singolo dato, non una risposta definitiva). La tua cronologia delle versioni è un altro dato nello stesso senso. Quale peso abbia ciascuno lo decide il tuo ateneo, nella sua procedura di integrità accademica, ed è quel documento che va letto.