Il punteggio AI di Turnitin: come dovrebbero usarlo i docenti

Turnitin lo ha detto in più di un'occasione. Nelle sue FAQ sull'individuazione della scrittura AI: «Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors.» (pertanto dobbiamo sottolineare che la percentuale dell'indicatore di scrittura AI non deve essere usata dai docenti come unico fondamento per intervenire, né come criterio di valutazione definitivo).

Una seconda pagina ufficiale dice la stessa cosa con parole diverse: il modello «may not always be accurate,» (potrebbe non essere sempre accurato), quindi «should not be used as the sole basis for adverse actions against a student,» (non dovrebbe essere usato come unico fondamento per provvedimenti a sfavore di uno studente), e stabilire se c'è stata una scorrettezza «takes further scrutiny and human judgment.» (richiede ulteriori verifiche e il giudizio umano).

Il messaggio è lo stesso in tutti i materiali di Turnitin: il numero non è la decisione. La decisione spetta al docente, e l'azienda tratta a parte la questione di cosa viene chiesto di fare a un insegnante quando la percentuale AI è alta.

Le linee guida di Turnitin per la lettura del report lo dicono senza giri di parole: il punteggio AI «is not meant to provide definitive answers in isolation.» (non ha lo scopo di fornire risposte definitive se preso da solo).

La stessa pagina spiega il perché: «More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy.» (più importante di qualsiasi strumento c'è il docente che vede il punteggio e decide soppesando queste informazioni con la conoscenza diretta che ha dei propri studenti, del loro lavoro e delle regole dell'istituto).

E si chiude sull'uso previsto: «When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended.» (quando i docenti guardano il punteggio di scrittura AI e lo usano come un singolo dato fra tanti, anziché come una risposta definitiva, allora lo stanno usando nel modo previsto). Questa frase da sola descrive tutto il modo corretto di leggere un punteggio.

Turnitin elenca anche i tipi di testo più esposti ai falsi positivi, cioè a scrittura umana segnalata come AI: «content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.» (contenuti con scarsa varietà strutturale, testi che si ripetono alla lettera, oppure testi parafrasati senza sviluppare idee nuove).

Quella che segue è la frase da ricordare: «If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.» (se il nostro indicatore rileva una quantità maggiore di scrittura AI in testi di questo tipo, vi consigliamo di tenerne conto nel valutare la percentuale indicata).

In pratica significa che un tema che resta piatto nella struttura, riutilizza le proprie espressioni o parafrasa una fonte senza aggiungere idee nuove può portare un punteggio più alto anche senza che il testo sia stato davvero generato dall'IA. È la stessa Turnitin a consigliare di ridimensionare questi punteggi. Ed è anche il motivo per cui la parafrasi può far salire il punteggio AI di Turnitin invece di abbassarlo.

Il punto di partenza è quello ufficiale: il punteggio «should not be used as the sole basis for action.» (non dovrebbe essere usato come unico fondamento per intervenire). Una percentuale, da sola, non è la prova di una scorrettezza.

Il modo in cui Turnitin inquadra la questione è che più testo c'è, più le previsioni diventano affidabili, e che i documenti brevi sono il caso più debole. Nelle sue FAQ si osserva che su testi di poche centinaia di parole «the prediction will be mostly 'all or nothing'.» (la previsione sarà in gran parte "tutto o niente"). Quindi, davanti a elaborati brevi, il numero va preso con ancora più cautela.

Se un punteggio sembra alto, guardate il testo e non solo il numero: la scrittura è piatta, ripetitiva, o parafrasata senza idee nuove? Se sì, è esattamente il caso che Turnitin dice di soppesare in modo diverso; in che modo la struttura di un tema incide sul punteggio AI di Turnitin approfondisce il primo di questi tre punti. Se invece il punteggio sembra basso, ricordate che l'intervallo dall'1% al 19% viene mostrato come un asterisco e non come un numero (che cosa significa l'asterisco (*%) in un punteggio AI di Turnitin): nessuna percentuale significa nessun segnale forte, non un via libera.

Per uno studente la conseguenza pratica è che il punteggio arriva accompagnato dal giudizio del docente: non è un verdetto. Le note di rilascio di Turnitin ripetono la stessa frase: un punteggio di scrittura AI «should not be used as the sole basis for adverse actions against a student.» (non dovrebbe essere usato come unico fondamento per provvedimenti a sfavore di uno studente).

Se il tuo docente tira fuori il punteggio, la conversazione che serve è quella sul testo in sé — struttura, ripetizioni, parafrasi senza idee nuove — perché sono proprio le caratteristiche che Turnitin indica come più esposte ai falsi positivi. Il punteggio è un invito a guardare, non un'affermazione che ci sia stata una scorrettezza. Per la versione dello studente in quella conversazione, vedi segnalato, ma l'hai scritto tu: come preparare una risposta.