Cosa controlla il rilevamento IA di Turnitin: come si costruisce il punteggio

Il rilevamento della scrittura IA di Turnitin è un’analisi separata dal controllo di similarità (plagio). Il punteggio di similarità cerca testo che corrisponda a fonti già esistenti. Il punteggio di scrittura IA cerca regolarità statistiche nella scelta delle parole che somiglino a un testo generato da una macchina. Nelle FAQ di Turnitin si dice che i due sono «completely independent and do not influence each other.» (completamente indipendenti e non si influenzano a vicenda). Il rilevatore IA divide il tuo elaborato in segmenti di testo sovrapposti, classifica ogni segmento in base alla probabilità che sia stato scritto da un essere umano o da un’IA e aggrega questi punteggi in una percentuale a livello di documento. Vengono analizzate solo le frasi in prosa: liste, punti elenco e altre strutture che non sono frasi restano fuori. E solo docenti e amministratori possono vedere il punteggio IA, a meno che il docente non scelga di condividere il report in PDF.

Le FAQ di Turnitin descrivono il processo così:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Quando un elaborato viene inviato a Turnitin, le frasi del testo inviato vengono estratte e segmentate in sezioni sovrapposte per l’analisi predittiva. Ogni sezione viene classificata dal modello di rilevamento IA e riceve un valore compreso tra 0 e 1, che indica la probabilità che il testo sia probabilmente umano o generato dall’IA. Ogni frase idonea all’interno di queste sezioni eredita il punteggio della sezione. Poiché le sezioni si sovrappongono, alcune frasi possono avere più punteggi, che vengono poi riuniti in un punteggio unico. Questi punteggi di frase vengono ulteriormente aggregati e usati per calcolare il punteggio complessivo di scrittura IA del documento.)

Leggilo come una catena di elaborazione. Il tuo testo entra, viene diviso in pezzi sovrapposti, ogni pezzo riceve un punteggio di probabilità, le frasi ereditano il punteggio dei loro segmenti, i punteggi in sovrapposizione vengono riuniti in uno solo e infine aggregati in un unico numero. Il modello non legge la tua argomentazione e non controlla se le tue idee sono originali: legge caratteristiche statistiche delle tue sequenze di parole.

Due affermazioni tratte dalle stesse FAQ chiariscono cosa il modello misura e cosa no. Primo: «Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions.» (Il nostro modello non è programmato esplicitamente per valutare segnali specifici come la 'burstiness', la 'perplexity' o altre metriche singole a cui a volte si fa riferimento nelle discussioni pubbliche.) La frase successiva dice: «Instead, it learns statistical patterns from our training data.» (Al contrario, apprende schemi statistici dai nostri dati di addestramento.) Secondo: «Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers.» (I nostri classificatori sono addestrati a rilevare queste differenze nella probabilità delle parole e conoscono bene le particolari sequenze di probabilità delle parole tipiche degli scrittori umani.)

La prima affermazione dice che il modello non calcola due metriche citate per nome. La seconda dice che il modello è addestrato sulla probabilità delle parole. Le due cose sono coerenti: il modello non calcola un numero chiamato perplexity per confrontarlo con una soglia, ma impara dai dati sulla probabilità delle parole. La distinzione conta, perché buona parte dei consigli per evitare il rilevamento dell’IA parte dal presupposto che basti spostare una metrica con un nome preciso. Se il modello quella metrica non la calcola, aggiustarla non è la leva che si crede. Cosa misurano i rilevatori di IA oltre perplexity e burstiness approfondisce il punto.

Contano solo le frasi in prosa. Le FAQ lo dicono chiaramente:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Questo testo idoneo comprende solo frasi in prosa, nel senso che analizziamo esclusivamente blocchi di testo scritti in frasi grammaticali standard e non includiamo altri tipi di scrittura come elenchi, punti elenco (strutture brevi che non sono frasi) o altre strutture che non sono frasi.)

La frase successiva: «This percentage is not necessarily the percentage of the entire submission.» (Questa percentuale non è necessariamente la percentuale dell’intero elaborato.)

Questo significa che se il tuo documento contiene molte liste, punti elenco o altri contenuti che non sono in prosa, la percentuale IA riguarda solo la parte in prosa, non tutto il documento. La percentuale che vedi può riferirsi a una porzione del tuo testo più piccola di quanto pensi.

I punteggi compresi tra 1% e 19% non vengono mostrati come numeri. Le FAQ lo spiegano così:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (Per evitare la possibile comparsa di falsi positivi, non vengono attribuiti punteggi o evidenziazioni per i punteggi di rilevamento IA compresi tra 1% e 19%. Quando nel report viene rilevata IA al di sotto della soglia del 20%, ora questo viene indicato con un asterisco (*%) e non viene attribuita alcuna percentuale.)

Se il tuo report mostra un asterisco al posto di un numero, il rilevatore ha trovato alcuni schemi simili a quelli dell’IA, ma non abbastanza da giustificare una percentuale precisa. È stata una scelta di progettazione deliberata, per ridurre i falsi positivi nella fascia bassa. Il resto lo trovi in Cosa significa l’asterisco (*%) in un punteggio IA di Turnitin.

Le FAQ sono chiare sull’accesso: «only instructors and administrators are able to see the indicator.» (solo docenti e amministratori possono vedere l’indicatore). Gli studenti non possono vedere direttamente il proprio punteggio IA. Le FAQ continuano: «However, with the PDF download feature, instructors can download and share the AI report with students.» (Tuttavia, con la funzione di download PDF, i docenti possono scaricare il report IA e condividerlo con gli studenti). Se sei uno studente e vuoi conoscere il tuo punteggio, devi chiedere al tuo docente di condividere la versione PDF del report; poi il passo successivo è come leggere un report di scrittura IA di Turnitin.

Per riassumere quello che abbiamo visto:

• Il punteggio IA e il punteggio di similarità di Turnitin sono due misurazioni del tutto indipendenti.
• Il rilevatore IA divide il testo in segmenti sovrapposti e classifica ciascuno in base a schemi di probabilità delle parole.
• Vengono analizzate solo le frasi in prosa. Liste, punti elenco e strutture che non sono frasi restano fuori.
• I punteggi compresi tra 1% e 19% mostrano solo un asterisco, non un numero, per ridurre i falsi positivi.
• Solo docenti e amministratori possono vedere il punteggio IA, ma possono condividere il PDF con gli studenti.

Se hai un report IA di Turnitin e vuoi lavorare sui passaggi segnalati, importa il report e affrontali direttamente. I passaggi che soddisfano i requisiti possono essere rielaborati gratuitamente.