Come funziona il rilevamento della percentuale di IA di Turnitin?

Turnitin calcola la tua percentuale di IA spezzando il tuo lavoro in frasi, raggruppandole in segmenti sovrapposti e assegnando a ciascun segmento un punteggio di probabilità tra 0 e 1. Questi punteggi vengono combinati e aggregati in un'unica percentuale per l'intero documento. Il modello analizza solo la prosa, non codice o elenchi puntati. Solo docenti e amministratori possono vedere il punteggio, anche se possono scaricare un PDF e condividerlo con te. Se il punteggio è compreso tra 1% e 19%, il rapporto mostra un asterisco invece della percentuale.

Il processo inizia quando invii il tuo lavoro. Turnitin lo descrive così: "When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Quando un lavoro viene inviato a Turnitin, le frasi del saggio vengono estratte e suddivise in sezioni sovrapposte per l'analisi predittiva. Ogni segmento viene classificato dal modello di rilevamento IA e riceve un valore tra 0 e 1, che indica la probabilità che il testo sia stato generato da un umano o dall'IA. Ogni frase qualificante all'interno di questi segmenti eredita il punteggio del segmento. Poiché i segmenti si sovrappongono, alcune frasi possono avere più punteggi, che vengono poi combinati in un unico punteggio. Questi punteggi a livello di frase vengono ulteriormente aggregati e utilizzati per calcolare il punteggio complessivo di scrittura IA del documento.)

Ci sono diverse cose da notare qui. Innanzitutto, l'unità di analisi è la frase, non l'intero documento. In secondo luogo, i segmenti si sovrappongono, il che significa che una singola frase può appartenere a più segmenti e avere più punteggi che vengono combinati. Terzo, la percentuale finale è un'aggregazione di tutti questi punteggi a livello di frase. Non è un unico giudizio, ma tanti piccoli giudizi combinati.

Ecco perché due documenti con la stessa percentuale possono avere distribuzioni diverse di testo segnalato. Uno potrebbe avere poche frasi fortemente segnalate, mentre l'altro ne ha molte leggermente segnalate. L'aggregazione appiattisce queste differenze in un unico numero.

Non tutto nel tuo documento viene analizzato. Turnitin afferma: "The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures)." (Il modello non rileva in modo affidabile il testo generato dall'IA sotto forma di non-prosa o codice, né rileva scritture brevi/non convenzionali come elenchi puntati [strutture brevi non frasali].)

Questo significa che blocchi di codice, elenchi puntati, elenchi numerati e altri elementi non in prosa sono esclusi dall'analisi di rilevamento IA. Solo le frasi in prosa, i paragrafi effettivi di testo collegato, vengono analizzati dal modello. Turnitin prosegue spiegando: "This means that a document containing several different writing types would result in a disparity between the percentage and the highlights." (Ciò significa che un documento contenente diversi tipi di scrittura risulterebbe in una disparità tra la percentuale e le evidenziazioni.)

Se il tuo lavoro mescola lunghi paragrafi in prosa con elenchi puntati e snippet di codice, la percentuale riguarda solo le parti in prosa. Le evidenziazioni coprono solo la prosa. Questo può creare confusione se confronti il testo evidenziato con la lunghezza totale del documento e i numeri non corrispondono. La percentuale è calcolata sulla prosa qualificante, non sull'intero documento.

Gli studenti non possono vedere direttamente l'indicatore di rilevamento della scrittura IA o il rapporto. Turnitin afferma: "The AI writing detection indicator and report are not visible to students." (L'indicatore di rilevamento della scrittura IA e il rapporto non sono visibili agli studenti.) E: "Please note, only instructors and administrators are able to see the indicator." (Si noti che solo docenti e amministratori possono vedere l'indicatore.)

Questo non significa che tu non possa mai vedere il tuo punteggio. Turnitin aggiunge: "However, with the PDF download feature, instructors can download and share the AI report with students." (Tuttavia, con la funzione di download del PDF, i docenti possono scaricare e condividere il rapporto IA con gli studenti.) Quindi il percorso per vedere il tuo punteggio passa attraverso il tuo docente. Se il tuo docente sceglie di scaricare il PDF e condividerlo con te, puoi vedere la percentuale, le evidenziazioni ed eventuali asterischi. Se sceglie di non condividerlo, non lo vedrai attraverso l'interfaccia di Turnitin. Il login Turnitin per studenti spiega cosa la visualizzazione studente contiene e non contiene.

Se hai bisogno di vedere il tuo rapporto per revisione, chiedi al tuo docente se può scaricare e condividere il PDF. Molti docenti sono disposti a farlo, specialmente se spieghi che vuoi correggere eventuali passaggi segnalati prima della consegna finale.

Se il punteggio IA è compreso tra 1% e 19%, il rapporto non mostra una percentuale. Mostra invece un asterisco (%). Turnitin spiega: "To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (%) and no percentage is attributed." (Per evitare possibili incidenze di falsi positivi, nessun punteggio o evidenziazione viene attribuito per i punteggi di rilevamento IA nell'intervallo dall'1% al 19%. Quando viene rilevata IA al di sotto della soglia del 20% nel rapporto, ora viene indicata con un asterisco [*%] e non viene attribuita alcuna percentuale.)

L'asterisco significa che il rilevatore ha trovato qualcosa, ma non abbastanza da impegnarsi su un numero specifico. In questo intervallo non compaiono nemmeno evidenziazioni. Il punteggio è troppo basso perché Turnitin giustifichi l'indicazione di passaggi specifici come generati dall'IA. Questo è un approccio conservativo progettato per ridurre i falsi positivi.

Se vedi l'asterisco, il rilevatore ha individuato alcuni pattern simili all'IA nella tua prosa. Ma la confidenza era al di sotto della soglia in cui Turnitin è disposto ad assegnare una percentuale definita. Per la maggior parte degli studenti, l'asterisco non è motivo di allarme. Cosa significa l'asterisco (*%) su un punteggio IA di Turnitin spiega cosa dire se un docente te lo chiede.

Se il tuo docente condivide il rapporto PDF con te e vedi una percentuale superiore al 20%, guarda i passaggi evidenziati. Questi sono i segmenti specifici che il modello ha classificato come probabilmente generati dall'IA. Concentra la tua revisione su quelle sezioni, nell'ordine indicato da riscrivere solo i paragrafi segnalati da un rapporto Turnitin. Mantieni intatte citazioni, tabelle e blocchi di codice, poiché non fanno parte dell'analisi IA.

Se vedi l'asterisco, non ci sono passaggi evidenziati da correggere. Il punteggio è al di sotto della soglia di segnalazione. Puoi comunque rivedere la tua prosa per un fraseggio generico o formulare, ma non c'è nessuna segnalazione specifica da contestare.

Se la tua percentuale è abbastanza alta da preoccuparti o preoccupare il tuo docente, rivedi i passaggi segnalati e invia di nuovo. Ricorda che il modello si aggiorna nel tempo, quindi un nuovo invio può produrre un punteggio diverso anche con lo stesso testo, ecco perché confrontare due rapporti è meglio che confrontare due punteggi.

I passaggi idonei possono essere rieseguiti gratuitamente.