Tagliare le parole cambia il tuo punteggio IA di Turnitin?

Il numero nel tuo report IA non è una percentuale dell'intero elaborato. È una percentuale di ciò che Turnitin chiama «qualifying text,» (testo idoneo), un sottoinsieme della tua consegna, non il tutto. Che il taglio di parole muova quel numero dipende da quali parole elimini e se appartengono a quel sottoinsieme.

The displayed percentage indicates the amount of qualifying text within the submission that Turnitin's AI writing detection model determines was generated by AI. (La percentuale visualizzata indica la quantità di testo idoneo, all'interno della consegna, che il modello di rilevamento della scrittura IA di Turnitin determina essere stata generata dall'IA.)

Questa frase viene dalla pagina FAQ di Turnitin sulle funzionalità di rilevamento della scrittura IA. L'espressione da tenere a mente è «qualifying text.» (testo idoneo). La percentuale è una quota di quel gruppo, non di tutto ciò che hai caricato. Quindi, prima di cancellare anche un solo paragrafo per stare sotto un limite di parole, devi sapere cosa conta come idoneo e cosa no.

Turnitin definisce «qualifying text» (testo idoneo) in quella stessa pagina FAQ, e la definizione è più ristretta di quanto la maggior parte degli studenti supponga quando vede un report per la prima volta.

This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures. (Questo testo idoneo include solo frasi in prosa, nel senso che analizziamo esclusivamente blocchi di testo scritti in frasi grammaticalmente standard e non includiamo altri tipi di scrittura come elenchi, punti elenco (strutture brevi che non sono frasi) o altre strutture che non sono frasi.)

Il denominatore, cioè la base da cui si calcola la percentuale, è dunque costituito dalle frasi in prosa. Tutto ciò che non è una frase in prosa resta fuori da quella base. Per una scomposizione più completa di ciò che rientra in questa categoria e di ciò che ne resta fuori, vedi che cosa significa testo idoneo in Turnitin. Sulla base della definizione sopra, ecco la versione breve:

• Frasi in prosa (frasi grammaticalmente standard): contate come testo idoneo
• Elenchi e punti elenco: esclusi, descritti come «short non-sentence structures» (strutture brevi che non sono frasi)
• Altre strutture che non sono frasi: escluse dalla stessa formulazione

Qui diventa pratico. Poiché il denominatore è solo la prosa, tagliare parti diverse del tuo elaborato ha effetti diversi su ciò rispetto a cui la percentuale viene misurata.

• Tagliare frasi in prosa: il denominatore cambia
• Tagliare elenchi o punti elenco: il denominatore resta lo stesso. La definizione sopra li indica come esclusi
• Tagliare una tabella: dipende da cosa contiene. Le note di rilascio di Turnitin dell'agosto 2023 dicono «We are now able to process long-form prose text in tables.» (Ora siamo in grado di elaborare testo in prosa di forma lunga nelle tabelle.) Le voci brevi in una tabella non sono frasi in prosa; un paragrafo all'interno di una cella lo è.

Qui la documentazione smette di aiutare. Turnitin non dice se rimuovere prosa spingerà la percentuale verso l'alto, verso il basso o la lascerà dove si trova. L'esito dipende da quale prosa rimuovi: frasi segnalate o non segnalate. Non puoi saperlo in anticipo, a meno che tu non abbia già un report. E anche con un report in mano, le evidenziazioni mostrano ciò che il modello ha segnalato nella versione attuale, non ciò che segnalerà dopo le tue modifiche. Ciò che la documentazione consente di dire è cosa muove il denominatore e cosa no. Non consente di dire in quale direzione vada il numero quando il denominatore si muove.

C'è un secondo problema che compare quando tagli molto. La pagina FAQ di Turnitin riconosce che i documenti brevi si comportano in modo diverso.

In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. (Nei documenti più brevi, dove ci sono solo poche centinaia di parole, la previsione sarà prevalentemente «tutto o niente», perché prevediamo su un singolo segmento, senza possibilità di sovrapposizione.)

Non appena un documento si riduce a poche centinaia di parole, il modello prende quella che è essenzialmente una decisione unica sull'intero testo. La percentuale smette di essere una lettura fine e si avvicina a un giudizio binario. Questa è la nostra inferenza tratta dalla citazione, non la formulazione di Turnitin. La citazione stessa dice «all or nothing» (tutto o niente) e ne spiega il motivo: un singolo segmento, senza sovrapposizione.

Results show that our accuracy increases with a little more text so submissions that contain less than 300 words may result in an AI writing score that is likely less accurate. (I risultati mostrano che la nostra accuratezza aumenta con un po' più di testo, per cui le consegne che contengono meno di 300 parole possono dare un punteggio di scrittura IA probabilmente meno accurato.)

Questa affermazione non si trova nella pagina FAQ. Compare in una nota di rilascio del dicembre 2023, nella pagina di Turnitin dedicata al modello di rilevamento della scrittura IA. Leggila con attenzione: dice «less accurate,» (meno accurato), non «higher» (più alto) né «lower.» (più basso). L'accuratezza riguarda se il punteggio riflette la realtà, non la direzione in cui si muove il numero. Un punteggio meno accurato può eccedere o restare al di sotto. La documentazione non dice quale delle due. Ciò che questo significa per te è che raggiungere il tuo limite di parole e restare nell'intervallo in cui la lettura è affidabile possono essere due obiettivi diversi, a volte in conflitto. Se vuoi capire perché gli elaborati brevi mostrano spesso letture estreme, vedi perché Turnitin segnala gli elaborati brevi come 100% IA.

Alla luce di tutto quanto sopra, ecco cosa puoi fare quando devi accorciare un elaborato e la percentuale di IA ti ronza in testa.

• Se hai già un report, controlla quali sezioni di prosa sono evidenziate prima di tagliare. La prosa segnalata e quella non segnalata incidono in modo diverso sulla percentuale, e vuoi sapere quale è quale prima di iniziare a cancellare.
• Riduci prima elenchi e punti elenco. Sono indicati come esclusi, quindi tagliarli abbassa il tuo numero di parole senza toccare il denominatore. Le tabelle non sono un presupposto sicuro: controlla se le celle contengono voci brevi o paragrafi interi prima di trattarle come libere.
• Controlla la lunghezza. Le FAQ di Turnitin dicono che nei documenti di «only a few hundred words» (solo poche centinaia di parole) la previsione diventa prevalentemente «all or nothing» (tutto o niente), e la sua nota di rilascio dice che l'accuratezza aumenta con un po' più di testo.
• Se la consegna è sotto le 300 parole, prendi la percentuale con scetticismo. Turnitin stessa dice che il punteggio può essere meno accurato a quella lunghezza. Riguarda l'affidabilità della lettura, non una direzione in cui il numero si muoverà.

Nulla di tutto questo ti dice che la percentuale scenderà dopo il taglio. Il denominatore può spostarsi, l'accuratezza può calare, ma la direzione non è qualcosa che la documentazione prevede. Se vuoi lavorare sulla prosa stessa invece di limitarti a tagliare attorno a essa, abbassare il tuo punteggio IA senza rompere le citazioni tratta la cosa separatamente. Lo strumento di condensazione di HumanPen riduce la verbosità verso un numero di parole obiettivo che imposti tu, per l'intero .docx o per i paragrafi che selezioni, e restituisce un file modificabile. Non promette un punteggio IA specifico, perché, per le ragioni che questo articolo ha appena esposto, nessuno può farlo.