Studenti internazionali e punteggi AI: cosa sapere sulla scrittura in una seconda lingua

Nelle FAQ di Turnitin si legge che i dati di addestramento del modello "took into account statistically under-represented groups like second-language learners, English users from non-English speaking countries, students at colleges and universities with diverse enrollments, and less common subject areas such as anthropology, geology, sociology, and others to minimize bias when training our model" (hanno preso in considerazione gruppi statistici sottorappresentati come apprendenti di una seconda lingua, utenti inglesi di paesi non anglofoni, studenti di college e università con iscrizioni diversificate e aree disciplinari meno comuni come antropologia, geologia, sociologia e altre, per ridurre al minimo i pregiudizi durante l'addestramento del modello). Questa è l'affermazione di Turnitin, non una conclusione verificata in modo indipendente. L'inclusione nel set di addestramento significa che il modello è stato esposto a scritture di apprendenti di una seconda lingua durante la fase di training. Ma il rilevatore continua comunque a operare classificando i modelli di probabilità delle parole nel testo in prosa. Se la tua scrittura condivide modelli statistici con testi generati da AI in inglese, il rilevatore può segnalarla indipendentemente dal fatto che l'inglese sia la tua prima lingua. Comprendere questo divario tra l'affermazione sull'addestramento e il meccanismo di rilevamento è fondamentale per rispondere a una segnalazione.

Le FAQ affrontano direttamente il tema dei pregiudizi:

"While creating our sample dataset, we also took into account statistically under-represented groups like second-language learners, English users from non-English speaking countries, students at colleges and universities with diverse enrollments, and less common subject areas such as anthropology, geology, sociology, and others to minimize bias when training our model." (Durante la creazione del nostro dataset campionario, abbiamo anche preso in considerazione gruppi statistici sottorappresentati come apprendenti di una seconda lingua, utenti inglesi di paesi non anglofoni, studenti di college e università con iscrizioni diversificate e aree disciplinari meno comuni come antropologia, geologia, sociologia e altre, per ridurre al minimo i pregiudizi durante l'addestramento del modello.)

Questa è l'affermazione dell'azienda sulla propria metodologia di addestramento. Dice che i dati di training sono stati progettati per includere campioni di scrittura diversificati. Ma non fornisce numeri, risultati di test o validazioni esterne sui livelli di pregiudizio. L'affermazione è che la scrittura di apprendenti di una seconda lingua era rappresentata nell'addestramento. Quello che l'affermazione non dice è che la scrittura di apprendenti di una seconda lingua sia immune ai falsi positivi. Il modello è stato addestrato su dati diversificati, ma classifica comunque in base ai modelli di probabilità delle parole. Perché gli scrittori di inglese non madrelingua vengono segnalati più spesso dai rilevatori AI esamina la ricerca su questo divario.

Il processo di rilevamento funziona allo stesso modo indipendentemente da chi ha scritto il testo:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Quando un elaborato viene inviato a Turnitin, le frasi del sottomesso vengono estratte e segmentate in sezioni sovrapposte per l'analisi predittiva. Ogni segmento viene classificato dal modello di rilevamento AI e riceve un valore tra 0 e 1, che indica la probabilità che il testo sia probabilmente umano o generato da AI. Ogni frase qualificante all'interno di questi segmenti eredita il punteggio del segmento. Poiché i segmenti si sovrappongono, alcune frasi possono avere più punteggi, che vengono poi raggruppati in un unico punteggio. Questi punteggi per frase vengono ulteriormente aggregati e utilizzati per calcolare il punteggio complessivo di scrittura AI del documento.)

Il rilevatore non conosce il tuo background linguistico. Non aggiusta la sua classificazione in base al fatto che tu sia un parlante nativo o non nativo di inglese. Legge le caratteristiche statistiche delle tue sequenze di parole e le classifica. Se i tuoi modelli di scrittura in inglese, forse influenzati da un'istruzione formale che enfatizza certe frasi e strutture accademiche, si sovrappongono ai modelli che il modello associa a testi generati da AI, il punteggio può risultare più alto di quanto ti aspetti.

Le FAQ elencano le caratteristiche del testo soggette a falsi positivi:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (A volte i falsi positivi, ovvero la segnalazione errata di testi scritti da esseri umani come generati da AI, possono includere contenuti senza molta variazione strutturale, testi che si ripetono letteralmente o testi che sono stati parafrasati senza sviluppare nuove idee.)

La frase successiva: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Se il nostro indicatore mostra una quantità maggiore di scrittura AI in tali testi, ti consigliamo di tenerne conto quando esamini la percentuale indicata.)

Alcune di queste caratteristiche possono essere più comuni nella scrittura accademica di chi scrive in una seconda lingua. Chi non è madrelingua spesso impara l'inglese attraverso template strutturati e frasi accademiche ripetitive, il che può produrre una scrittura con meno variazione strutturale. Connettivi come "moreover", "furthermore" e "in addition" vengono insegnati come connettori standard, e il loro uso ripetuto può produrre quel tipo di struttura uniforme descritta nelle FAQ. Questo non significa che la scrittura di chi apprende una seconda lingua venga sempre segnalata. Significa che le caratteristiche associate ai falsi positivi possono sovrapporsi ai modelli comuni nella scrittura di una seconda lingua appresa attraverso un'istruzione formale. Se la soluzione sia scrivere in modo diverso è una questione a parte: dovresti cambiare il tuo modo di scrivere per evitare di essere segnalato.

C'è un'altra cosa che gli studenti internazionali dovrebbero sapere. Le FAQ affermano: "only instructors and administrators are able to see the indicator" (solo docenti e amministratori possono vedere l'indicatore). Gli studenti non possono controllare il proprio punteggio AI. Le FAQ continuano: "However, with the PDF download feature, instructors can download and share the AI report with students" (tuttavia, con la funzione di download PDF, i docenti possono scaricare e condividere il report AI con gli studenti). Se sei preoccupato per il tuo punteggio, l'unico modo per vederlo è chiedere al tuo docente di condividere con te il report PDF. Non puoi eseguire lo stesso controllo da solo attraverso un account studente. Una volta ottenuto il PDF, il passo successivo è come leggere un report di scrittura AI di Turnitin.

Per riassumere quanto abbiamo trattato:

• Turnitin afferma che i suoi dati di addestramento includevano apprendenti di una seconda lingua per ridurre al minimo i pregiudizi, ma non fornisce numeri per verificare questa affermazione.
• Il rilevatore legge i modelli di probabilità delle parole indipendentemente da chi ha scritto il testo o quale sia la sua lingua madre.
• Le caratteristiche soggette a falsi positivi, come la bassa variazione strutturale, possono sovrapporsi ai modelli comuni nella scrittura accademica di chi scrive in una seconda lingua.
• Gli studenti non possono vedere il proprio punteggio AI. Solo i docenti possono farlo, ma possono condividere il PDF.
• Il punteggio AI e il punteggio di similarità sono misurazioni indipendenti.

Se hai un report Turnitin che mostra quali passaggi sono stati segnalati, importa il report e lavora su quei passaggi specifici. I passaggi ammissibili possono essere rieseguiti senza costi aggiuntivi.