Turnitin mi ha segnalato l'intera sezione metodologica

Perché il punteggio non arriva alle tue sentence una per una. La descrizione pubblicata di Turnitin dice che una sottomissione viene tagliata in segmenti sovrapposti, ogni segmento riceve una probabilità, e ogni sentence qualificata eredita il punteggio dei segmenti in cui si trova. Dai in pasto al sistema un tratto di scrittura che mantiene lo stesso registro, le stesse strutture frasali e lo stesso vocabolario per duemila parole, e i segmenti vicini avranno poco su cui dissentire. Le evidenziazioni tenderanno quindi ad arrivare come una fascia, non come punti sparsi. Il metodo e i materiali sono la sezione scritta apposta in quel modo, e il resoconto ufficiale di Turnitin su dove si concentrano i suoi falsi positivi elenca due proprietà che il genere deve avere per convenzione. Questo non significa che il numero sia sbagliato. Significa che un muro rosso su una sezione non sono quaranta verdetti separati su quaranta sentence, e leggerlo come se lo fosse ti porterà a cercare di aggiustare la cosa sbagliata.

Quello che la gente descrive è specifico e ha sempre la stessa forma. La review della letteratura è pulita. La discussione è pulita. Poi si apre il capitolo dei metodi e le evidenziazioni partono dalla prima sentence sotto il titolo e non si fermano finché non finisce il capitolo. Sembra meno un modello che trova passaggi sospetti e più un modello che trova un capitolo sospetto, ed è per questo che guardarlo fa così tanta paura.

Turnitin pubblica come si arriva a un punteggio per sentence, e vale la pena leggere le due sentence al centro di quella descrizione piuttosto che il riassunto:

"Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score." (Ogni sentence qualificata all'interno di questi segmenti eredita il punteggio del segmento. Poiché i segmenti si sovrappongono, alcune sentence possono avere più punteggi, che vengono poi raggruppati in un unico punteggio.)

Quindi l'unità che viene classificata è una finestra di testo, non una sentence. Una sentence viene valutata in base alla compagnia che tiene. Quello che ne consegue è una nostra interpretazione, non qualcosa che Turnitin pubblica: dove sentence consecutive condividono finestre e le finestre si assomigliano, i punteggi che quelle finestre producono hanno poche ragioni per divergere, e le evidenziazioni che ne derivano escono contigue. Una fascia è la rappresentazione attesa di un tratto uniforme. Non è un conteggio di riscontri indipendenti.

Questo ha un risvolto pratico. La prima sentence evidenziata nel tuo capitolo dei metodi non è necessariamente dove è iniziato qualcosa, perché un segmento che attraversa il titolo contiene l'ultimo paragrafo di qualunque cosa ci fosse prima. La gente passa tempo reale a fissare la prima sentence segnalata cercando di capire cosa ci sia di sbagliato in quella specificamente. Secondo la descrizione pubblicata, potrebbe non esserci niente di sbagliato in quella specificamente.

Significa anche che l'aritmetica a cui la gente ricorre non esiste. Non puoi dividere una fascia per le sue sentence e ottenere un costo per sentence, e non puoi sottrarre una sentence e prevedere cosa succede. Abbiamo smontato quello contro le tre versioni più circolate in Se riscrivo una sentence segnalata, il punteggio scende.

Il limite onesto di tutto questo: Turnitin ha pubblicato la forma della pipeline, non la funzione di pooling, l'aggregazione o la lunghezza del segmento. Tutto quello sopra è ciò che la descrizione pubblicata implica sulla distribuzione. Nulla di tutto questo permette a chiunque di prevedere un numero.

La seconda cosa da stabilire è il denominatore, perché due capitoli metodologici che contengono le stesse informazioni possono presentare al modello quantità di testo completamente diverse. Turnitin analizza solo quello che chiama testo qualificante:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." La sentence subito dopo è quella che conta qui: "This percentage is not necessarily the percentage of the entire submission." (Questo testo qualificante include solo sentence in prosa, il che significa che analizziamo solo blocchi di testo scritti in sentence grammaticali standard e non includiamo altri tipi di scrittura come elenchi, punti elenco (strutture brevi non sentence), o altre strutture non sentence. Questa percentuale non è necessariamente la percentuale dell'intera sottomissione.)

Ora guarda come la tua disciplina scrive effettivamente questa sezione. Un protocollo di laboratorio umido arriva come passaggi numerati, una tabella di reagenti, un elenco di strumenti e un blocco di impostazioni. Un capitolo metodologico di psicologia o educazione arriva come paragrafi continui: partecipanti, materiali, procedura, analisi, ognuno una sequenza di sentence complete. Quelle sono due sottomissioni diverse per quanto riguarda l'analisi, e la seconda è quella che torna indietro solida.

C'è una conseguenza controintuitiva nella riga centrale. Essere esclusi dal testo qualificante non è uno sconto. Rimuove i passaggi numerati e le tabelle di valori, che non avrebbero mai avuto l'aspetto di prosa generata, e lascia indietro la parte della tua scrittura che è più convenzionale. Più stretto è il campione qualificante, più completamente il numero è una dichiarazione sui tuoi paragrafi procedurali specificamente.

Un'esclusione va nell'altra direzione e vale la pena saperla perché rimuove un falso allarme comune: la stessa nota di rilascio del 2023 registra che le evidenziazioni all'interno di una bibliografia erano un bug, che le bibliografie sono ora escluse quando l'AI writing report viene elaborato, e che le sottomissioni con sezioni di riferimento evidenziate hanno bisogno di essere risottomesse per essere rielaborate. Se stai guardando un vecchio rapporto con la lista dei riferimenti illuminata, è quello che stai guardando.

Il divario tra il numero e la quantità di evidenziazioni sulla pagina deriva da tutto questo, e Turnitin lo dice direttamente piuttosto che lasciarlo dedurre. Come leggere un AI writing report di Turnitin analizza quel divario; Turnitin può controllare un'intera tesi copre cosa succede ai limiti di lunghezza, che è dove vivono le sottomissioni a livello di capitolo.

Turnitin pubblica un resoconto di ciò che i suoi falsi positivi tendono ad avere in comune. Testualmente:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (A volte i falsi positivi (che segnalano erroneamente testo scritto da umani come generato da AI), possono includere contenuti senza molta variazione strutturale, testo che si ripete letteralmente, o testo che è stato parafrasato senza sviluppare nuove idee.)

La sentence dopo non è affatto rivolta a te:

"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Se il nostro indicatore mostra una quantità maggiore di scrittura AI in tale testo, ti consigliamo di tenerne conto quando guardi la percentuale indicata.)

Due dei tre elementi in quell'elenco descrivono cose che una sezione metodologica dovrebbe fare. La variazione strutturale è ciò che una checklist di reporting passa il tempo a rimuovere: la stessa struttura per ogni misurazione, lo stesso ordine di sottosezioni, la stessa costruzione per ogni strumento così che due procedure descritte in modo identico possano essere confrontate. La ripetizione letterale è come segnali che due condizioni sono state effettivamente gestite nello stesso modo. Questa è l'unica sezione di una tesi dove scrivere la stessa forma di sentence undici volte è corretto, ed è anche la sezione dove farlo è costoso da annullare. Cosa puoi e non puoi riformulare in sicurezza lì è un problema separato con le sue regole, in cosa puoi riformulare nei metodi e risultati, e la domanda più ampia se aggiustare affatto la tua scrittura è in dovresti cambiare come scrivi.

Molto del panico in questa situazione viene da un auto-controllo piuttosto che da un rapporto istituzionale: il capitolo viene incollato in qualcosa, o sottomesso da solo a un compito di controllo bozza, e torna indietro con un numero che nessuno vuole vedere.

Turnitin descrive le sottomissioni brevi che si comportano in modo diverso nel tipo, non solo nel grado:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." E la sentence che segue: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Nei documenti più brevi dove ci sono solo poche centinaia di parole, la previsione sarà per lo più 'tutto o niente' perché stiamo predicendo su un singolo segmento senza l'opportunità di sovrapposizione. Questo significa che qualche testo che è un misto di contenuto generato da AI e originale potrebbe essere segnalato come interamente generato da AI.)

Un capitolo metodologico sottomesso da solo è un candidato per quella zona, e più di quanto il suo conteggio di parole suggerisca, perché i passaggi numerati e le tabelle escono dal denominatore per primi. C'è anche un pavimento sotto: un AI writing report ha bisogno di almeno 300 parole di prosa in un formato lungo, quindi una sezione metodologica breve da sola potrebbe non produrre nessun rapporto piuttosto che uno basso. E sotto la soglia di visualizzazione non c'è nulla da leggere: risultati sopra lo 0% e sotto il 20% sono mostrati come un asterisco senza numero e senza evidenziazioni, il che significa che un miglioramento reale e nessun miglioramento appaiono identici da dove sei.

È allettante prendere il meccanismo sopra e trattarlo come un riscontro a tuo favore. Non lo è. Tutto in questa pagina spiega di cosa è misurazione il numero. Nulla di questo è evidenza su chi ha scritto il tuo capitolo, e taglia entrambi i lati: una fascia sulla tua sezione metodologica non è prova di nulla, e nemmeno una spiegazione del perché le fasce accadono.

"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." La sentence successiva è dove sta il peso: "It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (Il nostro modello di rilevamento scrittura AI potrebbe non essere sempre accurato (potrebbe identificare erratamente testo scritto da umani, generato da AI e parafrasato da AI), quindi non dovrebbe essere usato come unica base per azioni avverse contro uno studente. Occorre ulteriore scrutinio e giudizio umano congiuntamente all'applicazione da parte di un'organizzazione delle sue specifiche politiche accademiche per determinare se si è verificata una condotta accademica scorretta.)

• Una fascia è una distribuzione, non un conteggio. Ti dice che i punteggi del modello erano uniformi su quel tratto. Non ti dice quanto fosse sicuro nessuno di essi.
• La percentuale riguarda la prosa qualificante, quindi non è comparabile tra due capitoli strutturati diversamente, e sommare le percentuali dei capitoli produce un numero che non si riferisce a nulla.
• Il rapporto è generato da un sistema che il suo stesso fornitore dice può identificare erroneamente il testo, che è una ragione per una persona di guardare piuttosto che una ragione per scartare l'output.
• Nulla di questo è verificabile da te nella maggior parte delle configurazioni. L'indicatore e il rapporto non sono visibili agli studenti, anche se un istruttore può scaricare il rapporto come PDF e condividerlo.

Non portare questo articolo in una riunione come argomento. Spiegare un classificatore a qualcuno che ha già letto le stesse pagine di aiuto tende a sembrare preparazione piuttosto che una risposta, e sposta la conversazione su un terreno dove stai discutendo di un modello invece che del tuo lavoro. Quello che conta davvero è la provenienza: bozze, il protocollo, il file di analisi, le date. Segnalato, ma l'hai scritto tu copre quale evidenza vale la pena assemblare, la conversazione dopo una segnalazione AI copre come è proceduralmente la riunione, e la cronologia versioni come evidenza copre dove vive il record se non ci hai pensato prima.

A volte la decisione è già stata presa, da un supervisore o da te, e la domanda diventa come farlo senza rompere nulla. I metodi sono la sezione peggiore in una tesi da riformulare casualmente. Ordine, tempismo, dose, attrezzature, impostazioni, regole di decisione, popolazione di analisi ed esclusioni sono il contenuto, e una sentence fluente che lascia cadere silenziosamente uno di questi è un difetto reale dove una sentence rigida non lo era.

Il costo che la gente sottovaluta non è la riscrittura. È la riverifica. Ogni paragrafo che viene toccato è un paragrafo che ora devi leggere contro il protocollo, il codice di analisi e le tabelle. Un piano che tocca un intero capitolo ha creato un lavoro di correzione di bozze delle dimensioni di un capitolo, ecco perché l'ambito del cambiamento conta più del metodo usato per farlo.

Questa è la parte intorno a cui è costruito HumanPen. Importa l'AI Writing Report di Turnitin o iThenticate per quella sottomissione e i passaggi che segna diventano l'ambito: solo quel testo viene riscritto, tutto il resto è congelato, e la descrizione del sito stesso della regola del paragrafo è che "a paragraph is the smallest unit the engine rewrites: if your selection covers only part of one, it is expanded to the full paragraph and shown that way for you to confirm" (un paragrafo è l'unità più piccola che il motore riscrive: se la tua selezione copre solo parte di uno, viene espanso al paragrafo completo e mostrato in quel modo per te per confermare). Formule, figure e strutture tabelle non fanno parte della riscrittura del testo, il che conta più in questa sezione che in qualsiasi altra parte del documento. La fatturazione conta le parole effettivamente riscritte piuttosto che il file che hai caricato. I risultati eleggibili possono continuare ad abbassare l'AI gratuitamente.

Quello che niente di questo è, è una previsione. Il modello di Turnitin cambia, le regole di visualizzazione sono cambiate prima, e non abbiamo modo di dirti cosa dirà il tuo prossimo rapporto. Le affermazioni sopra riguardano quali parole vengono toccate e quali vengono fatturate, che sono le due cose che possiamo effettivamente controllare.

Perché la mia intera sezione metodologica è evidenziata quando ho scritto ogni parola? Perché l'unità di classificazione è un segmento sovrapposto, non una sentence, e le sentence ereditano e raggruppano i punteggi dei segmenti che le contengono. Un lungo tratto scritto in un registro dà ai segmenti adiacenti poco da differenziare, quindi l'output tende a essere continuo. Questa è una descrizione di come si forma una fascia, non una dichiarazione che la tua fascia particolare è un falso positivo.

Un blocco solido di evidenziazioni significa che ogni sentence è stata giudicata come AI? No, e la descrizione pubblicata è la ragione. Una sentence porta un punteggio che ha ereditato dai segmenti in cui si trova, possibilmente più di uno, raggruppati. Leggere una fascia come una lista di verdetti individuali è l'errore che porta a piani di editing sentence per sentence.

La mia sezione metodi è per lo più passaggi numerati e una tabella di parametri. Perché la percentuale è ancora alta? Quelle potrebbero non essere affatto nell'analisi. Turnitin analizza il testo qualificante, cioè prosa scritta in sentence grammaticali standard, e afferma che la percentuale non è necessariamente la percentuale dell'intera sottomissione. Escludere i passaggi e le tabelle lascia i paragrafi convenzionali dietro come il campione che il numero descrive.

Dovrei aggiungere varietà alla mia sezione metodi così sembra meno ripetitiva? Questa è una domanda sugli standard di reporting della tua disciplina prima di essere una domanda su un rilevatore, e la ripetizione in una sezione metodi di solito sta facendo un lavoro. Il consiglio stesso del fornitore sul testo con queste proprietà è rivolto alla persona che legge il rapporto, non alla persona che l'ha scritto.

Ho fatto passare il capitolo attraverso un controllore da solo e ho ottenuto un numero molto alto. È quel numero che vede il mio supervisore? Non necessariamente, perché è una sottomissione diversa. Turnitin dice che le previsioni su documenti di poche centinaia di parole escono per lo più tutto o niente, dato che c'è un singolo segmento senza sovrapposizione, e che contenuto misto in quella situazione può essere segnalato come interamente generato da AI. Un capitolo è anche un denominatore diverso da un intero file.

Posso citare l'elenco dei falsi positivi del fornitore come difesa? È una dichiarazione pubblicata sulle modalità di errore dello strumento ed è rivolta a chiunque legga la percentuale, quindi è giusto sapere che esiste. Non è evidenza sul tuo documento, e portare un meccanismo in una conversazione sulla condotta scorretta come argomento tende a lavorare contro di te. Porta le bozze e il protocollo.