A Turnitin publica duas taxas diferentes de falsos positivos. A das frases é de 4%.

Se você está diante de um relatório em que algumas frases foram sinalizadas, os 4% são a chance de que qualquer uma dessas frases marcadas tenha sido escrita por um ser humano. A marcação naquela frase específica pode estar errada, e "cerca de 4%" é a frequência com que isso acontece. É um número por frase, não por documento, e um não pode ser deduzido do outro.

A Chief Product Officer da Turnitin, Annie Chechitelli, descreveu isso assim em junho de 2023:

"Our sentence-level false positive rate is around 4%. This means that there is a 4% likelihood that a specific sentence highlighted as AI-written might be human-written. The incidence for this is more common in documents that contain a mix of human- and AI-written content, particularly in the transitions between human- and AI-written content." (A nossa taxa de falsos positivos por frase é de cerca de 4%. Isso significa que há 4% de probabilidade de que uma frase específica marcada como escrita por IA tenha sido escrita por um ser humano. A ocorrência é mais comum em documentos que misturam conteúdo escrito por seres humanos e por IA, sobretudo nas transições entre um e outro.)

Os 4% referem-se a uma frase que já está marcada. Dizem algo sobre a precisão de uma marcação individual, não sobre quantas marcações você verá em um documento inteiro.

Para documentos, a Turnitin publica uma taxa separada, mais baixa:

"Our document false positive rate - incorrectly identifying fully human-written text as AI-generated within a document- is less than 1% for documents with 20% or more AI writing." (A nossa taxa de falsos positivos por documento, ou seja, identificar incorretamente, dentro de um documento, um texto totalmente escrito por um ser humano como gerado por IA, é inferior a 1% para documentos com 20% ou mais de escrita por IA.)

Duas coisas chamam atenção. De um lado, a taxa descreve um documento inteiro sendo marcado por engano como portador de texto de IA quando na verdade foi escrito inteiramente por um ser humano. De outro, o número abaixo de 1% está condicionado especificamente a documentos que contêm 20% ou mais de escrita por IA, ou seja, documentos mistos em que há texto de IA de fato presente.

Aqui está a parte fácil de errar, e que merece precisão: nenhum dos dois números publicados foi definido para um trabalho que você escreveu inteiramente sozinho.

Os 4% são descritos como uma característica de documentos mistos, "particularly in the transitions between human- and AI-written content." (sobretudo nas transições entre conteúdo escrito por seres humanos e conteúdo escrito por IA). Um trabalho sem texto de IA não tem essas transições, portanto o cenário ao qual a Turnitin associa os 4% não descreve a sua situação.

Mas o valor abaixo de 1% também não entra para cobrir você. Leia de novo a própria redação dele: é "less than 1% for documents with 20% or more AI writing." (inferior a 1% para documentos com 20% ou mais de escrita por IA). Esse número carrega uma condição, e um documento sem escrita por IA não a cumpre.

Portanto os dois números têm um escopo, e um trabalho totalmente humano fica fora dos dois. Vale saber disso antes que alguém lhe jogue um deles como se a questão estivesse resolvida.

A Turnitin divulgou um dado específico sobre onde essas frases marcadas por engano aparecem:

"As explained in my earlier article, there is a correlation between these sentences and their proximity in the document to actual AI writing. 54% of the time, these sentences are located right next to actual AI writing." (Como expliquei no meu artigo anterior, há uma correlação entre essas frases e a proximidade delas, no documento, em relação à escrita por IA de fato. Em 54% dos casos, essas frases estão localizadas logo ao lado de escrita por IA de fato.)

"Essas frases" refere-se aos falsos positivos: as frases escritas por um ser humano que mesmo assim foram marcadas. Mais da metade delas fica imediatamente ao lado de texto escrito de fato por IA. Isso combina com a afirmação anterior de que as transições entre escrita humana e escrita por IA são onde os falsos positivos se concentram.

E é por isso que a estatística aponta na direção oposta no seu caso. Se as marcações estão espalhadas por um trabalho em que não há texto de IA em lugar nenhum, o mecanismo que a Turnitin descreve aqui não é o que as está produzindo. É uma descrição de onde os erros dela se concentram em documentos mistos, e nada mais.

O mesmo post deixa claro que um destaque é um ponto de partida, não uma constatação, e diz isso aos professores, que são exatamente quem você quer que leia:

"Consider highlighted sentences as areas of interest because they're predicted to be close to where AI writing is present. But a small percentage of times, the AI model could get it wrong. So, use the information to initiate a conversation, not to draw a conclusion." (Considere as frases destacadas como áreas de interesse, porque a previsão é que estejam perto de onde há escrita por IA. Mas em uma pequena porcentagem das vezes o modelo de IA pode errar. Portanto, use a informação para iniciar uma conversa, não para chegar a uma conclusão.)

Também descarta aquilo com que os estudantes mais vezes imaginam estar sendo medidos. Não existe um número que você deva atingir:

"Remember that there is no 'right' or 'target' score with the AI writing indicator, just like with a Similarity Score." (Lembre-se de que não existe uma pontuação "correta" nem uma pontuação "alvo" no indicador de escrita por IA, assim como no Similarity Score.)

Nada disso lhe diz se você está em apuros, porque nenhum número publicado diz. O que isso lhe dá é uma forma de manter a conversa no próprio relatório, e não em uma porcentagem.

• Pergunte quais trechos são, e peça o relatório em vez de uma captura de tela. Duas frases destacadas e um número por documento são objetos diferentes. Os destaques são a única parte com uma localização que você pode apontar.
• Pergunte qual número estão lhe citando e leia a condição dele em voz alta. O valor abaixo de 1% traz "for documents with 20% or more AI writing" (para documentos com 20% ou mais de escrita por IA) na própria frase. Se essa condição não descreve o seu trabalho, diga isso.
• Leve com você a orientação da própria Turnitin. Ela diz aos professores para usarem um destaque para começar uma conversa, não para chegar a uma conclusão. Essa frase é dirigida à pessoa que tem o seu relatório na mão, e está citada acima palavra por palavra.
• Guarde o que mostra como o trabalho foi escrito — rascunhos, histórico de versões, anotações, as leituras que você fez. Isso é prova de autoria. Uma porcentagem não é.