O que uma taxa de falso positivo de 1% significa quando uma universidade envia 75.000 trabalhos

A taxa de falso positivo é uma característica de uma população, não do seu trabalho. A Vanderbilt University colocou números nisso em agosto de 2023: tinha enviado 75.000 trabalhos ao Turnitin em 2022, então, se o detector de IA estivesse em funcionamento naquela época, uma taxa de falso positivo de 1% significaria "around 750 student papers could have been incorrectly labeled" (cerca de 750 trabalhos de estudantes poderiam ter sido classificados incorretamente). A universidade desativou o detector. Duas condições acompanham essa frase e ambas somem nas versões que circulam: o detector não estava em funcionamento em 2022, por isso a fonte diz "se", e o próprio número de 1% do fornecedor vem com uma qualificação que a frase seguinte da mesma fonte descarta.

O Office of Learning and Innovation da Vanderbilt publicou em 16 de agosto de 2023 um post intitulado "Guidance on AI Detection and Why We're Disabling Turnitin's AI Detector" (Orientação sobre detecção de IA e por que estamos desativando o detector de IA do Turnitin). A decisão está declarada sem rodeios: "Vanderbilt has decided to disable Turnitin's AI detection tool for the foreseeable future." (A Vanderbilt decidiu desativar a ferramenta de detecção de IA do Turnitin por tempo indeterminado.)

O trecho que vale a pena guardar é este cálculo:

"At the time of launch, Turnitin claimed that its detection tool had a 1% false positive rate (Chechitelli, 2023). To put that into context, Vanderbilt submitted 75,000 papers to Turnitin in 2022. If this AI detection tool was available then, around 750 student papers could have been incorrectly labeled as having some of it written by AI." (No lançamento, o Turnitin afirmou que sua ferramenta de detecção tinha uma taxa de falso positivo de 1% (Chechitelli, 2023). Para contextualizar, a Vanderbilt enviou 75.000 trabalhos ao Turnitin em 2022. Se essa ferramenta de detecção de IA estivesse disponível naquela época, cerca de 750 trabalhos de estudantes poderiam ter sido classificados incorretamente como tendo parte escrita por IA.)

Não há nada de elaborado aí. É um por cento de setenta e cinco mil. Mas transforma uma porcentagem em um número de documentos, e essa conversão é a razão pela qual taxas de erro são difíceis de compreender.

Agora releia a segunda frase, a partir da palavra if. O detector não estava em funcionamento quando aqueles 75.000 trabalhos foram enviados, que é o que "if this AI detection tool was available then" quer dizer. Então 750 não é uma contagem de algo que aconteceu na Vanderbilt ou em qualquer outro lugar. É apenas um por cento do volume anual real de uma universidade escrito por extenso. Essa é uma afirmação mais modesta do que aquela para a qual o número costuma ser convocado, e muito mais fácil de defender.

Para um fornecedor, um em cem é uma especificação técnica. Para uma instituição, é uma carga anual de casos. Para você, não é nenhum dos dois — você é um documento só, e a taxa não diz nada sobre se o seu é esse um.

Esse último ponto vale nos dois sentidos, e é aqui que as pessoas exageram em ambas as direções:

• Não significa que sua marcação provavelmente está errada. Uma taxa de erro de 1% em trabalhos escritos por humanos é perfeitamente compatível com a maioria dos trabalhos marcados estarem corretamente sinalizados, dependendo de quantos foram assistidos por IA desde o início.
• Isso significa que "a ferramenta tem 99% de precisão, então você deve ter usado" não é um argumento válido. Uma taxa descreve uma população; ela não pode indicar qual membro dessa população está diante de você. E um por cento de um ano com 75.000 trabalhos são centenas de documentos, então estar nessa faixa é algo comum, não exótico. Centenas de documentos não são centenas de acusações, porém, e a distância entre essas duas coisas é onde vivem a maioria das versões distorcidas desse argumento.

A postura útil não é "o detector está quebrado" nem "o detector está certo". É que uma estatística populacional não pode julgar um caso individual, e o próprio fornecedor concorda por escrito: o FAQ dele instrui os professores a não tratar a porcentagem do indicador de escrita por IA como "the sole basis for action or a definitive grading measure" (a única base para ação ou uma medida definitiva de avaliação).

Aqui vai um detalhe importante se você algum dia for citar o número de 1% para alguém.

O FAQ do Turnitin declara o seguinte: ele se esforça para manter sua taxa de falso positivo — "incorrectly identifying fully human-written text as AI-generated" (identificar incorretamente texto totalmente escrito por humano como gerado por IA) — "under 1% for documents with over 20% of AI writing." (abaixo de 1% para documentos com mais de 20% de escrita por IA.)

Para documentos com mais de 20% de escrita por IA. Esse é um limite considerável para a alegação, e ele não sobrevive à própria reformulação do fornecedor uma frase depois, que diz: "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (Em outras palavras, podemos marcar um documento escrito por humano como escrito por IA em um a cada 100 documentos totalmente escritos por humanos.)

As duas frases não são equivalentes, e é a segunda que circula. Se você usar o número, use a versão com a qualificação — em parte porque é precisa, e principalmente porque alguém do outro lado da mesa pode saber que a qualificação existe.

O post é de agosto de 2023. Parte dele é aritmética, que não envelhece. Parte é uma alegação sobre o que o fornecedor havia publicado, que envelhece. Separar essas coisas antes de citar qualquer coisa é a maior parte do trabalho.

A aritmética é segura de repetir, com o if incluso. Um por cento de um grande volume de submissões é um número grande de documentos, e nada desde 2023 muda isso.

A preocupação com escritores de inglês não nativo é segura de repetir, e ela não se apoia neste post em absoluto. Há pesquisa por trás disso, e passamos pelo que essa pesquisa realmente mediu em Viés de detectores de IA contra escrita em inglês não nativo.

A reclamação sobre transparência é a que você deve verificar antes de repetir. A Vanderbilt escreveu que "Turnitin gives no detailed information as to how it determines if a piece of writing is AI-generated or not" (O Turnitin não fornece informações detalhadas sobre como determina se um texto foi gerado por IA ou não). O FAQ de hoje descreve como uma pontuação é montada: frases são extraídas e segmentadas em seções sobrepostas, cada segmento é classificado e recebe um valor entre 0 e 1, frases qualificadas herdam a pontuação do seu segmento, pontuações sobrepostas são agrupadas, e as pontuações de frase agrupadas são agregadas em uma pontuação do documento. Afirmar em uma reunião que nada jamais foi publicado sobre como funciona e alguém pode colocar esse parágrafo na sua frente.

Mas leia a frase que o segue no post antes de decidir que a objeção foi respondida, porque a objeção é mais estreita do que "digam-nos como funciona". A reclamação é que a ferramenta "looks for patterns common in AI writing, but they do not explain or define what those patterns are" (procura padrões comuns na escrita por IA, mas não explica nem define quais são esses padrões). Uma descrição de como as pontuações dos segmentos são combinadas não é uma descrição dos padrões. O mecanismo publicado e a objeção publicada tratam de duas perguntas diferentes, e ambos podem ser citados com precisão no mesmo dia.

O que não podemos dizer é quando esse trecho do FAQ apareceu pela primeira vez. Não datamos o documento, então nada acima deve ser lido como se o fornecedor tivesse publicado isso em resposta a este post.

Mais uma qualificação, e essa pertence à Vanderbilt. O post descreve o recurso como chegando com "less than 24-hour advance notice, no option at the time to disable the feature" (menos de 24 horas de aviso prévio, sem opção na época de desativar o recurso). At the time (na época) está na frase original. Cite isso sem essas três palavras e você transformou uma declaração sobre o lançamento em uma alegação permanente sobre o produto. É o mesmo movimento de tirar "over 20%" do número de 1%, só que feito pelo outro lado do argumento.

1. Cite a data. "Em 2023, a Vanderbilt desativou a ferramenta e publicou este raciocínio" é verificável e defensável. "As universidades abandonaram a detecção de IA" não é nenhum dos dois.
2. Diga o que a aritmética está ilustrando. Ela circula porque qualquer um pode refazê-la com o volume da própria instituição, e faz um ponto real: uma porcentagem pequena ainda produz uma carga de casos que alguém precisa revisar de forma justa. O que ela não faz é estimar acusações. Nem toda submissão é elegível para uma pontuação, ninguém fora da instituição sabe quanto uso de IA realmente houve, e uma marcação não precisa virar uma acusação. Desmontamos isso com mais detalhe em 20% de IA é demais?.
3. Não afirme que isso prova algo sobre o seu documento. Isso estabelece que ser marcado por engano é um evento comum em escala, que é uma alegação diferente e mais modesta.
4. Verifique se sua própria instituição publicou alguma coisa. Procure na política de integridade acadêmica e no que o centro de ensino e aprendizagem produz, não apenas na página de notícias. Uma declaração local supera uma distante em qualquer conversa que você provavelmente terá.
5. Mantenha isso fora da sua abertura. Processo e procedência convencem primeiro; estatísticas são o que você busca quando alguém argumenta que o número é evidentemente conclusivo.

Se usa, o relatório diante de você é o que importa, mais do que qualquer coisa acima. Do que a porcentagem é uma estatística, e por que os destaques e o número podem discordar, é outro tópico, coberto em lendo o relatório de escrita por IA linha por linha.

O HumanPen só entra no ponto em que trechos específicos estão marcados e alguns deles precisam ser alterados: o relatório estabelece o limite, e os parágrafos não marcados mantêm a redação que você já tem.

Nada disso é resposta a um falso positivo. Se sua posição é que você escreveu, reescrever é o movimento errado, e o que realmente convenceu revisores é um assunto inteiramente diferente: as evidências que fizeram um painel mudar de ideia.

Uma taxa de falso positivo de 1% significa que minha marcação provavelmente está errada? Não. É uma taxa em toda uma população de documentos escritos por humanos e não diz nada sobre um caso individual. Significa que, no volume institucional, trabalhos marcados por engano são uma ocorrência comum, não um evento raro.

De onde vem o número 750? Do próprio post da Vanderbilt de 16 de agosto de 2023, aplicando o número de 1% aos 75.000 trabalhos que enviou ao Turnitin em 2022. Observe o condicional: o detector não estava em funcionamento em 2022, então a frase diz "if this AI detection tool was available then". Mostra como um por cento do volume daquela universidade se parece escrito por extenso. Não é um registro de 750 trabalhos marcados por engano, e não é uma previsão para a instituição de ninguém mais.

A alegação de 1% é incondicional? Não. O alvo declarado do Turnitin é abaixo de 1% "for documents with over 20% of AI writing". A própria reformulação na frase seguinte descarta essa qualificação, que é por isso que a versão sem qualificação circula.

As universidades geralmente desativaram a detecção de IA? Isso não é algo que esta fonte apoia. Ela documenta a decisão de uma instituição em 2023, com seu raciocínio. Se sua instituição usa é uma pergunta local com uma resposta local.