20% de IA é demasiado? Por que não existe um limite absoluto

Não existe um corte padrão na indústria, nem uma margem segura aceita, e muito menos algum número da Turnitin dizendo o que conta como excesso. Cada instituição define sua própria prática, e isso varia bastante: algumas tratam qualquer sinal como motivo para conversar com o estudante, outras ignoram o indicador, e a Vanderbilt desativou completamente.

Então a resposta honesta para "20 por cento é alto" é que depende de uma política que você pode ir ler, e não pode ser respondida apenas pelo número. Qualquer artigo que lhe entregue uma porcentagem segura a inventou.

A pergunta também esconde três decisões diferentes. A Turnitin escolhe uma regra de relatório para o que aparece na interface. Uma instituição escolhe uma regra de investigação para quando a equipe revisa uma submissão. Um órgão disciplinar aplica um padrão probatório ao decidir se uma política foi violada. O mesmo número pode estar em todas as três etapas, mas não define nenhuma delas por si só.

Um limite de exibição de 20% não é uma regra de má conduta de 20%. Tratar os dois como intercambiáveis é o erro central por trás da maioria dos conselhos sobre "pontuação segura".

Além disso, dois relatórios com 20% não são necessariamente comparáveis. Um documento pode ser quase inteiramente texto qualificável; outro pode ser dominado por tabelas e anexos. Um pode mostrar um único bloco concentrado; outro pode mostrar passagens dispersas. A porcentagem comprime esses casos diferentes em um único título, então a interpretação começa com o relatório e a política, não com uma tabela de cores universal.

Existe um limite documentado, e é uma regra de exibição. Desde julho de 2024, quando o resultado da Turnitin cai de 1% a 19%, mostra um asterisco e nenhum percentual numérico ou destaques. A Turnitin diz que seus testes encontraram uma incidência maior de falsos positivos na faixa baixa e que ocultar o número reduz a má interpretação.

O asterisco é uma cautela sobre a faixa baixa do modelo. Não significa zero, e não diz a uma instituição que conclusão disciplinar chegar.

Um 20% visível e um 19% oculto caem em lados opostos da regra de interface, mas essa diferença de um ponto não cria um abismo científico. Perto de qualquer limite, pequenas mudanças no modelo ou no texto podem mudar o que o usuário vê. É por isso que um relatório em 20% deve ser lido com contexto em vez de tratado como categoricamente diferente de um asterisco.

Relatórios mais antigos complicam ainda mais a comparação. A mudança não foi retroativa, então uma submissão anterior a 8 de julho de 2024 ainda pode exibir uma pontuação numérica baixa que uma nova submissão ocultaria. Mantenha a data de criação, a versão do detector se disponível e o PDF original ou captura de tela com o registro do caso.

Quando o detector foi lançado em abril de 2023, a Turnitin promoveu uma taxa de falsos positivos no nível do documento de menos de 1 por cento sob suas condições de avaliação. Em junho de 2023, o diretor de produtos da empresa disse à Inside Higher Ed que uma figura de taxa de falsos positivos no nível da frase estava em torno de 4 por cento. Esses números usam unidades diferentes e não devem ser apresentados como uma simples revisão de 1 para 4.

Uma taxa de falsos positivos também precisa de um denominador e de uma população base. O erro no nível da frase pergunta com que frequência frases humanas são rotuladas incorretamente; o erro no nível do documento pergunta com que frequência um documento totalmente humano cruza uma regra de decisão. Nenhum dos dois pode ser multiplicado pelos 200 milhões de artigos revisados pela Turnitin em seu primeiro ano para estimar acusações, porque a mistura de submissões humanas, assistidas por IA, inelegíveis e repetidas é desconhecida.

A Vanderbilt usou suas aproximadamente 75.000 submissões anuais para ilustrar a escala institucional: mesmo uma taxa reivindicada pequena pode implicar muitos casos exigindo revisão justa. Não estabeleceu que exatamente 750 estudantes seriam falsamente acusados. Um sinal pode nunca se tornar uma alegação, e um artigo pode conter muitas frases sem se tornar um documento falso-positivo.

A taxa base importa por outra razão. Se o uso proibido de IA é raro em uma avaliação particular, falsos positivos podem compor uma parte substancial de todos os sinais mesmo quando a especificidade é alta. Se o uso é comum, o mesmo detector pode ter um valor preditivo positivo diferente. Sem conhecer prevalência, sensibilidade, especificidade e o processo de revisão da instituição, uma porcentagem exibida não pode responder "qual é a chance de este estudante ter trapaceado?"

Porcentagem do detector, taxa de falsos positivos e probabilidade de má conduta são três quantidades diferentes. Nenhuma pode ser substituída por outra.

A Turnitin publicou uma análise de erro mais específica de testes que misturavam frases escritas por humanos e por IA: 54 por cento das frases falso-positivas observadas estavam imediatamente ao lado de uma frase escrita por IA, e outras 26 por cento estavam a duas frases de distância.

Nessa avaliação, quatro em cada cinco frases falso-positivas estavam a até duas frases de distância de texto de IA. Isso descreve o comportamento de fronteira em documentos mistos; não mostra onde os falsos positivos caem em um artigo completamente humano, e não deve ser generalizado para cada versão posterior do modelo.

Isso tem uma consequência prática. Em um artigo com algumas passagens assistidas por IA, as frases ao redor delas são as mais prováveis de serem marcadas erroneamente, e uma porcentagem não pode dizer qual é qual. A distribuição pode, que é o argumento para ler o próprio relatório em vez de seu título. A Turnitin também relata uma incidência maior de falsos positivos nas frases de abertura e fechamento de um documento — introduções e conclusões — e mudou como as agrega por causa disso.

É por isso que excluir ou reescrever cada frase destacada não é uma resposta diagnóstica adequada. Algumas frases de fronteira destacadas podem ser humanas; algumas passagens não destacadas podem ser assistidas por IA mas perdidas. O relatório identifica áreas para revisão contextual. A evidência de autoria ainda vem de rascunhos, fontes, declarações de uso permitido e da capacidade do escritor de explicar o trabalho.

• O que minha instituição faz com este número? Muitos o tratam como um motivo para olhar em vez de uma descoberta. A própria Turnitin diz que não determina má conduta.
• Onde estão os sinais? Concentrados em métodos, definições e antecedentes — passagens que deveriam soar formulaicas — significa algo diferente de dispersos por todo seu argumento.
• Quanto do documento foi avaliado? A porcentagem cobre apenas prosa. Um artigo pesado em tabelas, listas ou bibliografia pode ter tido muito menos avaliado do que você pensa.
• Qual estado e data do relatório estou olhando? Asterisco, 0%, pontuação numérica e erro de elegibilidade significam coisas diferentes, e relatórios anteriores a julho de 2024 seguem uma regra de exibição mais antiga.
• Que outra evidência é necessária? Pergunte se os revisores examinam rascunhos, fontes, histórico de versões, escrita anterior e a explicação do estudante em vez de tratar o indicador como suficiente.

Para educadores, escreva este processo antes de usar o recurso: quem pode ver o relatório, o que aciona uma conversa, como os estudantes recebem a evidência, quais acomodações se aplicam e quem toma a decisão final. Para estudantes, peça esse processo escrito e mantenha a submissão original inalterada. Ambos os passos são mais úteis do que debater se 20 é inerentemente "alto."