O canal oficial: como comunicar um falso positivo ao Turnitin

A maior parte dos conselhos sobre falsos positivos do Turnitin segue um único caminho: recorra ao seu professor e, depois, leve o caso ao seu departamento ou ao escritório de integridade acadêmica. Esse caminho trata da sua nota. Mas existe um segundo caminho que quase nenhum outro artigo menciona, e ele vai diretamente ao Turnitin.

A própria documentação do Turnitin inclui um canal de feedback. Eles dizem isso sem rodeios: «If you find AI written documents that we've missed, or notice authentic student work that we've predicted as AI-generated, please let us know! Your feedback is crucial in enabling us to improve our technology further.» (Se você encontrar documentos escritos com IA que tenham passado despercebidos por nós, ou notar um trabalho autêntico de um estudante que tenhamos classificado como gerado por IA, informe-nos! O seu feedback é fundamental para nos permitir continuar melhorando a nossa tecnologia.)

É um convite direto da equipe que constrói o detector. Pedem dois tipos de feedback: texto de IA que não detectaram (falsos negativos) e texto humano que sinalizaram como IA (falsos positivos). Os dois sentidos importam, porque os dois melhoram o modelo.

Destacamos isso porque os conselhos práticos param quase sempre no nível da instituição. Você recorre ao seu professor, reúne provas, apresenta o seu caso. Mas o sistema que gerou a pontuação também quer ouvir você. Um canal trata da sua nota, o outro trata de melhorar o sistema em si.

O canal de feedback se aplica em dois cenários, e o Turnitin descreve os dois na mesma frase. O primeiro é quando um trabalho autêntico de um estudante é classificado como gerado por IA. Se o seu texto original recebe uma pontuação de escrita por IA que você considera incorreta, isso é um falso positivo, e o Turnitin quer saber.

O segundo cenário é o inverso: texto escrito com IA que o detector não percebeu. Se você é docente e encontra texto gerado por IA que o Turnitin não sinalizou, esse feedback também pertence ao canal.

Como saber se o seu caso é um provável falso positivo? O Turnitin dá orientações sobre os tipos de texto que costumam provocar falsos positivos: «Sometimes false positives... can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.» (Às vezes, os falsos positivos… podem incluir conteúdo com pouca variação estrutural, texto que se repete literalmente ou texto que foi parafraseado sem desenvolver novas ideias.) Se o texto sinalizado se encaixa em uma dessas descrições, vale a pena incluir esse contexto no seu feedback.

O Turnitin também aconselha: «If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.» (Se o nosso indicador mostrar uma quantidade maior de escrita por IA nesse tipo de texto, aconselhamos que você leve isso em conta ao olhar a porcentagem indicada.) Em outras palavras, se o seu texto é estruturalmente uniforme ou depende muito de paráfrase, a pontuação pode estar inflada, e é exatamente esse o tipo de caso em que faz sentido comunicar o ocorrido ao Turnitin.

Quando você comunicar um falso positivo ao Turnitin, os detalhes concretos ajudam na avaliação do seu caso. Sugerimos que você inclua os seguintes elementos.

Primeiro, identifique o texto e a pontuação que ele recebeu. Anote a porcentagem geral que o Turnitin atribuiu e, se possível, quais seções foram sinalizadas.

Segundo, descreva as características do texto. Se o seu escrito corresponde a um dos padrões de falso positivo que o próprio Turnitin identifica, diga isso. Por exemplo, se a seção sinalizada é uma revisão de literatura que parafraseia várias fontes sem nova análise, indique que ela corresponde à própria descrição do Turnitin: «content without a lot of structural variation» (conteúdo com pouca variação estrutural) ou «text that has been paraphrased without developing new ideas.» (texto que foi parafraseado sem desenvolver novas ideias).

Terceiro, dê contexto sobre o trabalho e sobre o seu processo de escrita. O texto foi muito editado? Você usou ferramentas de correção gramatical que possam ter uniformizado as suas frases? Esse contexto ajuda o Turnitin a entender por que o classificador pode ter lido mal o seu texto.

Quarto, cite a meta da taxa de falsos positivos. O Turnitin afirma: «We strive to maximize the effectiveness of our detector while keeping our false positive rate... under 1% for documents with over 20% of AI writing.» (Nós nos esforçamos para maximizar a eficácia do nosso detector, mantendo a nossa taxa de falsos positivos… abaixo de 1% em documentos com mais de 20% de escrita por IA.) Você não está reclamando de um sistema que se diz perfeito. Você está contribuindo com um sistema que reconhece explicitamente uma taxa de erro pequena, mas real.

A meta do Turnitin para falsos positivos é específica. Eles apontam para menos de 1% em documentos com mais de 20% de escrita por IA, e traduzem isso em palavras simples: «In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents.» (Em outras palavras, podemos sinalizar como escrito por IA um documento escrito por um humano a cada 100 documentos escritos totalmente por humanos.)

Isso significa que, em uma turma de 100 estudantes que entregam trabalho original, um poderia receber um falso positivo. A meta é baixa, mas não é zero. O Turnitin é explícito quanto a essa contrapartida. Para manter a taxa de falsos positivos em 1%, eles aceitam que algum texto de IA passe despercebido: «In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document.» (Para manter essa baixa taxa de 1% de falsos positivos, há a possibilidade de não detectarmos algum texto escrito por IA em um documento.)

E dão um exemplo concreto: «If we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing.» (Se identificarmos que 50% de um documento foi provavelmente escrito por uma ferramenta de IA, ele pode conter até 65% de escrita por IA.) A pontuação informada pode ficar abaixo da proporção real de IA, e essa diferença existe por decisão de projeto.

É por isso que o canal de feedback importa. A meta de 1% significa que os falsos positivos vão acontecer. O sistema é calibrado para errar pelo lado de não sinalizar o texto humano, o que significa que os falsos positivos que ocorrem são esperados. Comunicá-los ajuda o Turnitin a avaliar se a calibração está funcionando ou se há padrões de texto sistematicamente mal classificados.

O canal de feedback existe dentro de um enquadramento mais amplo que o Turnitin ressalta. A documentação deles afirma: «Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student.» (O nosso modelo de detecção de escrita por IA pode não ser sempre preciso (pode identificar mal texto escrito por humanos, gerado por IA e parafraseado por IA), pelo que não deve ser usado como única base para medidas desfavoráveis contra um estudante.)

E continuam: «It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred.» (É necessário um exame mais aprofundado e o julgamento humano, em conjunto com a aplicação pela instituição das suas políticas acadêmicas específicas, para determinar se houve má conduta acadêmica.)

É uma declaração direta da empresa que constrói o detector. A pontuação não é um veredicto. O Turnitin a apresenta como um sinal que precisa ser interpretado por um docente que conhece o estudante e o contexto: «It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy.» (Não se destina a fornecer respostas definitivas de forma isolada. Mais importante do que qualquer ferramenta é o docente que vê a pontuação e toma decisões equilibrando esta informação com o conhecimento pessoal que tem dos seus estudantes, do trabalho deles e da política institucional.)

O uso previsto é claro: «When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended.» (Quando os docentes olham a pontuação de escrita por IA e a utilizam como um dado único, e não como uma resposta definitiva, então ela está sendo usada como previsto.)

Vemos o canal de feedback como parte dessa mesma filosofia. Se a pontuação é um dado único, comunicar um suspeito falso positivo garante que esse dado seja contextualizado e, com o tempo, melhorado. Quando você recorre ao seu professor, trata da situação imediata. Quando comunica ao Turnitin, contribui para a calibração do sistema para todos. Os dois passos importam e servem a propósitos diferentes. Verifique o seu relatório do Turnitin.