Acusado de ter usado IA na sua dissertação? O que levar para a reunião

Se foi chamado por causa de uma pontuação de IA do Turnitin na sua dissertação, tem quatro coisas a levar para essa reunião, e nenhuma delas exige que afirme que a ferramenta não funciona. A primeira é uma frase da própria documentação do Turnitin a dizer que uma pontuação de IA não deve ser usada como única base para medidas adversas. A segunda é o próprio relatório, ao qual tem direito. A terceira é o seu histórico de versões. A quarta é outra frase do Turnitin, esta a dizer que, se o seu texto tiver certas características habituais em dissertações, a pontuação elevada deve ser vista com reservas.

Isto é o esqueleto. O resto deste artigo explica de onde vem cada carta, o que faz e o que não faz. Nada aqui ensina a negar o uso de IA. Ensina a transformar a reunião numa conversa sobre provas e procedimento, e não sobre um único número.

A distinção é importante porque o número é precisamente aquilo com que não consegue discutir nos termos dele. Não foi você que o calculou. Não pode inspecionar o modelo. O que pode fazer é pedir a quem o calculou que siga as suas próprias orientações, e levar o material que só você tem.

O guia do relatório de escrita por IA do Turnitin diz:

"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (O nosso modelo de deteção de escrita por IA pode não ser sempre preciso, pois pode identificar mal texto escrito por humanos, gerado por IA e parafraseado por IA, pelo que não deve ser usado como única base para medidas adversas contra um estudante.)

A frase imediatamente a seguir é aquela que fica de fora todas as vezes que esta citação é usada:

"It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (É preciso um exame mais aprofundado e julgamento humano, em conjunto com a aplicação das políticas académicas específicas da instituição, para determinar se houve má conduta académica.)

Leia as duas frases em conjunto. A primeira diz para não usar este número sozinho. A segunda diz o que deve acontecer em vez disso: exame mais aprofundado, julgamento humano e as políticas da própria instituição. Isto não é um estudante a falar. É a empresa que construiu a ferramenta a dizer a quem tem o número na mão que faça mais trabalho antes de tirar uma conclusão.

A página de perguntas frequentes diz o mesmo por outras palavras: "the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." (a percentagem no indicador de escrita por IA não deve ser usada pelos docentes como única base para agir ou como medida definitiva de avaliação.) E uma nota de versão de dezembro de 2023 repete-o: "an AI Writing score should not be used as the sole basis for adverse actions against a student." (uma pontuação de Escrita por IA não deve ser usada como única base para medidas adversas contra um estudante.) Três páginas, a mesma instrução.

Há também uma página separada, intitulada Como devo analisar o relatório de Escrita por IA?, que diz isso de outra forma:

"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (Não se destina a dar respostas definitivas de forma isolada. Mais importante do que qualquer ferramenta é o educador que vê a pontuação e toma decisões ponderando esta informação com o conhecimento pessoal que tem dos seus alunos, do trabalho deles e da política institucional.)

A frase seguinte completa o raciocínio:

"When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended." (Quando os educadores olham para a pontuação de escrita por IA e a utilizam como um único dado, e não como uma resposta definitiva, então ela está a ser usada como previsto.)

É a própria empresa a chamar à sua pontuação um único dado. Não um veredicto. Não uma resposta definitiva. Um único dado. Se a sua reunião começa com um número e não há mais discussão nenhuma, quem a conduz está a usar a ferramenta de uma forma que o fabricante diz que não deve ser usada.

O que esta carta não faz: não diz que o número está errado. Diz que o número sozinho não chega. É uma afirmação mais fraca e, por isso mesmo, mais sólida. Escrevemos mais sobre o que a pontuação diz e não diz em como ler um relatório de escrita por IA do Turnitin.

As perguntas frequentes do Turnitin afirmam duas coisas que lhe interessam mesmo agora:

"Please note, only instructors and administrators are able to see the indicator." (Note que apenas docentes e administradores conseguem ver o indicador.)

E na mesma página:

"The AI writing detection indicator and report are not visible to students." (O indicador e o relatório de deteção de escrita por IA não são visíveis para os estudantes.)

À segunda frase segue-se uma que a altera:

"However, with the PDF download feature, instructors can download and share the AI report with students." (No entanto, com a funcionalidade de descarregamento em PDF, os docentes podem descarregar e partilhar o relatório de IA com os estudantes.)

Junte tudo isto: você não consegue ver a pontuação de IA por si próprio, entrando na plataforma. O seu orientador consegue. E o seu orientador pode descarregar o relatório em PDF e entregar-lho. Se ninguém fez isso, você está sentado numa reunião sobre um número que nunca viu, numa página que nunca abriu.

Por isso o primeiro pedido é simples. Peça o PDF do relatório de escrita por IA. Não uma captura de ecrã da percentagem. O relatório completo, porque o relatório completo mostra onde ficam as marcações, quantas palavras foram analisadas e se a pontuação é um número real ou um asterisco. Percorremos o que cada uma destas coisas significa em fui sinalizado, mas fui eu que escrevi.

Se o número estiver entre 1% e 19%, o Turnitin não apresenta percentagem nenhuma. Mostra um asterisco. Um número reenviado nesse intervalo não é algo que o próprio relatório assuma. Se 20% é sequer um limiar com significado é uma questão à parte, e 20% de IA é demasiado alto? analisa isso.

O que esta carta faz: desloca a conversa de uma afirmação sobre um número para a discussão de um documento que ambos podem ver. O que não faz: não lhe diz qual será o número. Pode muito bem ver uma pontuação alta. Mas pelo menos saberá a que é que ela está associada.

Se escreveu a sua dissertação no Word, no Google Docs ou no Overleaf, a plataforma guardou um histórico de versões. Esse histórico é um registo com data e hora das alterações feitas ao documento ao longo de dias, semanas ou meses. Um rascunho gerado por IA colado de uma só vez tem um aspeto diferente de um documento que foi acumulando edições ao longo de dezenas de sessões.

Esta é a única prova que só você tem. A instituição não tem o seu histórico de versões. O Turnitin não o tem. O seu orientador pode ter visto rascunhos em várias fases, mas provavelmente não tem o registo completo das edições. Você tem.

O que levar:

• O próprio histórico de versões, seja exportado, seja mostrado no ecrã de um portátil.
• O rascunho mais antigo que ainda tenha, mesmo que fosse muito rudimentar.
• Os rascunhos que partilhou com o seu orientador por email ou através de um documento partilhado, com as datas em que foram partilhados.
• Notas, esquemas ou PDFs anotados que produziu enquanto trabalhava na dissertação. São os resíduos de um processo de escrita, e as suas datas desenham um percurso que não se parece com um único evento de geração.

O objetivo não é provar um negativo. Não pode provar que nenhuma IA esteve envolvida em momento algum. O objetivo é mostrar que o documento tem um histórico compatível com ter sido escrito por uma pessoa ao longo do tempo. É uma prova que a pontuação não consegue abordar, porque a pontuação só olha para o texto final.

O que esta carta não faz: não refuta nada. Um histórico de versões pode mostrar que houve edição, e a edição é compatível com um documento redigido por uma pessoa, revisto com feedback e polido antes da submissão. Também é compatível com alguém que colou um rascunho de IA e depois o editou. O que o torna útil é que desloca a pergunta de «este número está certo» para «qual é o aspeto do quadro completo», e o quadro completo é algo que só você pode apresentar.

Esta é a carta que a maioria das pessoas não sabe que tem. A página de perguntas frequentes do Turnitin lista as características do texto que tende a produzir falsos positivos:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Por vezes os falsos positivos, ou seja, sinalizar incorretamente texto escrito por humanos como gerado por IA, podem incluir conteúdo com pouca variação estrutural, texto que se repete literalmente ou texto que foi parafraseado sem desenvolver ideias novas.)

A frase seguinte é a que conta na sua reunião:

"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Se o nosso indicador mostrar uma quantidade maior de escrita por IA nesse tipo de texto, aconselhamos que leve isso em consideração ao analisar a percentagem indicada.)

Repare no alcance disto. Conteúdo com pouca variação estrutural. Texto que se repete literalmente. Texto parafraseado sem desenvolver ideias novas. Estas três descrições cobrem uma fatia grande da escrita de uma dissertação, sobretudo as revisões de literatura e as secções de metodologia. Uma revisão de literatura resume trabalho já existente, o que é por natureza uma tarefa de paráfrase. Uma secção de metodologia segue uma estrutura-padrão com formulações repetidas. Nenhuma das duas tem de apresentar ideias novas, porque as ideias novas pertencem aos capítulos de análise e discussão.

Portanto, se as suas secções sinalizadas forem a revisão de literatura ou a metodologia, a empresa que fabricou a ferramenta está a dizer a quem lê a pontuação para a desvalorizar exatamente por esse motivo. Não é você a dizê-lo. É a empresa.

É também aqui que deve ter cuidado. O Turnitin publicou ainda uma nota de versão em maio de 2023 reconhecendo que os falsos positivos se tinham concentrado nas primeiras e nas últimas frases dos documentos:

"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (Desde o lançamento, observámos uma incidência maior de deteção de falsos positivos nas primeiras ou nas últimas frases de um documento. Muitas vezes estas frases consistem em conteúdo de introdução ou de conclusão escrito de forma genérica. Como resultado, alterámos a nossa lógica de deteção para ajudar a reduzir estes falsos positivos.)

A expressão-chave é a última: "we have changed our detection logic to help reduce these false positives." (alterámos a nossa lógica de deteção para ajudar a reduzir estes falsos positivos.) Isto foi uma correção anunciada em 2023. Não é uma fraqueza atual que possa apontar. É a prova de que a ferramenta muda ao longo do tempo, o que significa duas coisas para a sua reunião. Primeiro, um relatório gerado há seis meses pode ter sido produzido com uma lógica diferente da de um relatório gerado hoje. Segundo, argumentar que a ferramenta está avariada é argumentar contra um alvo que já se moveu. A sua posição fica mais forte quando diz que a ferramenta está a melhorar e que o seu caso merece ser analisado nos seus próprios termos, e não quando diz que a ferramenta é inútil.

Três coisas vão prejudicá-lo nesta reunião, e as três são tentadoras.

Não diga que o Turnitin é impreciso. A própria empresa diz que o seu modelo pode não ser sempre preciso, e diz que a pontuação não deve ser a única base para agir. É essa a sua alavanca. Se for mais longe e afirmar que a ferramenta não funciona, está a fazer uma afirmação que não consegue sustentar e a procurar briga com o sistema escolhido pela instituição. A pessoa do outro lado da mesa vai entrincheirar-se. A postura certa é esta: a ferramenta tem uma taxa de erro marginal documentada e orientações documentadas sobre como lidar com ela, e você está a pedir que sigam essas orientações.

Não se recuse a falar. O silêncio lê-se como culpa. Você tem provas para apresentar. Se sair da sala, a reunião acontece sem o seu histórico de versões, sem os seus rascunhos e sem que ninguém ouça a frase sobre os tipos de texto. As cartas desta lista só funcionam se você comparecer e as puser em cima da mesa.

Não traga o velho argumento das «primeiras e últimas frases». Como já dissemos, aquilo foi uma correção de 2023, não uma falha atual. Se o trouxer como prova de que a ferramenta está hoje avariada, a pessoa à sua frente pode ir procurar, encontra a correção, e você perde credibilidade em tudo o resto que trouxe.

Antes da reunião, reúna o seguinte:

1. O relatório de escrita por IA em PDF. Peça-o se não o tem. Precisa de saber qual é o número, onde ficam as marcações e se é uma percentagem ou um asterisco.
2. O seu histórico de versões. Exporte-o ou tenha-o pronto a mostrar no portátil. Se usou o Overleaf, o histórico da página está lá. Se usou o Google Docs, o histórico de versões está em Ficheiro > Histórico de versões. Se usou o Word, depende de ter tido a gravação automática do OneDrive ativa, mas mesmo sem isso os seus rascunhos e as datas de modificação dos ficheiros contam uma história.
3. O material do seu processo de escrita. Notas, PDFs anotados, rascunhos de esquemas, fios de email com o seu orientador, comentários a rascunhos anteriores. Qualquer coisa que mostre que a dissertação não foi produzida de uma só vez.
4. Uma lista de perguntas concretas que quer ver respondidas. Não um guião, não um discurso. Perguntas. «Que secções foram sinalizadas?» «O relatório foi gerado antes ou depois da mudança de lógica de maio de 2023?» «O texto sinalizado enquadra-se nas categorias que o Turnitin diz poderem gerar falsos positivos?» Perguntas como estas mantêm a reunião num espaço em que você participa numa investigação, em vez de se defender de uma acusação.

A reunião não é um julgamento. Devia ser uma revisão, e a própria documentação do Turnitin diz que ela deve envolver exame mais aprofundado e julgamento humano. O seu trabalho é levar o material que torna essa revisão possível.

A ferramenta HumanPen é um reescritor de documentos. Não vamos dizer-lhe que passar a sua dissertação por um reescritor fará desaparecer uma pontuação de IA, porque não fazemos afirmações sobre pontuações futuras. O que podemos dizer é o que a ferramenta faz: você carrega o documento em conjunto com o respetivo relatório de escrita por IA, e apenas as passagens que o relatório sinalizou são reescritas. O resto do documento fica na íntegra, palavra por palavra. Você revê o resultado antes de ele se tornar seja o que for de definitivo.

Se está nesta situação porque um relatório já veio com uma pontuação alta e quer rever as secções sinalizadas antes da reunião, esse é um caminho. Se prefere ir à reunião com o documento original e o seu histórico de versões e deixar que as provas falem, esse é outro caminho. Ambos são legítimos. A reunião vem primeiro.

Posso recusar-me a comparecer na reunião? Pode, mas é a pior decisão que pode tomar. A reunião é onde apresenta as suas provas. Sem você lá, a instituição decide com base apenas na pontuação, que é exatamente o resultado que o Turnitin diz não dever acontecer.

E se a pontuação for 100%? Uma pontuação de 100% não é prova de que todas as frases foram geradas por IA. Analisámos o que uma pontuação de 100% significa e não significa num artigo à parte. O que importa na reunião é sempre o mesmo: peça o relatório completo, leve o seu histórico de versões e faça as perguntas concretas.

O histórico de versões prova que não usei IA? Não. Mostra que o documento foi editado ao longo do tempo num padrão compatível com a escrita humana. Não consegue provar um negativo. O que faz é dar a quem analisa qualquer coisa para olhar além da pontuação, e é esse o seu valor.

E se usei IA em parte da dissertação? Este artigo não ensina a negar o uso de IA. Se a IA foi usada em alguma parte do trabalho, a reunião é o lugar onde isso se discute, a par de tudo o resto. A documentação aqui citada, o histórico de versões e a orientação sobre tipos de texto aplicam-se de qualquer forma, porque dizem respeito à forma como a pontuação deve ser interpretada, e não a saber se a IA foi usada.

Passar o meu trabalho por um reescritor resolve a pontuação? Não fazemos afirmações sobre pontuações futuras. O que o HumanPen faz é reescrever as passagens sinalizadas que você seleciona. Se o próximo relatório virá mais baixo é algo que não prometemos, porque o modelo muda e o relatório é produzido pelo Turnitin, não por nós.