Revisei meu ensaio com Notion ou QuillBot e agora foi marcado como IA

Se você passou seu ensaio por um corretor gramatical e ele foi marcado como IA, a pergunta não é se a ferramenta é «segura» de modo geral. É qual função dela você usou. As perguntas frequentes do Turnitin respondem diretamente para um produto: as correções de ortografia, gramática e pontuação do Grammarly não são marcadas «in most cases,» (na maioria dos casos), mas o conteúdo produzido pelas funções generativas do Grammarly — geração de rascunhos, paráfrase, resumos e outras — «will likely be flagged as AI-generated.» (provavelmente será marcado como gerado por IA). Para Notion, QuillBot e outras ferramentas, o Turnitin não publica uma lista ferramenta por ferramenta. As perguntas frequentes dizem que o detector foi treinado e testado para identificar as principais ferramentas de paráfrase e de burla, mas que não pode revelar quais são. A linha é clara em princípio, mesmo quando a lista de ferramentas não é: correções e reescrita generativa são categorias diferentes, e o detector as lê de forma diferente.

As perguntas frequentes trazem uma resposta detalhada especificamente sobre o Grammarly. A passagem relevante é longa, e cada cláusula importa:

«No. Our detector is not tuned to target Grammarly-generated spelling, grammar, and punctuation modifications to content but rather, other AI content written by LLMs such as GPT-3.5. Based on tests we conducted on human-written documents with no AI-generated content in them, in most cases, changes made by Grammarly (free & premium) and/or other grammar-checking tools were not flagged as AI-written by our detector. Please note that this excludes content generated by Grammarly's generative AI-powered features, including draft generation, paraphrasing, summarizing, and other features. Content produced using these features will likely be flagged as AI-generated by our detector.» (Não. Nosso detector não foi ajustado para mirar as modificações de ortografia, gramática e pontuação feitas pelo Grammarly, e sim outros conteúdos de IA escritos por LLM como o GPT-3.5. Com base nos testes que realizamos com documentos escritos por humanos sem nenhum conteúdo gerado por IA, na maioria dos casos as alterações feitas pelo Grammarly (gratuito & premium) e/ou por outras ferramentas de verificação gramatical não foram marcadas como escritas por IA pelo nosso detector. Observe que isso exclui o conteúdo gerado pelas funções de IA generativa do Grammarly, incluindo geração de rascunhos, paráfrase, resumo e outras. O conteúdo produzido com essas funções provavelmente será marcado como gerado por IA pelo nosso detector.)

Leia essa frase em duas metades. A primeira metade é uma isenção: o detector não foi ajustado para flagrar correções de ortografia, gramática e pontuação, e nos casos testados elas não foram marcadas. A ressalva «in most cases» (na maioria dos casos) faz um trabalho real aqui, porque significa que a isenção não é uma garantia. A segunda metade é o limite: funções generativas são outra categoria, e o conteúdo delas provavelmente será marcado. Destrinchamos a passagem inteira em o Turnitin detecta o Grammarly como escrita de IA?.

O Grammarly é a única ferramenta que as perguntas frequentes do Turnitin citam pelo nome. Para Notion, QuillBot e qualquer outra, não há declaração publicada. O que as perguntas frequentes dizem é isto:

«Our AI writing detector has been trained and tested to detect leading paraphraser and bypasser tools. However, to safeguard the integrity of our solution and its effectiveness in maintaining academic honesty, we're unable to disclose the names of these tools.» (Nosso detector de escrita de IA foi treinado e testado para detectar as principais ferramentas de paráfrase e de burla. No entanto, para proteger a integridade da nossa solução e sua eficácia em manter a honestidade acadêmica, não podemos divulgar os nomes dessas ferramentas.)

Não podemos e não vamos dizer que uma ferramenta específica é segura ou insegura, porque o Turnitin não publica a lista e não é nossa função fazer afirmações sobre detecção. O que podemos dizer é que as perguntas frequentes sobre o Grammarly estabelecem um enquadramento: de um lado ficam as correções (ortografia, gramática, pontuação), do outro as operações generativas (redigir, parafrasear, resumir). Se a ferramenta que você usou tem os dois tipos de função, importa mais qual botão você clicou do que qual aplicativo abriu. Pelo mesmo motivo, o Turnitin detecta humanizadores de IA? também não tem resposta em forma de lista.

Há um detalhe. As perguntas frequentes listam o texto que foi «paraphrased without developing new ideas» (parafraseado sem desenvolver novas ideias) entre os conteúdos que os falsos positivos podem incluir. A passagem completa:

«Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.» (Às vezes os falsos positivos — ou seja, marcar por engano como gerado por IA um texto escrito por um humano — podem incluir conteúdo com pouca variação estrutural, texto que se repete literalmente ou texto que foi parafraseado sem desenvolver novas ideias.)

E a frase seguinte: «If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.» (Se o nosso indicador mostrar uma quantidade maior de escrita de IA nesse texto, recomendamos que você leve isso em conta ao observar a porcentagem indicada.)

Isso significa que uma ferramenta de paráfrase pode criar um problema duplo. Primeiro: se ela estiver entre as ferramentas que o Turnitin foi treinado para detectar, seu resultado pode ser marcado diretamente. Segundo: mesmo que não se detecte o rastro de uma ferramenta específica, o texto resultante pode corresponder ao perfil de escrita em torno do qual os falsos positivos se concentram: estrutura uniforme, repetição literal ou paráfrase que embaralha palavras sem acrescentar substância. O primeiro risco é a detecção. O segundo é a semelhança.

Um fator que aumenta a confusão é que a pontuação de IA e a pontuação de similaridade são independentes. O Turnitin afirma: «The Similarity score and the AI writing detection percentage are completely independent and do not influence each other.» (A pontuação de similaridade e a porcentagem de detecção de escrita de IA são completamente independentes e não influenciam uma à outra.) Uma ferramenta de paráfrase pode reduzir sua pontuação de similaridade, porque o texto já não corresponde palavra por palavra às fontes existentes, e ao mesmo tempo elevar sua pontuação de IA, porque o resultado agora se parece com texto gerado por IA ou parafraseado. Esses dois movimentos não se contradizem. Vêm de dois sistemas separados que leem sinais diferentes.

Vimos esse padrão vezes suficientes para escrever um artigo dedicado a o que acontece quando a paráfrase reduz a similaridade mas aumenta a pontuação de IA.

Para resumir o que vimos:

• As correções de ortografia, gramática e pontuação do Grammarly não são marcadas «in most cases,» (na maioria dos casos), mas suas funções generativas — paráfrase, resumos, geração de rascunhos — provavelmente serão.
• O Turnitin não revela quais outras ferramentas detecta, portanto ninguém pode oferecer uma «lista segura» verificada.
• A função que você usou importa mais que o nome do aplicativo: correções e reescrita generativa são categorias diferentes.
• O texto parafraseado que não desenvolve novas ideias está na própria lista do Turnitin de conteúdos propensos a falsos positivos.
• A pontuação de IA e a de similaridade são independentes, então uma ferramenta de paráfrase pode baixar uma e elevar a outra.

Se o seu ensaio já foi marcado, a pergunta produtiva não é «se a culpa foi da ferramenta», mas «which passages are flagged and why.» (quais passagens estão marcadas e por quê). Importe seu relatório do Turnitin e trabalhe nas passagens específicas que foram marcadas. As passagens que atendem aos requisitos podem ser reprocessadas sem custo.