Detecção de AIGC em artigos em inglês: o que é e como funciona

A detecção de AIGC em artigos em inglês se refere ao mesmo processo que a detecção de escrita por IA. O detector do Turnitin divide seu texto em trechos sobrepostos, classifica cada trecho pela probabilidade de ter sido escrito por um humano ou gerado por IA e reúne esses escores em uma porcentagem do documento. O termo "AIGC" (conteúdo gerado por IA) é comum em contextos acadêmicos chineses, mas o mecanismo de detecção é o mesmo, independentemente do nome. O detector não procura assinaturas nem marcas d'água de ferramentas de IA específicas. Ele lê padrões estatísticos na escolha das palavras, mais especificamente padrões de probabilidade de palavras aprendidos durante o treinamento. O escore de IA é totalmente independente do escore de similaridade (plágio), e só instrutores ou administradores conseguem ver o indicador de IA.

A FAQ do Turnitin descreve as etapas da detecção:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Quando um trabalho é enviado ao Turnitin, as frases do envio são extraídas e divididas em seções sobrepostas para análise de predição. Cada segmento é classificado pelo modelo de detecção de IA e recebe um valor entre 0 e 1, que indica a probabilidade de o texto ser provavelmente humano ou gerado por IA. Cada frase qualificada dentro desses segmentos herda o escore do segmento. Como os segmentos se sobrepõem, algumas frases podem ter vários escores, que então são reunidos em um único escore. Esses escores de frase são agregados novamente e usados para calcular o escore geral de escrita por IA do documento.)

O detector não está vasculhando frases específicas que "pareçam IA". Ele classifica trechos de texto usando um modelo que aprendeu padrões estatísticos a partir dos dados de treinamento. Cada trecho recebe uma probabilidade, e essas probabilidades são reunidas e agregadas em uma única porcentagem. A porcentagem representa a proporção do texto qualificado que o modelo classifica como provavelmente gerado por IA.

Duas declarações da FAQ esclarecem a abordagem do modelo. A primeira: "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." (Nosso modelo não é programado explicitamente para avaliar sinais específicos como “burstiness”, “perplexity” ou outras métricas individuais às vezes citadas em discussões públicas.) A frase seguinte: "Instead, it learns statistical patterns from our training data." (Em vez disso, ele aprende padrões estatísticos a partir dos nossos dados de treinamento.) A segunda: "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (Nossos classificadores são treinados para detectar essas diferenças na probabilidade das palavras e são proficientes nas sequências específicas de probabilidade de palavras típicas de quem escreve como humano.)

O modelo não calcula métricas nomeadas como burstiness ou perplexity. Mas ele é treinado com dados de probabilidade de palavras. Os padrões que ele aprende aparecem no modo como as palavras são escolhidas e encadeadas, e não em características de superfície como variação no comprimento das frases ou diversidade de vocabulário. É por isso que edições superficiais, como trocar algumas palavras ou acrescentar transições, podem não alterar o escore. O detector lê características estatísticas mais profundas das sequências de palavras, e é disso que trata o que os detectores de IA medem além de perplexity e burstiness.

A FAQ especifica o que conta como texto analisável:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Esse texto qualificado inclui apenas frases em prosa, ou seja, analisamos apenas blocos de texto escritos em frases gramaticais padrão e que não incluem outros tipos de escrita, como listas, marcadores (estruturas curtas que não são frases) ou outras estruturas que não são frases.)

A frase seguinte: "This percentage is not necessarily the percentage of the entire submission." (Essa porcentagem não é necessariamente a porcentagem de toda a submissão.)

Para artigos acadêmicos em inglês, isso significa que suas tabelas de metodologia, seus blocos de equações, suas legendas de figuras e sua lista de referências ficam, em boa parte, de fora da análise de IA. A porcentagem vale apenas para as partes em prosa do seu manuscrito. Um artigo com muitas tabelas e equações tem menos texto qualificado, o que significa que a porcentagem de IA representa uma fatia menor do documento do que pode parecer. Como ler um relatório de escrita por IA do Turnitin mostra onde essa diferença aparece na página.

Os dois escores são medições separadas:

"The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (O escore de similaridade e a porcentagem de detecção de escrita por IA são completamente independentes e não influenciam um ao outro.)

Seu escore de similaridade mostra quanto do seu texto corresponde a fontes já existentes no banco de dados. Seu escore AIGC mostra quanto do seu texto o modelo classifica como provavelmente gerado por IA. Um artigo pode ter similaridade alta (por causa de fontes citadas corretamente) e escore AIGC baixo, ou similaridade baixa e escore AIGC alto. Mexer em um escore não afeta o outro. Se você está tentando reduzir seu escore AIGC, reduzir o escore de similaridade não vai ajudar, e o contrário também vale; tratar os dois escores como se fossem a mesma coisa é onde isso costuma dar errado.

Para resumir o que vimos até aqui:

• A detecção de AIGC em artigos em inglês funciona do mesmo modo que a detecção de escrita por IA: classifica padrões de probabilidade de palavras em trechos de prosa.
• O modelo não calcula burstiness ou perplexity como métricas nomeadas, mas é treinado com dados de probabilidade de palavras.
• Apenas frases em prosa são analisadas. Tabelas, equações e listas de referências ficam em boa parte de fora.
• O escore AIGC e o escore de similaridade são completamente independentes. Mudar um não afeta o outro.
• Só instrutores e administradores conseguem ver o indicador de IA. Estudantes podem pedir a versão em PDF ao seu instrutor.

Se você tem um relatório do Turnitin ou do iThenticate mostrando quais passagens foram sinalizadas, importe o relatório e trabalhe nessas passagens específicas. Passagens que atendem aos critérios podem ser reexecutadas sem custo.