Vocabulário avançado sendo marcado como IA? Veja por quê

Usar um vocabulário sofisticado não causa marcação de IA por si só. O detector não avalia a qualidade das suas escolhas de palavras. Ele avalia a probabilidade estatística das suas sequências de palavras. A prosa acadêmica formal que usa estruturas de frase consistentes, frases de transição padronizadas e padrões de vocabulário previsíveis pode produzir perfis de probabilidade que se sobrepõem ao que o modelo aprendeu a associar com texto gerado por IA. O problema não é que seu vocabulário seja "bom demais". É que o perfil estatístico do seu texto, moldado por estrutura uniforme e padrões de palavras formais, pode se parecer com escrita gerada por máquina. O FAQ do Turnitin lista "content without a lot of structural variation" (conteúdo sem muita variação estrutural) como uma característica propensa a falsos positivos. Vocabulário sofisticado combinado com estrutura uniforme se encaixa nessa descrição.

O FAQ do Turnitin descreve o processo:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Quando um trabalho é enviado ao Turnitin, frases do envio são extraídas e divididas em seções sobrepostas para análise de previsão. Cada segmento é classificado pelo modelo de detecção de IA e recebe um valor entre 0 e 1, indicando a probabilidade de o texto ser provavelmente humano ou gerado por IA. Cada frase qualificada dentro desses segmentos herda a pontuação do segmento. Como os segmentos se sobrepõem, algumas frases podem ter múltiplas pontuações, que são então agrupadas em uma única pontuação. Essas pontuações por frase são ainda agregadas e usadas para calcular a pontuação geral de escrita por IA do documento.)

O modelo não está lendo seu vocabulário e decidindo que é sofisticado demais para um humano. Ele classifica segmentos por padrões de probabilidade das palavras. Duas afirmações do FAQ esclarecem o que o modelo mede: "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." (Nosso modelo não é explicitamente programado para avaliar sinais específicos como 'burstiness', 'perplexity' ou outras métricas individuais às vezes referenciadas em discussões públicas.) E: "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (Nossos classificadores são treinados para detectar essas diferenças na probabilidade das palavras e são especializados nas sequências de probabilidade de palavras específicas de escritores humanos.)

O modelo não calcula uma métrica chamada perplexidade. Mas é treinado em dados de probabilidade de palavras. A escrita acadêmica formal que usa consistentemente as mesmas palavras de transição, os mesmos inícios de frase e os mesmos padrões de vocabulário pode produzir sequências de probabilidade de palavras que se parecem mais com texto gerado por IA do que com os padrões variados e menos previsíveis da escrita humana natural. O que os detectores de IA medem além de perplexidade e burstiness traz uma explicação mais detalhada sobre isso.

O FAQ lista textos propensos a falsos positivos:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Às vezes, falsos positivos (marcação incorreta de texto escrito por humano como gerado por IA) podem incluir conteúdo sem muita variação estrutural, texto que literalmente repete a si mesmo ou texto que foi parafraseado sem desenvolver novas ideias.)

A frase seguinte diz: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Se nosso indicador mostrar uma quantidade maior de escrita por IA em tal texto, aconselhamos que você leve isso em consideração ao olhar a porcentagem indicada.)

A prosa acadêmica bem editada pode se encaixar no primeiro item. Quando você aprimora seu texto, pode padronizar as estruturas das frases, usar transições consistentes e aplicar vocabulário formal por todo lado. Isso produz texto com pouca variação estrutural. O polimento que torna sua escrita melhor no sentido literário pode torná-la mais uniforme no sentido estatístico, e é a uniformidade que a descrição de falso positivo aponta. Esse é todo o argumento em por que detectores de IA marcam ensaios bem escritos.

O FAQ também afirma:

"Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." (Portanto, precisamos enfatizar que a porcentagem no indicador de escrita por IA não deve ser usada como única base para ação ou como medida definitiva de avaliação por professores.)

A pontuação de IA não é uma avaliação de qualidade. Não significa que sua escrita é boa demais, polida demais ou formal demais. Significa que a classificação do modelo dos seus padrões de probabilidade de palavras produziu uma certa porcentagem. Uma pontuação alta em texto bem escrito e com vocabulário rico não invalida a qualidade do seu trabalho. Significa que o perfil estatístico do seu texto se sobrepõe a padrões que o modelo associa com IA. Se você deveria escrever de forma diferente por causa disso é outra questão: você deve mudar como escreve para evitar ser marcado.

Para resumir o que cobrimos:

• Vocabulário avançado não causa marcação de IA por si só. O detector lê padrões de probabilidade das palavras, não qualidade de vocabulário.
• A prosa acadêmica formal com estrutura uniforme pode compartilhar características estatísticas com texto gerado por IA.
• O Turnitin lista "content without a lot of structural variation" como uma característica propensa a falsos positivos.
• Aprimorar pode reduzir a variação estrutural, tornando o texto mais uniforme no sentido estatístico.
• A pontuação não é um julgamento sobre a qualidade da escrita e não deve ser a única base para ação.

Se você tem um relatório do Turnitin mostrando quais passagens foram marcadas, importe o relatório e trabalhe nessas passagens específicas. Passagens elegíveis podem ser reprocessadas sem custo adicional.