O que a detecção de IA do Turnitin verifica: como a pontuação é construída

A detecção de escrita por IA do Turnitin é uma análise separada da verificação de similaridade (plágio). A pontuação de similaridade procura texto que corresponda a fontes existentes. A pontuação de escrita por IA procura padrões estatísticos na escolha das palavras que se pareçam com texto gerado por máquina. As perguntas frequentes do Turnitin dizem que as duas são «completely independent and do not influence each other.» (completamente independentes e não influenciam uma à outra). O detector de IA funciona dividindo o seu trabalho em segmentos de texto sobrepostos, classificando cada segmento pela probabilidade de ter sido escrito por um humano ou por uma IA e reunindo essas pontuações em uma porcentagem do documento. Só as frases em prosa são analisadas. Listas, marcadores e outras estruturas que não são frases ficam de fora. E só professores e administradores podem ver a pontuação de IA, a menos que o professor escolha compartilhar o relatório em PDF.

As perguntas frequentes do Turnitin descrevem o fluxo assim:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Quando um trabalho é enviado ao Turnitin, as frases do envio são extraídas e segmentadas em seções sobrepostas para a análise de previsão. Cada seção é classificada pelo modelo de detecção de IA e recebe um valor entre 0 e 1, que indica a probabilidade de o texto ser provavelmente humano ou gerado por IA. Cada frase qualificada dentro dessas seções herda a pontuação da seção. Como as seções se sobrepõem, algumas frases podem ter várias pontuações, que depois são reunidas em uma única. Essas pontuações de frase são agregadas novamente e usadas para calcular a pontuação geral de escrita por IA do documento.)

Leia isso como uma linha de processamento. O seu texto entra, é cortado em pedaços sobrepostos, cada pedaço recebe uma pontuação de probabilidade, as frases herdam a pontuação dos seus segmentos, as pontuações sobrepostas são reunidas em uma só e, por fim, agregadas em um único número. O modelo não lê a sua argumentação nem verifica se as suas ideias são originais: ele lê características estatísticas das suas sequências de palavras.

Duas afirmações das mesmas perguntas frequentes esclarecem o que o modelo mede e o que não mede. Primeiro: «Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions.» (O nosso modelo não é programado explicitamente para avaliar sinais específicos como 'burstiness', 'perplexity' ou outras métricas individuais às vezes citadas em discussões públicas.) A frase seguinte diz: «Instead, it learns statistical patterns from our training data.» (Em vez disso, ele aprende padrões estatísticos a partir dos nossos dados de treinamento.) Segundo: «Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers.» (Os nossos classificadores são treinados para detectar essas diferenças na probabilidade das palavras e conhecem bem as sequências particulares de probabilidade de palavras de quem escreve como humano.)

A primeira afirmação diz que o modelo não calcula duas métricas citadas pelo nome. A segunda diz que o modelo é treinado com probabilidade de palavras. As duas coisas são coerentes: o modelo não calcula um número chamado perplexity para compará-lo com um limite, mas aprende a partir de dados de probabilidade de palavras. A distinção importa porque boa parte dos conselhos para escapar da detecção de IA parte do pressuposto de que basta mexer em uma métrica com nome próprio. Se o modelo não calcula essa métrica, ajustá-la não é a alavanca que as pessoas imaginam. O que os detectores de IA medem além de perplexity e burstiness aprofunda o assunto.

Só contam as frases em prosa. As perguntas frequentes dizem o seguinte:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Este texto qualificado inclui apenas frases em prosa, o que significa que analisamos somente blocos de texto escritos em frases gramaticais padrão e não incluímos outros tipos de escrita como listas, marcadores (estruturas curtas que não são frases) ou outras estruturas que não são frases.)

A frase seguinte: «This percentage is not necessarily the percentage of the entire submission.» (Esta porcentagem não é necessariamente a porcentagem de todo o trabalho enviado.)

Isso significa que, se o seu documento tem muitas listas, marcadores ou outros conteúdos que não são prosa, a porcentagem de IA se aplica apenas à parte em prosa, e não ao documento inteiro. A porcentagem que você vê pode representar uma parte do seu texto menor do que você imagina.

Pontuações entre 1% e 19% não são exibidas como números. As perguntas frequentes explicam:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (Para evitar a possível ocorrência de falsos positivos, nenhuma pontuação ou marcação é atribuída a pontuações de detecção de IA na faixa de 1% a 19%. Quando é detectada IA abaixo do limite de 20% no relatório, isso agora é indicado com um asterisco (*%) e nenhuma porcentagem é atribuída.)

Se o seu relatório mostra um asterisco em vez de um número, o detector encontrou alguns padrões parecidos com IA, mas não o suficiente para justificar uma porcentagem específica. Foi uma escolha de design deliberada, para reduzir falsos positivos na faixa baixa. O resto está em O que significa o asterisco (*%) em uma pontuação de IA do Turnitin.

As perguntas frequentes são explícitas sobre o acesso: «only instructors and administrators are able to see the indicator.» (apenas professores e administradores podem ver o indicador). Os estudantes não conseguem ver diretamente a própria pontuação de IA. As perguntas frequentes continuam: «However, with the PDF download feature, instructors can download and share the AI report with students.» (No entanto, com o recurso de download em PDF, os professores podem baixar o relatório de IA e compartilhá-lo com os estudantes). Se você é estudante e quer saber a sua pontuação, precisa pedir ao seu professor que compartilhe a versão em PDF do relatório – e depois o próximo passo é como ler um relatório de escrita com IA do Turnitin.

Para resumir o que vimos até aqui:

• A pontuação de IA e a pontuação de similaridade do Turnitin são medições completamente independentes.
• O detector de IA divide o texto em segmentos sobrepostos e classifica cada um por padrões de probabilidade de palavras.
• Só as frases em prosa são analisadas. Listas, marcadores e estruturas que não são frases ficam de fora.
• Pontuações entre 1% e 19% mostram apenas um asterisco, e não um número, para reduzir falsos positivos.
• Só professores e administradores podem ver a pontuação de IA, mas eles podem compartilhar o PDF com os estudantes.

Se você tem um relatório de IA do Turnitin e quer trabalhar as passagens sinalizadas, importe o relatório e trate delas diretamente. As passagens que cumprem os requisitos podem ser processadas novamente sem custo.