Sua redação em inglês foi sinalizada com alta taxa de IA? Comece lendo o relatório
Quando o Turnitin indica uma taxa alta de IA na sua redação em inglês, o primeiro passo não é baixar esse número. É descobrir que número é esse de fato, qual regra de exibição o gerou e em que lado da divisão probabilística do modelo suas escolhas de palavras caíram. A solução não é um botão chamado "perplexidade". A solução é mover a probabilidade das suas palavras de volta para o seu próprio padrão humano.
Equipe HumanPen
· 13 min de leitura
A resposta curta
O relatório de detecção de escrita com IA do Turnitin não mostra número nenhum entre 1% e 19%; ele exibe um asterisco e não mostra os trechos destacados. Só a partir de 20% é que aparece uma porcentagem exata, com as passagens destacadas que você pode de fato examinar. Então, quando você diz "minha taxa de IA está muito alta", a primeira coisa a fazer não é baixar esse número. É descobrir se você está olhando para um número ou para um asterisco, porque só o número vem com algo em que você pode agir.
O segundo passo é perguntar por que está alto. O modelo do Turnitin divide seu texto em segmentos sobrepostos, atribui a cada um uma probabilidade entre 0 e 1, agrupa essas pontuações e as soma numa porcentagem do documento. Se suas escolhas de palavras caem no lado "gerado por IA" da divisão probabilística do modelo, sua pontuação sobe. Escrever em inglês sendo falante nativo de chinês tem três tendências estatísticas que empurram sua probabilidade para o lado da IA. Detalhamos cada uma abaixo.
O terceiro passo é a revisão. A direção não é baixar uma métrica chamada perplexidade, porque o Turnitin não calcula isso explicitamente. A direção é mover a probabilidade das suas palavras de volta para o seu próprio padrão humano: use as palavras que você realmente escolheria, use estruturas de frase que você normalmente não produz e revise as passagens sinalizadas uma por uma, em vez de fazer uma varredura única no arquivo todo.
O que "muito alto" de fato significa
O relatório de escrita com IA do Turnitin tem uma regra especial de exibição para pontuações baixas. O FAQ sobre capacidades de detecção diz assim:
"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (%) and no percentage is attributed." ("Para evitar possíveis incidências de falsos positivos, nenhuma pontuação ou destaque é atribuído para pontuações de detecção de IA na faixa de 1% a 19%. Quando IA é detectada abaixo do limiar de 20% no relatório, isso agora é indicado com um asterisco (%) e nenhuma porcentagem é atribuída.")
Então, se a "taxa de IA" que você tem em mãos é um número com sinal de porcentagem, ela é de pelo menos 20. Se você está olhando para um asterisco, está em algum lugar entre 1 e 19, e o relatório não diz onde. Zero é o único valor exato exibido abaixo de vinte.
Essa distinção parece frescura, mas decide o que você pode fazer a seguir. Um asterisco significa sem passagens destacadas, sem como localizar o que disparou o sinal, e nada para revisar. Um número em 20 ou acima vem com destaques, e destaques são a única coisa que permite localizar e mudar o texto sinalizado. Então "minha taxa de IA está muito alta, o que eu faço" só tem resposta acionável quando seu relatório mostra 20% ou mais e você pode ver os destaques. Trabajamos o próprio relatório em como ler um relatório de escrita com IA do Turnitin.
Mais uma coisa para confirmar primeiro. O Turnitin afirma que "only instructors and administrators are able to see the indicator" ("apenas instrutores e administradores podem ver o indicador") e que "The AI writing detection indicator and report are not visible to students. However, with the PDF download feature, instructors can download and share the AI report with students." ("O indicador e relatório de detecção de escrita com IA não são visíveis para estudantes. No entanto, com o recurso de download em PDF, instrutores podem baixar e compartilhar o relatório de IA com estudantes.") Se você tem um relatório em mãos, é porque alguém decidiu baixá-lo e entregá-lo a você. Confirme que tem o PDF completo, não uma captura de tela.
Por que está alto: sua probabilidade de palavras está no lado da IA
O Turnitin descreve a cadeia de cálculo no seu FAQ:
"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." ("Quando um trabalho é submetido ao Turnitin, frases da submissão são extraídas e segmentadas em seções sobrepostas para análise de predição. Cada segmento é classificado pelo modelo de detecção de IA e recebe um valor entre 0 e 1, denotando a probabilidade de o texto ser provavelmente humano ou gerado por IA. Cada frase qualificada dentro desses segmentos herda a pontuação do segmento. Como os segmentos se sobrepõem, algumas frases podem ter múltiplas pontuações, que são então agrupadas numa única pontuação. Essas pontuações de frases são ainda agregadas e usadas para computar a pontuação geral de escrita com IA do documento.")
Isso é uma cadeia de probabilidade. Cada uma das suas frases recebe uma pontuação entre 0 e 1 do modelo; quanto mais perto de 1, mais parecida com IA. Essas pontuações se agregam na porcentagem que você vê.
Então o significado mecânico de "taxa alta de IA" é específico: sua escrita, no espaço probabilístico do modelo, cai no lado de "gerado por IA". Não porque você usou IA, mas porque as características estatísticas das suas escolhas de palavras e padrões de frase acontecem de estar mais próximas do padrão médio de texto gerado por IA.
Aqui uma afirmação disseminada precisa de correção. Muitas respostas descrevem o mecanismo do Turnitin como "medir perplexidade e burstiness" e depois dizem como baixar esses dois valores. O Turnitin nega isso explicitamente no seu FAQ:
"Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." ("Nosso modelo não é programado explicitamente para avaliar sinais específicos como 'burstiness', 'perplexidade' ou outras métricas individuais às vezes referenciadas em discussões públicas.")
A frase diretamente depois:
"Instead, it learns statistical patterns from our training data." ("Em vez disso, ele aprende padrões estatísticos a partir dos nossos dados de treinamento.")
Mas isso não significa que o Turnitin ignore probabilidade de palavras. A mesma página do FAQ diz em outro lugar:
"Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." ("Nossos classificadores são treinados para detectar essas diferenças em probabilidade de palavras e são aptos nas sequências particulares de probabilidade de palavras de escritores humanos.")
Essas duas afirmações têm que ser lidas juntas. O Turnitin não calcula explicitamente uma pontuação chamada perplexidade, mas seu classificador está fazendo um julgamento no nível da probabilidade de palavras, porque perplexidade é em si uma medida de probabilidade de palavras. A afirmação correta é: você não pode ajustar um botão chamado perplexidade, porque esse botão não existe como entrada explícita. O que você pode mudar é sua própria distribuição de probabilidade de palavras, para que o modelo a coloque de volta no lado de "escrito por humano".
Por que falantes nativos de chinês escrevendo em inglês são sinalizados com mais frequência
Esta seção trata de três tendências estatísticas. Cada uma empurra sua probabilidade de palavras para o lado da IA. Não são falhas em falantes nativos de chinês. São padrões que aparecem quando você está escrevendo numa segunda língua enquanto gerencia gramática, vocabulário e argumento ao mesmo tempo.
Primeiro, a tendência de recorrer a palavras "seguras" de alta frequência. Ao escrever em inglês como segunda língua, o instinto natural é escolher palavras com significados estáveis e baixo risco de erro. Essas palavras são palavras de alta frequência. Também são as palavras que texto gerado por IA mais recorre, porque modelos de linguagem selecionam por probabilidade e palavras de alta frequência têm alta probabilidade. Quanto mais sua distribuição de palavras se concentra no topo da tabela de frequência, mais perto ela fica da distribuição média gerada por IA. A frase que já citamos, "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers" ("Nossos classificadores são treinados para detectar essas diferenças em probabilidade de palavras e são aptos nas sequências particulares de probabilidade de palavras de escritores humanos"), é exatamente sobre isso: o classificador lê sequências de probabilidade de palavras, e escritores humanos têm suas próprias sequências características. Concentração em alta frequência não é uma delas.
Segundo, baixa variação estrutural. O próprio Turnitin lista as características que tendem a produzir falsos positivos:
"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." ("Às vezes falsos positivos (sinalizar incorretamente texto escrito por humano como gerado por IA) podem incluir conteúdo sem muita variação estrutural, texto que literalmente se repete, ou texto que foi parafraseado sem desenvolver novas ideias.")
A próxima frase:
"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." ("Se nosso indicador mostra uma quantidade maior de escrita com IA em tal texto, aconselhamos que você leve isso em consideração ao olhar a porcentagem indicada.")
Quando você está escrevendo em inglês como segunda língua, o orçamento cognitivo sobrado para estrutura de frase é estreito. O resultado é consistência estrutural: sujeito-verbo-objeto, sujeito-verbo-objeto, sujeito-verbo-objeto. Baixa variação estrutural é exatamente o primeiro item na própria lista do Turnitin de características propensas a falsos positivos. O conselho oficial a educadores é descontar pontuações altas em tal texto, e essa frase tem que viajar com a primeira.
Terceiro, possível uso de tradução automática ou Grammarly. Saída de tradução automática é em si produzida por um modelo de linguagem, então sua distribuição de probabilidade de palavras naturalmente cai no lado da IA. A situação do Grammarly é mais específica. O FAQ do Turnitin tem uma afirmação dedicada: mudanças de ortografia, gramática e pontuação não são sinalizadas "na maioria dos casos", mas recursos generativos do Grammarly, incluindo geração de rascunho, paráfrase e resumo, não são cobertos por essa isenção. A redação oficial é que conteúdo produzido usando esses recursos "will likely be flagged as AI-generated" ("provavelmente será sinalizado como gerado por IA"). Então se você usou a reescrita de frases do Grammarly, é esperado, não surpreendente, que essas passagens sejam sinalizadas.
Por que detectores de IA são tendenciosos contra escritores não nativos de inglês coloca essa família de perguntas num quadro mais amplo.
Como baixar: mude probabilidade de palavras, não perplexidade
Primeiro, o que não fazer.
Não tente baixar perplexidade. Já citamos o Turnitin dizendo que seu modelo não é programado explicitamente para avaliar perplexidade como uma métrica individual. Qualquer conselho que diz para você "baixar perplexidade" parte de uma premissa falsa. Você não pode baixar um valor que o Turnitin não calcula explicitamente. Muito copy de marketing de humanizador é construído sobre essa premissa falsa.
Não pare numa única frase. O Turnitin pontua segmentos sobrepostos de múltiplas frases, então uma mudança confinada a uma frase está competindo contra o parágrafo ao redor. Uma passagem sinalizada é sinalizada pela forma da sua distribuição inteira: o que ela coloque primeiro, onde ela vira, quanto tempo ela corre antes de parar. A unidade para trabalhar é a passagem, não a frase.
Não reescreva o documento todo. Documentos curtos têm um comportamento extremo documentado:
"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." ("Em documentos mais curtos onde há apenas algumas centenas de palavras, a predição será principalmente 'tudo ou nada' porque estamos prevendo num único segmento sem oportunidade de sobreposição.")
A próxima frase:
"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." ("Isso significa que algum texto que é uma mistura de conteúdo gerado por IA e original pode ser sinalizado como inteiramente gerado por IA.")
Então um documento curto meio reescrito é especialmente arriscado. Você reescreveu metade, a outra metade é chamada de IA, e a coisa toda volta alta.
Agora, o que fazer.
Pegue o relatório primeiro. Já citamos isso: estudantes não podem ver o indicador, mas instrutores podem baixar o PDF e compartilhar. Você tem o direito de pedir esse PDF. Uma vez que você o tem, encontre as passagens destacadas. Só relatórios em 20% e acima têm destaques. Saber quais passagens estão sinalizadas é o pré-requisito para revisá-las.
Revise as passagens sinalizadas uma por uma. A direção é mudar a forma da frase. Pegue o padrão sujeito-verbo-objeto no qual você defaults e substitua por uma estrutura que você normalmente não escreve: uma oração subordinada, uma inversão, um parêntese, uma referência entre frases. Essas estruturas mudam sua sequência de probabilidade de palavras, que é o que o modelo lê. A pontuação de uma frase também é influenciada pelos seus vizinhos, porque segmentos se sobrepõem, então revisar uma passagem desloca as pontuações das frases ao redor.
Use as palavras que você realmente escolheria. Resista à atração para vocabulário seguro de alta frequência. Use a palavra que você realmente quer, mesmo que seja menos comum. A parte distintiva da sequência de probabilidade de palavras de um escritor humano está frequentemente nas escolhas que desviam do topo da tabela de frequência.
Mire no limite do texto qualificante. O Turnitin analisa apenas frases gramaticais padrão:
"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." ("Esse texto qualificante inclui apenas frases em prosa, significando que apenas analisamos blocos de texto que estão escritos em frases gramaticais padrão e não incluem outros tipos de escrita como listas, marcadores de tópicos (estruturas curtas não-frase), ou outras estruturas não-frase.")
A próxima frase:
"This percentage is not necessarily the percentage of the entire submission." ("Essa porcentagem não é necessariamente a porcentagem da submissão inteira.")
Então o número que você vê é uma porcentagem sobre texto qualificante, não sobre o arquivo todo. Quando você revisa, mire no texto qualificante. Editar uma lista com marcadores não move esse numerador.
O trade-off de design: o modelo prefere erros por omissão a falsos alarmes
Mais uma coisa, porque afeta como você lê sua própria pontuação. O Turnitin divulga o trade-off de design no seu FAQ:
"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." ("Para manter essa taxa baixa de 1% para falsos positivos, há uma chance de que possamos perder algum texto escrito por IA num documento. Estamos confortáveis com isso, pois não queremos destacar incorretamente texto escrito por humano como escrito por IA. Por exemplo, se identificarmos que 50% de um documento é provavelmente escrito por uma ferramenta de IA, ele pode conter até 65% de escrita com IA.")
A direção é explícita: o modelo prefere perder texto de IA a sinalizar texto humano. Isso significa que o relatório tem uma tendência embutida a sub-relatar, não a sobre-relatar. Se você está olhando para uma pontuação alta, essa pontuação está no lado conservador do design do modelo, não no lado agressivo. Isso não prova que a pontuação está correta. Significa que você não deve tratá-la como um teto.
Como "mudar estrutura" parece na prática
"Mudar a estrutura" parece abstrato. Um exemplo torna isso concreto.
- Original: "The results show that the method is effective."
- Reconstruída: "O que os resultados mostram não é que o método funciona em geral, mas que funciona sob a condição específica que testamos." A frase passa de sujeito-verbo-objeto simples para uma construção enfatizada com uma virada. A sequência de probabilidade de palavras é diferente. O modelo vê uma distribuição diferente.
Mudar estrutura não é sobre escrever frases chiques. É sobre escrever as estruturas de frase que você normalmente não produz, porque as estruturas que você normalmente não produz são exatamente onde vive sua assinatura de probabilidade de escritor humano.
Cinco minutos com o relatório
- Confirme que tem o PDF, não uma captura de tela. Uma captura de tela não tem data, nem posições de destaque, nem como dizer de qual relatório se trata.
- Verifique se a figura é uma porcentagem ou um asterisco. Uma porcentagem significa 20% ou acima, e destaques para trabalhar. Um asterisco significa 1% a 19%, sem destaques, e nada para localizar.
- Encontre as passagens destacadas específicas. Essas são as que revisar. Deixe o resto em paz. Mudar texto que não foi sinalizado é esforço desperdiçado.
- Leia cada passagem sinalizada e diagnostique qual tendência a produziu. Estrutura de frase uniforme? Vocabulário de alta frequência? Uma reescrita do Grammarly? Causas diferentes precisam de correções diferentes.
- Reconstrua a estrutura da frase. Reescreva as frases sinalizadas em estruturas que você não costuma usar.
- Verifique de novo depois de revisar. Detectores mudam, e o Turnitin diz que seu modelo itera, então nenhum resultado fixo pode ser prometido. O que você pode fazer é rodar outro relatório depois da revisão e ver se os destaques recuaram. Por que diferentes detectores de IA discordam explica por que resultados de diferentes detectores não podem validar uns aos outros.
Perguntas frequentes
Uma taxa alta de IA significa que usei IA? Não. O modelo do Turnitin lê distribuições de probabilidade de palavras, não logs de uso. Você pode ser sinalizado sem usar IA, se seu vocabulário for de alta frequência, sua estrutura de frase for uniforme, ou você usou tradução automática. O próprio Turnitin lista as características que tendem a produzir falsos positivos, e aconselha educadores a descontar pontuações altas em tal texto.
Posso verificar minha própria taxa de IA? Não através do indicador do Turnitin. A afirmação oficial é que o indicador e relatório não são visíveis para estudantes, e que instrutores podem baixar o relatório como PDF e compartilhá-lo. Todo relatório que você vê, você vê porque alguém escolheu mostrar a você.
Quais passagens devo revisar primeiro? As que o relatório de fato marca. Relatórios do Turnitin são em nível de passagem, então as passagens marcadas são o único lugar onde você tem evidência para trabalhar; revisar uma passagem não marcada muda sua redação sem mudar nada ao que o relatório está respondendo.
Serei sinalizado por usar Grammarly? Mudanças de ortografia, gramática e pontuação não são sinalizadas na maioria dos casos. Mas recursos generativos do Grammarly, incluindo geração de rascunho, paráfrase e resumo, provavelmente serão sinalizados como gerados por IA. Distinção entre os dois.
Artigos curtos são mais propensos a serem sinalizados? Documentos de algumas centenas de palavras têm predições que são principalmente tudo-ou-nada, e conteúdo misto pode ser sinalizado inteiramente como IA. Seja especialmente cuidadoso com reescritas parciais em documentos curtos.
Uma ferramenta humanizadora pode baixar minha pontuação? Este artigo não faz afirmação de eficácia. A direção de design do Turnitin é preferir erros por omissão a falsos alarmes, o modelo itera, e qualquer promessa sobre um resultado de detecção futuro não é uma que uma ferramenta possa fazer honestamente. O que podemos dizer é que revisar com o relatório em mãos diz a você quais passagens moveram, e revisar às cegas não.
Continue lendo