O Turnitin detecta o LLaMA? O que diz a lista de modelos

Sim. O LLaMA é citado nominalmente na lista de modelos que o Turnitin publica. Segundo essa lista, o modelo de detecção de escrita por IA do Turnitin para submissões em inglês consegue identificar conteúdo vindo de um conjunto de modelos que inclui o LLaMA, ao lado de GPT, Gemini, Claude, Mistral, DeepSeek, Nova, Grok e o1-mini. A lista também abrange "tools based on these LLMs as well," (ferramentas baseadas nesses LLMs também), o que significa que aplicações e serviços construídos sobre os modelos de linguagem do LLaMA entram no escopo de detecção declarado.

O LLaMA é uma família de modelos de código aberto, e isso tem um desdobramento a mais. Existem muitas variantes ajustadas e derivadas, criadas por diferentes organizações a partir dos modelos LLaMA de base. A cláusula "tools based on these LLMs" (ferramentas baseadas nesses LLMs) da redação do Turnitin foi feita justamente para cobrir esses casos; o mesmo desdobramento dos pesos abertos aparece em o Turnitin detecta texto de IA do Mistral. Se toda variante ajustada é pega com a mesma precisão é uma pergunta separada, que a própria lista não responde.

O Turnitin não publica uma tabela de modelos com resultados de detecção do tipo passa/não passa. O que ele oferece é uma lista corrida, separada por vírgulas, dentro da própria documentação. A frase de abertura diz: "Currently, Turnitin's AI writing detection model for English submissions can detect content from" (atualmente, o modelo de detecção de escrita por IA do Turnitin para submissões em inglês consegue identificar conteúdo produzido por) uma lista que inclui o LLaMA ao lado de outros grandes modelos de linguagem. Claude e Gemini aparecem nessa mesma linha, e o Turnitin detecta Claude, Copilot ou Gemini analisa a metade de pesos fechados dela. A lista fecha afirmando que a cobertura se estende a "tools based on these LLMs as well." (ferramentas baseadas nesses LLMs também).

A expressão-chave aqui é "can detect content from." (consegue identificar conteúdo produzido por). Essa redação indica que o detector foi treinado para reconhecer texto gerado por esses modelos. Não é uma promessa de detecção perfeita. A frase que vem logo depois da lista é igualmente importante: "We will continue to expand our detection capabilities to other models in the future." (continuaremos a ampliar as nossas capacidades de detecção para outros modelos no futuro).

No caso específico do LLaMA, o fato de a família de modelos ser de código aberto significa que há muitas ferramentas e variantes ajustadas a jusante. A cláusula "tools based on these LLMs" (ferramentas baseadas nesses LLMs) serve para cobrir esses derivados, trazendo-os para dentro do escopo de detecção declarado. A sensibilidade dessa cobertura pode variar, e voltamos a esse ponto nas seções abaixo.

Para entender por que a detecção não é um simples sim ou não, ajuda olhar o mecanismo descrito pelo Turnitin. Quando um trabalho é submetido, as frases são extraídas e divididas em seções sobrepostas para análise de predição. Cada segmento é classificado pelo modelo de detecção de IA e recebe um valor entre 0 e 1, que indica a probabilidade de o texto ser humano ou gerado por IA. Cada frase elegível dentro desses segmentos herda a pontuação do segmento. Como os segmentos se sobrepõem, uma mesma frase pode receber várias pontuações, que depois são consolidadas em uma única. Essas pontuações por frase são agregadas e usadas para calcular a pontuação geral de escrita por IA do documento.

Ou seja: a porcentagem final do seu relatório é a soma de muitas pequenas predições feitas frase por frase. Não é uma única varredura que carimba o documento inteiro como IA ou como humano. Cada frase contribui para o total, e os segmentos sobrepostos ajudam a suavizar os casos limítrofes.

O modelo do Turnitin não é estático. Segundo a documentação, "As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.. However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed." (à medida que iteramos e desenvolvemos o nosso modelo para detectar melhor os LLMs mais novos, é provável que as nossas capacidades de detecção também mudem, afetando a porcentagem de IA. No entanto, para um documento já submetido, a porcentagem de IA só mudará se ele for submetido novamente para processamento.)

Isso tem uma consequência prática. Se você submete um documento hoje e recebe determinada porcentagem de IA, esse mesmo documento pode receber outra porcentagem se for reenviado semanas ou meses depois. O modelo é atualizado, e essas atualizações podem empurrar as pontuações para qualquer um dos dois lados. Uma passagem que hoje parece humana pode passar a parecer gerada por IA depois de uma atualização, ou o contrário.

Para texto do LLaMA, isso significa que a taxa de detecção que você observa agora pode não ser a mesma que vai observar depois. A lista de modelos confirma que o LLaMA está no escopo, mas a sensibilidade dessa detecção pode variar à medida que o Turnitin aprimora o modelo.

O Turnitin é transparente quanto ao fato de que o detector não pega tudo. A documentação afirma: "In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (para manter essa baixa taxa de 1% de falsos positivos, existe a chance de não detectarmos algum texto escrito por IA em um documento. Estamos tranquilos com isso, porque não queremos apontar de forma incorreta texto escrito por humanos como escrito por IA. Por exemplo, se identificamos que 50% de um documento provavelmente foi escrito por uma ferramenta de IA, ele pode conter até 65% de escrita por IA.)

É uma troca deliberada. O Turnitin prioriza uma baixa taxa de falsos positivos, o que significa aceitar que uma parte do texto de IA passe. Um documento que aponta 50% de IA pode, na verdade, conter até 65% de conteúdo de IA. O detector prefere pecar pela cautela: deixa escapar texto de IA em vez de sinalizar texto humano por engano.

Para entender por que o detector funciona assim, é preciso ver o que ele realmente mede. O modelo do Turnitin não se apoia nas métricas muito citadas nas conversas públicas sobre detecção de IA, que é justamente o tema de o Turnitin usa perplexidade e burstiness para detectar IA. A documentação afirma: "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. Instead, it learns statistical patterns from our training data." (o nosso modelo não é programado explicitamente para avaliar sinais específicos como 'burstiness', 'perplexity' ou outras métricas individuais às vezes citadas em discussões públicas. Em vez disso, ele aprende padrões estatísticos a partir dos nossos dados de treinamento.) Em seguida, o modelo aplica o que aprendeu para classificar o texto. Nas palavras do Turnitin, "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (os nossos classificadores são treinados para detectar essas diferenças de probabilidade das palavras e são proficientes nas sequências de probabilidade de palavras típicas de escritores humanos.)

Em outras palavras, o detector olha padrões de probabilidade das palavras, e não sinais de superfície como variação no tamanho das frases ou raridade do vocabulário. É por isso que um texto de IA muito editado ou reescrito às vezes escapa da detecção, e é por isso que o Turnitin detecta humanizadores de IA gira em torno de até onde foi a reescrita. Se as sequências de probabilidade das palavras mudam o suficiente durante a edição, o classificador pode deixar de reconhecer o texto como gerado por IA. Para as variantes do LLaMA, isso significa que o detector olha os padrões estatísticos do próprio texto, e não qual variante específica o produziu.

Se o seu relatório do Turnitin sinaliza passagens como geradas por IA, o passo mais prático é mexer só nas seções sinalizadas, em vez de reescrever o documento inteiro — a abordagem de reescrever apenas os parágrafos sinalizados por um relatório do Turnitin. Como a pontuação do Turnitin é feita por frase, dá para identificar quais segmentos dispararam a detecção e concentrar a revisão neles.

Mantenha as suas citações, tabelas e formatação intactas. Só as passagens sinalizadas como IA precisam de atenção. Se você revisar e reenviar, lembre-se de que a porcentagem de IA pode mudar por causa das atualizações do modelo, e não apenas por causa das suas edições.

As passagens elegíveis podem ser reprocessadas sem custo.