Originality.ai vs Turnitin AI Detection: o que diz a documentação

Originality.ai e Turnitin são detectores de IA diferentes, construídos sobre modelos distintos, com dados de treinamento e limites de classificação próprios. A pontuação de um não prevê a do outro. O FAQ do Turnitin explica o funcionamento: o texto é dividido em segmentos sobrepostos, cada um classificado com uma pontuação de probabilidade entre 0 e 1. O FAQ também informa que a meta de falso positivo é inferior a 1% para documentos com mais de 20% de escrita por IA e descreve a convenção do asterisco para pontuações entre 1% e 19%. O Originality.ai publica suas próprias afirmações de precisão, mas são dados informados pelo próprio fornecedor e não podem ser verificados independentemente contra a documentação do Turnitin. A pontuação que importa é a da ferramenta que sua instituição usa. Se sua universidade usa o Turnitin, nenhuma pontuação de terceiros pode dizer qual será seu resultado no Turnitin.

O FAQ descreve o processo de detecção:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." ("Quando um trabalho é enviado ao Turnitin, frases do envio são extraídas e segmentadas em seções sobrepostas para análise de predição. Cada segmento é classificado pelo modelo de detecção de IA e recebe um valor entre 0 e 1, indicando a probabilidade de o texto ser provavelmente humano ou gerado por IA.")

Os segmentos se sobrepõem, ou seja, as mesmas frases podem receber múltiplas pontuações que são consolidadas. Essa consolidação suaviza erros individuais de predição e contribui para a pontuação geral do documento. O Originality.ai usa sua própria abordagem de classificação, que não está documentada nos materiais do Turnitin. Os dois sistemas são construídos de formas distintas e avaliam o texto de maneira diferente.

O FAQ estabelece uma meta específica:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." ("Nos esforçamos para maximizar a eficácia de nosso detector, mantendo nossa taxa de falsos positivos — identificar incorretamente texto totalmente escrito por humanos como gerado por IA — abaixo de 1% para documentos com mais de 20% de escrita por IA.")

A frase seguinte: "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." ("Em outras palavras, podemos sinalizar um documento escrito por humanos como escrito por IA em um a cada 100 documentos totalmente escritos por humanos.")

Essa meta é específica do Turnitin e se aplica a documentos com mais de 20% de escrita por IA. O Originality.ai pode ter uma taxa de falso positivo diferente, mas comparar os dois números exige entender como cada fornecedor define e mede falsos positivos. Não fazemos afirmações de precisão sobre detectores de terceiros. O que a documentação nos diz é que o Turnitin declarou explicitamente essa meta para seu próprio modelo. O que essa meta representa em escala é analisado em o que uma taxa de falso positivo de 1% significa quando uma universidade envia 75.000 trabalhos.

O Turnitin tem uma regra específica de exibição para pontuações baixas:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (%) and no percentage is attributed." ("Para evitar possível incidência de falsos positivos, nenhuma pontuação ou destaques é atribuída para pontuações de detecção de IA na faixa de 1% a 19%. Quando IA é detectada abaixo do limite de 20% no relatório, isso agora é indicado com um asterisco (%) e nenhuma porcentagem é atribuída.")

Isso significa que uma pontuação do Turnitin mostrando "%" indica que IA foi detectada abaixo de 20%, mas a porcentagem exata é omitida para evitar exagerar a precisão numa faixa propensa a falsos positivos. O Originality.ai não usa essa convenção e exibirá uma porcentagem específica nessa faixa. Um trabalho mostrando "%" no Turnitin pode mostrar "15%" no Originality.ai. Isso não significa que uma ferramenta seja mais precisa que a outra. Significa que elas lidam com a faixa de baixa confiança de forma diferente. O que o asterisco (*%) significa numa pontuação AI do Turnitin cobre o lado do Turnitin.

Detectores de IA diferentes produzem pontuações diferentes no mesmo texto porque usam modelos distintos, dados de treinamento diferentes e limites variados. O FAQ do Turnitin descreve como seu modelo consolida pontuações de segmentos sobrepostos numa porcentagem por documento. Um detector diferente pode usar estratégia de segmentação distinta, escala de pontuação diferente ou método de agregação outro. O FAQ também nota que documentos curtos produzem previsões do tipo "tudo ou nada": "In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." ("Em documentos mais curtos, com apenas algumas centenas de palavras, a predição será principalmente 'tudo ou nada' porque estamos prevendo em um único segmento, sem oportunidade de sobreposição.") O Originality.ai pode ou não ter o mesmo comportamento em documentos curtos.

A pontuação de IA e a pontuação de similaridade também são independentes no Turnitin: "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." ("A pontuação de Similaridade e a porcentagem de detecção de escrita por IA são completamente independentes e não se influenciam.") Um detector que combina IA e similaridade numa única pontuação produzirá um número não comparável à porcentagem separada de IA do Turnitin. Por que o mesmo texto pontua diferentemente em cada detector reúne as razões.

Para resumir o que cobrimos:

• Originality.ai e Turnitin são detectores diferentes com modelos distintos. As pontuações não vão coincidir.
• O detector do Turnitin divide o texto em segmentos sobrepostos e atribui pontuações de probabilidade entre 0 e 1.
• A meta de falso positivo do Turnitin é inferior a 1% para documentos com mais de 20% de escrita por IA.
• O Turnitin usa um asterisco para pontuações na faixa de 1% a 19% para evitar exagerar a precisão.
• Documentos curtos recebem previsões do tipo "tudo ou nada" no Turnitin devido à avaliação por segmento único.
• A pontuação que importa é a da ferramenta que sua instituição usa.

Se você receber um relatório AI do Turnitin e quiser tratar os trechos sinalizados, importe o relatório e trabalhe neles. Trechos elegíveis podem ser reanalisados sem custo adicional.