Cortar palavras altera a sua pontuação de IA no Turnitin?

O número no seu relatório de IA não é uma porcentagem de todo o seu trabalho. É uma porcentagem daquilo que o Turnitin chama de "qualifying text," (texto elegível), um subconjunto da sua entrega, não o todo. Se cortar palavras move esse número depende de quais palavras você remove e de se elas pertencem a esse subconjunto.

The displayed percentage indicates the amount of qualifying text within the submission that Turnitin's AI writing detection model determines was generated by AI. (A porcentagem exibida indica a quantidade de texto elegível, dentro da entrega, que o modelo de detecção de escrita por IA do Turnitin determina ter sido gerada por IA.)

Essa frase vem da página de perguntas frequentes do Turnitin sobre os recursos de detecção de escrita por IA. A expressão a reter é "qualifying text." (texto elegível). A porcentagem é uma fatia desse conjunto, não de tudo o que você carregou. Portanto, antes de apagar um único parágrafo para ficar abaixo de um limite de palavras, você precisa saber o que conta como elegível e o que não conta.

O Turnitin define "qualifying text" (texto elegível) nessa mesma página de perguntas frequentes, e a definição é mais estreita do que a maioria dos estudantes supõe quando vê um relatório pela primeira vez.

This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures. (Este texto elegível inclui apenas frases em prosa, ou seja, analisamos apenas blocos de texto escritos em frases gramaticalmente padrão e não incluímos outros tipos de escrita como listas, marcadores (estruturas curtas que não são frases) ou outras estruturas que não são frases.)

Portanto, o denominador, a base a partir da qual a porcentagem é calculada, são as frases em prosa. Tudo o que não for uma frase em prosa fica fora dessa base. Para um detalhamento maior do que entra e do que fica fora dessa categoria, veja o que significa texto elegível no Turnitin. Com base na definição acima, aqui está a versão curta:

• Frases em prosa (frases gramaticalmente padrão): contam como texto elegível
• Listas e marcadores: excluídos, descritos como "short non-sentence structures" (estruturas curtas que não são frases)
• Outras estruturas que não são frases: excluídas pela mesma formulação

É aqui que fica prático. Como o denominador é apenas a prosa, cortar partes diferentes do seu trabalho tem efeitos diferentes sobre aquilo contra o que a porcentagem é medida.

• Cortar frases em prosa: o denominador muda
• Cortar listas ou marcadores: o denominador permanece igual. A definição acima os indica como excluídos
• Cortar uma tabela: depende do que há nela. As notas de versão do Turnitin de agosto de 2023 dizem "We are now able to process long-form prose text in tables." (Agora conseguimos processar texto em prosa de forma longa em tabelas.) Entradas curtas em uma tabela não são frases em prosa; um parágrafo dentro de uma célula é.

É aqui que a documentação deixa de ajudar. O Turnitin não diz se remover prosa empurrará a porcentagem para cima, para baixo ou a deixará onde está. O resultado depende de qual prosa você remove: frases marcadas ou não marcadas. Não há como saber isso de antemão, a menos que você já tenha um relatório. E mesmo com um relatório em mãos, os destaques mostram o que o modelo marcou na versão atual, não o que marcará depois de você editar. O que a documentação permite dizer é o que move o denominador e o que não move. Ela não permite dizer em que direção o número vai quando o denominador se move.

Há um segundo problema que aparece quando você corta muito. A página de perguntas frequentes do Turnitin reconhece que documentos curtos se comportam de outro modo.

In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. (Em documentos mais curtos, onde há apenas algumas centenas de palavras, a predição será principalmente "tudo ou nada", porque estamos prevendo em um único segmento, sem oportunidade de sobreposição.)

Assim que um documento encolhe para algumas centenas de palavras, o modelo toma o que é essencialmente uma única decisão sobre o texto inteiro. A porcentagem deixa de ser uma leitura fina e passa a se aproximar de um julgamento binário. Essa é a nossa inferência a partir da citação, não a formulação do Turnitin. A citação em si diz "all or nothing" (tudo ou nada) e explica o motivo: um único segmento, sem sobreposição.

Results show that our accuracy increases with a little more text so submissions that contain less than 300 words may result in an AI writing score that is likely less accurate. (Os resultados mostram que a nossa precisão aumenta com um pouco mais de texto, de modo que entregas com menos de 300 palavras podem resultar em uma pontuação de escrita por IA provavelmente menos precisa.)

Essa afirmação não está na página de perguntas frequentes. Ela aparece em uma nota de versão de dezembro de 2023, na página do Turnitin sobre o modelo de detecção de escrita por IA. Leia com atenção: diz "less accurate," (menos precisa), não "higher" (mais alta) nem "lower." (mais baixa). Precisão diz respeito a se a pontuação reflete a realidade, não à direção em que o número se move. Uma pontuação menos precisa pode passar do ponto ou ficar aquém. A documentação não diz qual das duas coisas. O que isso significa para você é que cumprir o seu limite de palavras e permanecer na faixa em que a leitura é confiável podem ser dois objetivos distintos e às vezes conflitantes. Se quiser entender por que trabalhos curtos costumam apresentar leituras extremas, veja por que o Turnitin marca trabalhos curtos como 100 % IA.

Diante de tudo o que foi dito, aqui está o que você pode fazer quando precisa encurtar um trabalho e a porcentagem de IA não sai da sua cabeça.

• Se você já tem um relatório, verifique quais seções de prosa estão destacadas antes de cortar. A prosa marcada e a não marcada afetam a porcentagem de maneiras diferentes, e você quer saber qual é qual antes de começar a apagar.
• Apare primeiro as listas e os marcadores. Eles são indicados como excluídos, portanto cortá-los reduz a sua contagem de palavras sem tocar no denominador. Tabelas não são uma suposição segura: verifique se as células contêm entradas curtas ou parágrafos inteiros antes de tratá-las como livres.
• Observe a extensão. As perguntas frequentes do Turnitin dizem que, em documentos de "only a few hundred words" (apenas algumas centenas de palavras), a predição se torna principalmente "all or nothing" (tudo ou nada), e a sua nota de versão diz que a precisão aumenta com um pouco mais de texto.
• Se a entrega tiver menos de 300 palavras, trate a porcentagem com ceticismo. O próprio Turnitin diz que a pontuação pode ser menos precisa nessa extensão. Isso diz respeito à confiabilidade da leitura, não a uma direção em que o número vai se mover.

Nada disso lhe diz que a porcentagem vai cair depois do corte. O denominador pode se deslocar, a precisão pode cair, mas a direção não é algo que a documentação preveja. Se você prefere trabalhar na própria prosa em vez de apenas aparar em volta dela, reduzir a sua pontuação de IA sem quebrar as citações trata disso separadamente. A ferramenta de condensação do HumanPen reduz a prolixidade rumo a uma contagem de palavras-alvo que você define, para o .docx inteiro ou para os parágrafos que selecionar, e devolve um arquivo editável. Ela não promete uma pontuação de IA específica, porque, pelas razões que este artigo acabou de expor, ninguém pode fazê-lo.