Originality.ai contra Turnitin: lo que dice la documentación oficial

Originality.ai y Turnitin son detectores de IA distintos, construidos sobre modelos diferentes con datos de entrenamiento y umbrales de clasificación propios. La puntuación de uno no predice la del otro. La FAQ de Turnitin describe su mecanismo: "When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (Cuando se envía un trabajo a Turnitin, las oraciones del envío se extraen y segmentan en secciones superpuestas para el análisis de predicción. Cada segmento es clasificado por el modelo de detección de IA y recibe un valor entre 0 y 1, que indica la probabilidad de que el texto sea probablemente humano o generado por IA). La FAQ también establece un objetivo de falsos positivos por debajo del 1% para documentos con más del 20% de escritura con IA, y usa la convención del asterisco para puntuaciones entre 1-19%. Originality.ai publica sus propias cifras de precisión, pero son declaradas por el proveedor y no se pueden verificar independientemente contra la documentación de Turnitin. La puntuación que importa es la de la herramienta que use tu institución. Si tu escuela usa Turnitin, ninguna puntuación de terceros puede decirte cuál será tu puntuación en Turnitin.

La FAQ describe el proceso de detección:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (Cuando se envía un trabajo a Turnitin, se extraen las oraciones del envío y se dividen en secciones superpuestas para el análisis de predicción. El modelo de detección de IA clasifica cada segmento y le asigna un valor entre 0 y 1, que indica la probabilidad de que el texto sea de autoría humana o generado por IA.)

Los segmentos se superponen, lo que significa que las oraciones pueden recibir múltiples puntuaciones que se combinan. Esta combinación suaviza los errores de predicción individuales y contribuye a la puntuación general del documento. Originality.ai usa su propio enfoque de clasificación, que no está documentado en los materiales de Turnitin. Los dos sistemas están construidos de manera diferente y evalúan el texto de forma distinta.

La FAQ establece un objetivo específico:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Nos esforzamos por maximizar la eficacia de nuestro detector, manteniendo nuestra tasa de falsos positivos (identificar erróneamente texto completamente escrito por humanos como generado por IA) por debajo del 1% en documentos con más de un 20% de escritura con IA.)

A continuación: "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (En otras palabras, podríamos marcar un documento escrito por humanos como generado por IA en uno de cada 100 documentos completamente escritos por humanos).

Este objetivo es específico de Turnitin y se aplica a documentos con más del 20% de escritura con IA. Originality.ai podría tener una tasa de falsos positivos distinta, pero comparar los dos números requiere entender cómo cada proveedor define y mide los falsos positivos. No hacemos afirmaciones de precisión sobre detectores de terceros. Lo que la documentación nos dice es que Turnitin ha establecido explícitamente este objetivo para su propio modelo. Lo que ese objetivo cuesta a escala se trabaja en qué significa una tasa de falsos positivos del 1% cuando una universidad envía 75.000 documentos.

Turnitin tiene una regla específica de visualización para puntuaciones bajas:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (%) and no percentage is attributed." (Para evitar posibles falsos positivos, no se asigna ninguna puntuación ni resaltado para puntuaciones de detección de IA en el rango del 1% al 19%. Cuando se detecta IA por debajo del umbral del 20% en el informe, se indica ahora con un asterisco (%) y no se asigna ningún porcentaje.)

Esto significa que una puntuación de Turnitin que muestra "%" indica que se detectó IA por debajo del 20%, pero el porcentaje exacto se retiene para evitar exagerar la precisión en un rango propenso a falsos positivos. Originality.ai no usa esta convención y mostrará un porcentaje específico en este rango. Un documento que muestra "%" en Turnitin podría mostrar "15%" en Originality.ai. Esto no significa que una herramienta sea más precisa que la otra. Significa que manejan el rango de baja confianza de manera diferente. Qué significa el asterisco (*%) en una puntuación de IA de Turnitin cubre el lado de Turnitin.

Los diferentes detectores de IA producen puntuaciones diferentes en el mismo texto porque usan modelos distintos, datos de entrenamiento distintos y umbrales distintos. La FAQ de Turnitin describe cómo su modelo combina puntuaciones de segmentos superpuestos en un porcentaje a nivel de documento. Un detector diferente podría usar una estrategia de segmentación distinta, una escala de puntuación diferente o un método de agregación distinto. La FAQ también señala que los documentos cortos producen predicciones de todo o nada: "In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (En documentos más cortos donde solo hay unos pocos cientos de palabras, la predicción será mayormente 'todo o nada' porque estamos prediciendo sobre un solo segmento sin la oportunidad de superposición). Originality.ai puede o no tener el mismo comportamiento en documentos cortos.

La puntuación de IA y la puntuación de similitud también son independientes en Turnitin: "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (La puntuación de Similarity y el porcentaje de detección de escritura con IA son completamente independientes y no se influyen entre sí). Un detector que combine IA y similitud en una sola puntuación producirá un número que no es comparable al porcentaje de IA separado de Turnitin. Por qué el mismo texto tiene puntuaciones distintas en cada detector recoge las razones.

Para resumir lo que hemos cubierto:

• Originality.ai y Turnitin son detectores distintos con modelos diferentes. Las puntuaciones no coincidirán.
• El detector de Turnitin divide el texto en segmentos superpuestos y asigna puntuaciones de probabilidad entre 0 y 1.
• El objetivo de falsos positivos de Turnitin es inferior al 1% para documentos con más del 20% de escritura con IA.
• Turnitin usa un asterisco para puntuaciones entre 1-19% para evitar exagerar la precisión.
• Los documentos cortos reciben predicciones de todo o nada en Turnitin debido a la evaluación de un solo segmento.
• La puntuación que importa es la de la herramienta que use tu institución.

Si recibes un informe de IA de Turnitin y quieres corregir los pasajes marcados, importa el informe y trabájalos. Los pasajes elegibles pueden volverse a ejecutar sin costo adicional.