تنشر Turnitin معدلين مختلفين للإيجابيات الخاطئة، ومعدل الجمل هو 4%.

إذا كان أمامك تقرير حُدِّدت فيه بضع جمل، فإن نسبة 4% هي احتمال أن تكون أي واحدة من تلك الجمل المُحدَّدة مكتوبة فعلاً بيد إنسان. فقد تكون العلامة على تلك الجملة بعينها خاطئة، و"نحو 4%" هو معدل حدوث ذلك. إنه رقم لكل جملة، لا لكل مستند، ولا يمكن استنتاج أحدهما من الآخر.

وصفت كبيرة مسؤولي المنتجات في Turnitin، Annie Chechitelli، الأمر على هذا النحو في يونيو 2023:

"Our sentence-level false positive rate is around 4%. This means that there is a 4% likelihood that a specific sentence highlighted as AI-written might be human-written. The incidence for this is more common in documents that contain a mix of human- and AI-written content, particularly in the transitions between human- and AI-written content." (معدل الإيجابيات الخاطئة لدينا على مستوى الجملة يبلغ نحو 4%. وهذا يعني أن هناك احتمالاً بنسبة 4% لأن تكون جملة محددة مُعلَّمة على أنها مكتوبة بالذكاء الاصطناعي مكتوبة في الواقع بيد إنسان. وحدوث ذلك أكثر شيوعاً في المستندات التي تخلط بين محتوى مكتوب بيد إنسان ومحتوى مكتوب بالذكاء الاصطناعي، ولا سيما في المواضع الانتقالية بينهما.)

تنطبق نسبة 4% على جملة سبق تعليمها. إنها تخبرك بشيء عن دقة علامة بعينها، لا عن عدد العلامات التي ستراها في مستند كامل.

بالنسبة للمستندات، تنشر Turnitin معدلاً منفصلاً أقل:

"Our document false positive rate - incorrectly identifying fully human-written text as AI-generated within a document- is less than 1% for documents with 20% or more AI writing." (معدل الإيجابيات الخاطئة لدينا على مستوى المستند، أي التحديد الخاطئ لنص مكتوب بالكامل بيد إنسان داخل مستند بوصفه مُنتَجاً بالذكاء الاصطناعي، يقل عن 1% في المستندات التي تبلغ نسبة الكتابة بالذكاء الاصطناعي فيها 20% أو أكثر.)

أمران لافتان. أولاً، يصف هذا المعدل حالة مستند كامل جرى تعليمه خطأً على أنه يحتوي على نص مكتوب بالذكاء الاصطناعي، في حين أنه مكتوب بالكامل بيد إنسان. وثانياً، إن رقم أقل من 1% مشروط تحديداً بالمستندات التي تحتوي على 20% أو أكثر من الكتابة بالذكاء الاصطناعي، أي المستندات المختلطة التي يوجد فيها بالفعل نص مكتوب بالذكاء الاصطناعي.

وهذه هي النقطة التي يسهل فيها الخطأ، وتستحق أن نكون دقيقين بشأنها: لا أحد الرقمين المنشورين مخصّص لبحث كتبته أنت بالكامل.

تُوصَف نسبة 4% بأنها سمة للمستندات المختلطة، "particularly in the transitions between human- and AI-written content." (ولا سيما في المواضع الانتقالية بين المحتوى المكتوب بيد إنسان والمحتوى المكتوب بالذكاء الاصطناعي). والبحث الخالي من النص المكتوب بالذكاء الاصطناعي لا يحتوي على مثل هذه المواضع الانتقالية، وبالتالي فإن السيناريو الذي تربط به Turnitin نسبة 4% لا يصف حالتك.

لكن رقم أقل من 1% لا يتدخل ليغطيك أنت أيضاً. أعد قراءة صياغته: إنه "less than 1% for documents with 20% or more AI writing." (أقل من 1% في المستندات التي تبلغ نسبة الكتابة بالذكاء الاصطناعي فيها 20% أو أكثر). هذا الرقم مشروط، والمستند الذي لا يحتوي على كتابة بالذكاء الاصطناعي لا يستوفي هذا الشرط.

إذن لكل من الرقمين نطاقه، والبحث المكتوب بالكامل بيد إنسان يقع خارج كليهما. وهذا جدير بأن يُعرف قبل أن يقتبس أحدهم في وجهك أياً منهما وكأنه قد حسم المسألة.

قدمت Turnitin نقطة بيانات محددة عن موضع ظهور هذه الجمل التي جرى تعليمها خطأً:

"As explained in my earlier article, there is a correlation between these sentences and their proximity in the document to actual AI writing. 54% of the time, these sentences are located right next to actual AI writing." (كما شرحت في مقالتي السابقة، ثمة علاقة بين هذه الجمل ومدى قربها داخل المستند من الكتابة الفعلية بالذكاء الاصطناعي. وفي 54% من الحالات، تقع هذه الجمل ملاصقة تماماً للكتابة الفعلية بالذكاء الاصطناعي.)

المقصود بـ"هذه الجمل" هو الإيجابيات الخاطئة، أي الجمل المكتوبة بيد إنسان والتي جرى تعليمها مع ذلك. وأكثر من نصفها يقع ملاصقاً لنص مكتوب فعلاً بالذكاء الاصطناعي. وهذا يتسق مع التصريح السابق بأن المواضع الانتقالية بين الكتابة البشرية والكتابة بالذكاء الاصطناعي هي حيث تتركز الإيجابيات الخاطئة.

ولهذا السبب يعمل هذا الإحصاء في الاتجاه المعاكس بالنسبة لك. فإذا كانت العلامات مبعثرة في بحث لا يوجد فيه أي نص مكتوب بالذكاء الاصطناعي، فإن الآلية التي تصفها Turnitin هنا ليست هي التي تُنتجها. إنه مجرد بيان لموضع تكدس أخطائها في المستندات المختلطة، لا أكثر.

يوضح المنشور نفسه أن التعليم هو نقطة انطلاق لا نتيجة، ويوجّه هذا القول للمدرسين، وهم من تريد أنت أن يقرأوه:

"Consider highlighted sentences as areas of interest because they're predicted to be close to where AI writing is present. But a small percentage of times, the AI model could get it wrong. So, use the information to initiate a conversation, not to draw a conclusion." (اعتبر الجمل المُعلَّمة مناطق تستحق الاهتمام، لأن المتوقع أن تكون قريبة من الموضع الذي توجد فيه الكتابة بالذكاء الاصطناعي. لكن في نسبة صغيرة من الحالات قد يخطئ نموذج الذكاء الاصطناعي. لذا استخدم هذه المعلومة لبدء حوار، لا لاستخلاص نتيجة.)

كما يستبعد الأمر الذي يفترض الطلاب في أغلب الأحيان أنهم يُقاسون على أساسه. ليس هناك رقم مطالب ببلوغه:

"Remember that there is no 'right' or 'target' score with the AI writing indicator, just like with a Similarity Score." (تذكّر أنه لا توجد درجة «صحيحة» ولا درجة «مستهدفة» في مؤشر الكتابة بالذكاء الاصطناعي، تماماً كما هو الحال مع Similarity Score.)

لا شيء مما سبق يقول لك ما إذا كنت في ورطة، لأن أي رقم منشور لا يفعل ذلك. أما ما يقدمه لك فهو طريقة لإبقاء الحوار على التقرير نفسه بدلاً من نسبة مئوية.

• اسأل عن المقاطع المعنية، واحصل على التقرير لا على لقطة شاشة. الجملتان المُعلَّمتان والرقم على مستوى المستند شيئان مختلفان، والتعليمات هي الجزء الوحيد الذي له موضع يمكنك الإشارة إليه.
• اسأل أي رقم يُقتبس في وجهك، واقرأ شرطه بصوت عالٍ. يحمل رقم أقل من 1% عبارة "for documents with 20% or more AI writing" (للمستندات التي تبلغ نسبة الكتابة بالذكاء الاصطناعي فيها 20% أو أكثر) داخل جملته نفسها. فإذا كان هذا الشرط لا يصف بحثك، فقل ذلك.
• خذ معك تعليمات Turnitin نفسها. فهي تقول للمدرسين إن عليهم أن يستخدموا التعليم لبدء حوار، لا للوصول إلى نتيجة. وتلك الجملة موجهة إلى الشخص الذي يمسك تقريرك، وقد اقتبسناها أعلاه كلمة بكلمة.
• احتفظ بما يُظهر كيف كُتب البحث — المسودات، وسجل الإصدارات، والملاحظات، والقراءات التي قمت بها. ذلك دليل على المؤلف، أما النسبة المئوية فليست كذلك.