معدل الإيجابيات الكاذبة في Turnitin: شرح مفصّل

تذكر Turnitin هدفها صراحةً في توثيقها: "We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (نسعى لزيادة فعالية كاشفنا إلى أقصى حد مع إبقاء معدل الإيجابيات الكاذبة -أي تحديد النص المكتوب بشريًا بالكامل خطأً على أنه مولَّد بالذكاء الاصطناعي- دون 1% للمستندات التي تحوي أكثر من 20% كتابة بالذكاء الاصطناعي.)

هذا هو الرقم الرسمي. لكن لاحظ القيد الذي يرافقه: الهدف ينطبق على المستندات التي تحوي أكثر من 20% كتابة بالذكاء الاصطناعي، وليس على كل المستندات. لا تدّعي Turnitin أن واحدًا من كل مئة مستند بشكل عام هو إيجابية كاذبة. المعدل مُعرَّف ضمن فئة محددة، وهذه الفئة هي المستندات المكتوبة بالذكاء الاصطناعي بنسبة 20% على الأقل.

ثم تعيد Turnitin صياغة الرقم بلغة مبسطة لتوضيحه: تقريبًا وثيقة واحدة من كل مئة وثيقة مكتوبة بشريًا بالكامل قد تُعلَّم. هذا التوضيح لا يغيّر الهدف، بل يعيد صياغة نفس الرقم المشروط، والشرط يبقى ملازمًا له. وما يبدو عليه الطرف الأقصى من ذلك فسؤال بحد ذاته: هل يمكن أن تكون نتيجة Turnitin للذكاء الاصطناعي 100% ومع ذلك يكون النص بشريًا؟

هدف الـ 1% ليس مجرد رقم تسويقي. تصف Turnitin عملية التحقق التي تقف خلفه: "To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate." (لتعزيز إطار اختبارنا وتشخيص الاتجاهات الإحصائية للإيجابيات الكاذبة، نُجري قبل كل تحديث أو إصدار نموذج جديد اختبارات على أكثر من 700 ألف ورقة أكاديمية إضافية كُتبت قبل إطلاق ChatGPT لمواصلة التحقق من صحة معدل إيجابيات كاذبة أقل من 1%.)

ثلاث تفاصيل في تلك الجملة تستحق الترتيب: أولًا، حجم مجموعة الاختبار كبير — أكثر من 700 ألف ورقة. ثانيًا، كُتبت هذه الأوراق قبل ظهور ChatGPT، لذا فهي بشرية حقًا. ثالثًا، يُجرى الاختبار قبل كل تحديث أو إصدار نموذج جديد، وليس مرة واحدة فقط. يُعاد التحقق من رقم الـ 1% ضد مجموعة جديدة من الكتابات الأكاديمية المعروفة بأنها بشرية في كل مرة يتغيّر فيها النموذج.

هذا مهم عندما ترى الرقم مكررًا على مواقع طرف ثالث. الرقم الرسمي مرتبط بإجراء اختبار محدد. عندما يقول أحدهم «تمتلك Turnitin معدل إيجابيات كاذبة 1%» بلا قيد، فإنهم يعنون عادةً المستندات التي تحوي أكثر من 20% كتابة بالذكاء الاصطناعي، مُتحقَّق منها مقابل أوراق أكاديمية ما قبل ChatGPT. القيد جزء مما تعنيه الدعوى الرسمية فعليًا.

أهم جزء في التوثيق ليس هدف الـ 1% بحد ذاته، بل المفاضلة التي تقبلها Turnitin صراحةً لتحقيقه. ينص البيان الكامل على ما يلي: "In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (من أجل الحفاظ على هذا المعدل المنخفض البالغ 1% للإيجابيات الكاذبة، هناك احتمال أن نفوّت بعض النصوص المكتوبة بالذكاء الاصطناعي في مستند. نحن مرتاحون لذلك لأننا لا نريد تحديد النص المكتوب بشريًا خطأً على أنه مكتوب بالذكاء الاصطناعي. على سبيل المثال، إذا حدّدنا أن 50% من مستند كُتب على الأرجح بواسطة أداة ذكاء اصطناعي، فقد يحتوي في الواقع على ما يصل إلى 65% كتابة بالذكاء الاصطناعي.)

هذا غير معتاد. منتج كشف يصرّح علنًا بأنه يُفضّل تفويت نصوص الذكاء الاصطناعي على الخطأ في تعليم نصوص البشر. جملة "We're comfortable with that" هي الشركة تجعل المفاضلة صريحة. الإيجابيات الكاذبة هي ما يحسّنونه؛ والسلبيات الكاذبة هي التكلفة المقبولة.

الجملة الأخيرة توضح العاقبة العملية. عندما يقول التقرير إن مستندًا ما 50% ذكاء اصطناعي، فقد تصل النسبة الحقيقية إلى 65%. النسبة المئوية المُبلَّغ عنها قد تقلّل من محتوى الذكاء الاصطناعي الفعلي. هذه خاصية مصمَّمة في النظام، وليست عيبًا — وهي تتبع مباشرةً من هدف الإيجابيات الكاذبة المنخفض.

بمجرد إبقاء القيد ملازمًا، يصبح «معدل الإيجابيات الكاذبة» أداة أدق من النسخة المختصرة التي تظهر في العناوين. إليك ما تعنيه الأرقام الموثَّقة فعليًا.

أولًا، المعدل يستهدف المستندات التي تحوي أكثر من 20% كتابة بالذكاء الاصطناعي. المستندات دون هذا الحد خارج الشرط المُعلَن، ولا تقدّم Turnitin ادعاءً منفصلًا عنها. رقم الـ 1% الرسمي ليس ادعاءً شاملاً عن كل المستندات.

ثانيًا، تفويت نصوص الذكاء الاصطناعي جزء من التصميم. لأن النظام يضبط نفسه ضد الإيجابيات الكاذبة، يتسلل بعض نصوص الذكاء الاصطناعي. نتيجة ليست عالية لا تعني بالضرورة أن المستند بشري بالكامل. قد تعني أن محتوى الذكاء الاصطناعي قُدِّر بأقل من قيمته.

ثالثًا، النتيجة العالية المُبلَّغ عنها إشارة أقوى من النتيجة المنخفضة. إذا قال التقرير إن مستندًا ما 80% ذكاء اصطناعي، فمنطق المفاضلة لا يزال ساريًا — النسبة الحقيقية قد تكون أعلى. لكن اتجاه الخطأ هو الجزء المهم: تحيّز النموذج المعروف هو التقليل، لذا النتيجة العالية أصعب في رفضها من المنخفضة.

عمليًا يُقرأ هذا كالتالي: الإيجابيات الكاذبة تحدث نادرًا، والسلبيات الكاذبة أكثر شيوعًا، والنتيجة المنخفضة ليست دليلًا على التأليف البشري، والنتيجة العالية أكثر موثوقية نسبيًا. لا يتعارض أي من هذا مع المستندات. هذا ما تعنيه المفاضلة الموثَّقة. ينشر البائع أيضًا توجيهات لمن يقرأ نتيجتك: ما يُقال لمدرّسك ليفعله عندما تكون نسبة الذكاء الاصطناعي عالية.

تضع توجيهات Turnitin نفسها النتيجة داخل إطار قرار أوسع. ينص التوثيق على: "Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (قد لا يكون نموذج كشف الكتابة بالذكاء الاصطناعي دقيقًا دائمًا (قد يخطئ في تحديد النص المكتوب بشريًا أو المولَّد بالذكاء الاصطناعي أو المعاد صياغته بالذكاء الاصطناعي)، لذا لا ينبغي استخدامه كأساس وحيد لإجراءات سلبية ضد طالب.)

ويستمر: "It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (يتطلب الأمر مزيدًا من التدقيق والحكم البشري بالاقتران مع تطبيق المؤسسة لسياساتها الأكاديمية المحددة لتحديد ما إذا كان قد حدث سوء سلوك أكاديمي.)

هذا هو الإطار الذي يُفترض بالطلاب والمربّين العمل ضمنه. النسبة المئوية نقطة بيانات. والحكم قرار يتخذه البشر: المدرّس، القسم، المؤسسة، بتطبيق سياساتهم الأكاديمية الخاصة. تقول Turnitin نفسها إن النتيجة لا ينبغي أن تحمل القرار وحدها. تدير الشركة أيضًا قناة للخطأ نفسه: كيفية الإبلاغ عن إيجابية كاذبة لـ Turnitin.

إذا اختلفتَ مع نتيجة ما، فالطريق الموثَّق هو التعامل مع الرقم كنقطة بيانات واحدة ومناقشته مع الشخص الذي يملك السياق الأكاديمي — مدرّسك. هذه هي الخطوة التي تصفها المستندات الرسمية، وهي الخطوة الأكثر اتساقًا مع تأطير الشركة نفسه. وإذا لم يحسم ذلك الأمر، فإن كيفية الطعن في علامة كشف ذكاء اصطناعي خاطئة، وما الدليل الذي ستقبله جامعتك يوضح ما يلي.

مع وضع كل هذا في الحسبان، الخلاصة العملية بسيطة: النتيجة موجودة لتُفسَّر، والرقم المُعلَّم هو بداية نقاش، وليس نهايته. إذا أردت رؤية كيف تُقرأ مسودتك الخاصة قبل تقديمها، فإن إعادة التشغيل المجانية تتيح لك فحص نصك. جرّبها هنا.