هل نسبة 20% من الذكاء الاصطناعي عالية جداً؟ لماذا لا يوجد حدٌّ مطلق

لا يوجد حدٌّ معتمد في القطاع، ولا نطاق آمن مُتفق عليه، ولا رقم من Turnitin يحدد ما يُعتبر «كثيراً جداً». المؤسسات تضع ممارساتها الخاصة وتختلف اختلافاً واسعاً: فبعضها يعتبر أي علم سبباً للتحدث مع الطالب، وبعضها يتجاهل المؤشر تماماً، كما أن جامعة Vanderbilt عطّلته كلياً.

إذن الإجابة الصادقة على سؤال «هل 20 في المئة نسبة عالية؟» هي أنها تعتمد على سياسة يمكنك قراءتها بنفسك، ولا يمكن الإجابة عنها بناءً على الرقم وحده. أي مقال يمنحك نسبة «آمنة» جاهزة فقد اخترعها من عنده.

السؤال يخفي في طياته ثلاثة قرارات مختلفة. Turnitin تختار قاعدة إبلاغ تحدد ما يظهر في واجهتها. والمؤسسة تختار قاعدة تحقيق تحدد متى يراجع الموظفون العمل المُقدَّم. والجهة التأديبية تطبق معياراً إثباتياً عند تقرير ما إذا كانت السياسة قد أُخلَّت. الرقم نفسه قد يظهر في المراحل الثلاث، لكنه لا يحدد أياً منها بذاته.

حد العرض بنسبة 20% ليس قاعدة سوء سلوك بنسبة 20%. التعامل مع الأمرين على أنهما قابلان للتبادل هو الخطأ الجوهري وراء معظم نصائح «الدرجة الآمنة».

كما أن تقريري 20% ليسا بالضرورة قابلين للمقارنة. فقد يكون أحد المستندين نثراً تأهيلياً في غالبيته، بينما يهيمن على الآخر الجداول والملاحق. وقد يُظهر أحدهما كتلة واحدة متمركزة، بينما يُظهر الآخر فقرات متفرقة. النسبة تضغط تلك الحالات المختلفة في عنوان واحد، لذا يبدأ التفسير من التقرير والسياسة، لا من مخطط ألوان عالمي.

يوجد حد موثق واحد فقط، وهو قاعدة عرض. فمنذ يوليو 2024، عندما تنخفض نتيجة Turnitin من 1% إلى 19%، تعرض نجمة دون نسبة مئوية رقمية أو تظليل. تقول Turnitin إن اختباراتها وجدت نسبة أعلى من الإيجابيات الكاذبة في النطاق المنخفض، وأن إخفاء الرقم يقلل سوء التفسير.

النجمة تحذير من النطاق المنخفض للنموذج. لا تعني صفراً، ولا تخبر المؤسسة بما يجب أن تستنتجه تأديبياً.

نسبة 20% مرئية ونسبة 19% مخفية تقعان على طرفي قاعدة الواجهة المتباينة، لكن هذا الفرق بنقطة واحدة لا يخلق هاوية علمية. فبالقرب من أي حد، يمكن لتغييرات صغيرة في النموذج أو النص أن تغير ما يراه المستخدم. ولهذا يجب قراءة تقرير 20% مع السياق، لا التعامل معه على أنه مختلف جوهرياً عن النجمة.

التقارير القديمة تزيد التعقيد. التغيير لم يكن بأثر رجعي، لذا قد يُظهر تقديم قديم (قبل 8 يوليو 2024) نسبة رقمية منخفضة لا يزال يُخفيها تقديم جديد. احتفظ بتاريخ الإنشاء، وإصدار الكاشف إن وُجد، ونسخة PDF الأصلية أو لقطة الشاشة مع سجل القضية.

عند إطلاق الكاشف في أبريل 2023، روّجت Turnitin لمعدل إيجابيات كاذبة على مستوى المستند أقل من 1 في المئة ضمن شروط تقييمها. وبحلول يونيو 2023، قال كبير مسؤولي المنتجات في الشركة لصحيفة Inside Higher Ed إن رقم الإيجابيات الكاذبة على مستوى الجملة كان حوالي 4 في المئة. هذان الرقمان يستخدمان وحدات مختلفة ولا ينبغي عرضهما كتعديل بسيط من 1 إلى 4.

معدل الإيجابيات الكاذبة يحتاج أيضاً إلى مقام ومجتمع أساسي. فخطأ المستوى الجملي يسأل كم مرة تُسمَّى الجمل البشرية خطأً، وخطأ المستوى المستندي يسأل كم مرة يتخطى مستند بشري بالكامل قاعدة قرار. ولا يمكن ضرب أيٍّ منهما في 200 مليون ورقة راجعتها Turnitin في عامها الأول لتقدير عدد الاتهامات، لأن مزيج التقديمات البشرية والمساعدة بالذكاء الاصطناعي وغير المؤهلة والمكررة غير معروف.

استخدمت Vanderbilt نحو 75,000 تقديم سنوي لتوضيح الحجم المؤسسي: فحتى معدل صغير مزعوم قد يعني العديد من الحالات التي تتطلب مراجعة عادلة. لم تثبت أن 750 طالباً سيتعرضون للاتهام خطأً بالتحديد. فالعلم قد لا يتحول أبداً إلى اتهام، وقد تحتوي الورقة على جمل كثيرة دون أن تصبح مستنداً ذا إيجابية كاذبة.

المعدل الأساسي مهم لسبب آخر. فإذا كان استخدام الذكاء الاصطناعي المحظور نادراً في تقييم معيّن، فقد تشكّل الإيجابيات الكاذبة حصة كبيرة من جميع الأعلام حتى مع ارتفاع النوعية. وإذا كان الاستخدام شائعاً، فقد يكون للقيمة التنبؤية الإيجابية للكاشف نفسه قيمة مختلفة. فبدون معرفة الانتشار والحساسية والنوعية وعملية مراجعة المؤسسة، لا تستطيع النسبة المعروضة الإجابة عن «ما احتمال أن يكون هذا الطالب قد غشّ؟»

نسبة الكاشف، ومعدل الإيجابيات الكاذبة، واحتمال سوء السلوك: ثلاثة كميات مختلفة. ولا يجوز استبدال إحداها بالأخرى.

نشرت Turnitin تحليلاً أكثر تحديداً للأخطاء من اختبارات جمعت جملًا بشرية وأخرى كُتبت بالذكاء الاصطناعي: 54 في المئة من جمل الإيجابيات الكاذبة المُلاحظة كانت ملاصقة مباشرة لجملة كُتبت بالذكاء الاصطناعي، و26 في المئة أخرى كانت على بعد جملتين اثنتين.

في ذلك التقييم، كانت أربع من كل خمس جمل ذات إيجابيات كاذبة ضمن جملتين من نص الذكاء الاصطناعي. هذا يصف سلوك الحدود في المستندات المختلطة؛ ولا يوضح أين تقع الإيجابيات الكاذبة في ورقة بشرية بالكامل، ولا يجوز تعميمه على كل إصدار لاحق من النموذج.

لهذا عاقبة عملية. ففي ورقة تحتوي على بعض الفقرات المساعدة بالذكاء الاصطناعي، الجمل المحيطة بها هي الأكثر عرضة للتعليم خطأً، والنسبة لا تخبرك أيّها أي. التوزيع يخبرك، وهذا هو الحجة لقراءة التقرير نفسه لا عنوانه الرئيسي. كما تُبلغ Turnitin أيضاً عن نسبة أعلى من الإيجابيات الكاذبة في الجمل الافتتاحية والختامية للمستند - المقدمات والخواتيم - وعدّلت طريقة تجميعها بسبب ذلك.

ولهذا السبب فإن حذف أو إعادة صياغة كل جملة مُظلّلة ليس استجابة تشخيصية سليمة. فبعض الجمل الحدودية المُعلَّمة قد تكون بشرية، وبعض الفقرات غير المُظلّلة قد تكون مساعدة بالذكاء الاصطناعي لكن فات الكاشف رصدها. التقرير يحدد مناطق للمراجعة السياقية. أما دليل التأليف فيأتي من المسودات والمصادر وتصاريح الاستخدام المسموح به وقدرة الكاتب على شرح العمل.

• ماذا تفعل مؤسستي بهذا الرقم؟ كثيرون يعتبرونه سبباً للنظر لا نتيجةً قائمة بذاتها. وتقول Turnitin نفسها إنها لا تحدد سوء السلوك.
• أين تقع الأعلام؟ تركُّزها في المنهجيات والتعريفات والخلفيات - فقرات من المفترض أن تُقرأ بطريقة نمطية - يعني شيئاً مختلفاً عن توزعها المتناثر في حُجّتك.
• كم من المستند جرى تقييمه؟ النسبة تغطي النثر فقط. فالورقة الكثيرة الجداول أو القوائم أو الببليوغرافيا قد تكون قُيِّم منها أقل بكثير مما تظن.
• أي حالة تقرير وأي تاريخ أنظر إليه؟ النجمة و0% والنتيجة الرقمية وخطأ الأهلية كلها تعني أشياء مختلفة، وتقارير ما قبل يوليو 2024 تتبع قاعدة عرض أقدم.
• ما الدليل الآخر المطلوب؟ اسأل عما إذا كان المراجعون يفحصون المسودات والمصادر وسجل الإصدارات والكتابات السابقة وتفسير الطالب، بدلاً من اعتبار المؤشر كافياً.

للمعلّمين: دوّنوا هذه العملية كتابةً قبل استخدام الميزة: من يجوز له عرض التقرير، وما الذي يُطلق محادثة، وكيف يتلقى الطلاب الأدلة، وما التسهيلات المنطبقة، ومن يتخذ القرار النهائي. للطلاب: اطلبوا تلك العملية المكتوبة واحتفظوا بالتقديم الأصلي دون تغيير. كلا الخطوتين أنفع من الجدل حول ما إذا كانت 20 «مرتفعةً» بطبيعتها.