ZeroGPT أم Turnitin: لماذا لا تتطابق نتيجتا الكشف عن الكتابة بالذكاء الاصطناعي؟

ZeroGPT وTurnitin أداتان مختلفتان للكشف عن الذكاء الاصطناعي: نماذج مختلفة، وبيانات تدريب مختلفة، وعتبات تصنيف مختلفة. فالنسبة المنخفضة على ZeroGPT لا تعني أنك ستحصل على نسبة منخفضة على Turnitin. وتصف صفحة الأسئلة الشائعة لدى Turnitin آلية عملها: يُقسَّم النص إلى مقاطع متداخلة، ويُعطى كل مقطع درجة احتمال تتراوح بين 0 و1. وتحدد الصفحة هدفًا للإيجابيات الخاطئة بأقل من 1% في المستندات التي تتجاوز نسبة الكتابة بالذكاء الاصطناعي فيها 20%. كما يستخدم Turnitin قاعدة النجمة مع النسب الواقعة بين 1% و19%، فيحجب الرقم الدقيق تجنبًا لإيهام القارئ بدقة تفوق الواقع. أما ZeroGPT فيعلن من جانبه أرقام دقة خاصة به، لكنها أرقام يوردها المزوّد نفسه ولا سبيل إلى التحقق منها بالرجوع إلى وثائق Turnitin. فإن كانت مؤسستك تعتمد Turnitin، فنتيجة ZeroGPT ليست مؤشرًا يُعتدّ به.

تصف صفحة الأسئلة الشائعة عملية الكشف على النحو التالي:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (عند إرسال بحث إلى Turnitin، تُستخرج جمل النص المرسَل وتُقسَّم إلى مقاطع متداخلة لأغراض تحليل التنبؤ. ثم يصنّف نموذج الكشف عن الذكاء الاصطناعي كل مقطع ويمنحه قيمة بين 0 و1 تمثل احتمال أن يكون النص بشريًا أو مُولَّدًا بالذكاء الاصطناعي.)

المقاطع متداخلة، أي إن الجملة الواحدة قد تنال أكثر من تقييم، ثم تُجمع هذه التقييمات معًا في نسبة مئوية واحدة على مستوى المستند. أما ZeroGPT فيعمل بنموذجه الخاص، وهو نموذج لا تتناوله مواد Turnitin، وقد يعتمد أسلوبًا مختلفًا تمامًا في التصنيف.

تقول صفحة الأسئلة الشائعة:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (نسعى إلى رفع فعالية كاشفنا إلى أقصى حد، مع إبقاء معدل الإيجابيات الخاطئة — أي اعتبار نص مكتوب بالكامل بيد إنسان مُولَّدًا بالذكاء الاصطناعي — دون 1% في المستندات التي تتجاوز نسبة الكتابة بالذكاء الاصطناعي فيها 20%.)

وفي الجملة التي تليها: "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (بعبارة أخرى، قد نُعلّم مستندًا كتبه إنسان على أنه مكتوب بالذكاء الاصطناعي، وذلك بمعدل مستند واحد من كل 100 مستند مكتوب بالكامل بيد إنسان.)

أما النسب المنخفضة، فقد اتبع Turnitin فيها قاعدة حجب:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (لتجنب احتمال وقوع إيجابيات خاطئة، لا تُسند أي نسبة أو أي تمييزات إلى نتائج الكشف عن الذكاء الاصطناعي الواقعة في نطاق 1% إلى 19%. وعند رصد الذكاء الاصطناعي دون عتبة 20% في التقرير، يُشار إليه بنجمة (*%) من دون إسناد أي نسبة مئوية.)

لا يتبع ZeroGPT هذه القاعدة؛ فهو يعرض في العادة نسبة محددة حتى داخل نطاق الثقة المنخفضة. فقد يظهر البحث على Turnitin بـ"*%"، بينما يظهر على ZeroGPT بـ"12%". وهذا الاختلاف في طريقة العرض لا يدل على أن إحدى الأداتين أدقّ من الأخرى، بل يدل على أن كليهما يتعامل مع نطاق عدم اليقين على نحو مختلف. أما جانب Turnitin من المسألة، فيتناوله هذا المقال: ما الذي تعنيه النجمة (*%) في نتيجة الذكاء الاصطناعي على Turnitin.

تصف صفحة الأسئلة الشائعة سلوكًا بعينه في المستندات القصيرة:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (في المستندات القصيرة التي لا تضم سوى بضع مئات من الكلمات، سيكون التوقع في مجمله 'all or nothing' — أي إما كل شيء أو لا شيء — لأن التنبؤ يجري على مقطع واحد من دون إتاحة التداخل.)

وفي الجملة التي تليها: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (أي إن نصًّا يمزج بين محتوى مُولَّد بالذكاء الاصطناعي ومحتوى أصلي قد يُعلَّم بالكامل على أنه مُولَّد بالذكاء الاصطناعي.)

هذا السلوك مرتبط تحديدًا بأسلوب Turnitin في تقسيم النص. أما ZeroGPT فقد يُظهر السلوك نفسه مع النصوص القصيرة، وقد لا يفعله. فلو اختبرت ملخصًا من 300 كلمة على ZeroGPT فجاءتك النتيجة 0%، فهذا لا يخبرك بشيء عما سيفعله Turnitin بالنص نفسه، لأن توقع Turnitin القائم على مقطع واحد قد يميل إلى أقصى حد مع المدخلات القصيرة. وهذا الميل في أقصى امتداده هو ما يعالجه هذا المقال: لماذا يقول Turnitin إن عملك مكتوب بالذكاء الاصطناعي بنسبة 100%.

نتيجة الذكاء الاصطناعي ونتيجة التطابق مستقلتان على Turnitin: "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (نتيجة التطابق ونسبة الكشف عن الكتابة بالذكاء الاصطناعي مستقلتان تمامًا ولا تؤثر إحداهما في الأخرى.) وتدمج بعض الأدوات المجانية نتيجتي الذكاء الاصطناعي والتطابق في رقم واحد، وهو ما يجعل نسبها غير قابلة للمقارنة بنيويًا مع نسبة الذكاء الاصطناعي المنفصلة لدى Turnitin.

النتيجة الوحيدة ذات الشأن في تسليمك هي تلك التي تُصدرها الأداة التي تعتمدها مؤسستك. فإن كانت جامعتك تستخدم Turnitin، فلن يفيدك أي قدر من الاختبار على ZeroGPT في معرفة نتيجتك على Turnitin. قد يمنحك تمرير البحث على أكثر من كاشف مجاني فكرة عامة عما إذا كانت في نصك أنماط تشبه أنماط الكتابة بالذكاء الاصطناعي، لكن ذلك لا يغني عن نتيجة الأداة المعتمدة في المؤسسة. أما سبب هذا التباين — وكونه تباينًا بنيويًا لا خللًا في إحدى الأدوات — فيشرحه هذا المقال: لماذا تختلف نتيجة النص نفسه من كاشف إلى آخر.

خلاصة ما مررنا به:

• ZeroGPT وTurnitin كاشفان مختلفان يعتمدان نماذج مختلفة، ولذلك لن تتطابق النتائج.
• كاشف Turnitin يقسّم النص إلى مقاطع متداخلة ويمنح كل مقطع درجة احتمال.
• هدف Turnitin للإيجابيات الخاطئة هو أقل من 1% في المستندات التي تتجاوز نسبة الكتابة بالذكاء الاصطناعي فيها 20%.
• يستخدم Turnitin النجمة مع النسب الواقعة بين 1% و19%، حتى لا يوحي بدقة تفوق الواقع في نطاق تكثر فيه الإيجابيات الخاطئة.
• المستندات القصيرة تنال على Turnitin توقعات من قبيل الكل أو لا شيء، لأن التقييم يجري على مقطع واحد.
• النتيجة الوحيدة المهمة هي تلك الصادرة عن الأداة التي تستخدمها مؤسستك.

إذا وصلك تقرير ذكاء اصطناعي من Turnitin وأردت معالجة المقاطع التي تم تحديدها، فـاستورد التقرير واعمل عليها. ويمكن إعادة تشغيل المقاطع المؤهلة من دون أي رسوم.