Humbot في مواجهة Turnitin: ماذا تقول الوثائق الرسمية فعلًا

كاشف الذكاء الاصطناعي في Humbot وكاشف الكتابة بالذكاء الاصطناعي في Turnitin من تطوير فريقين مختلفين، ويقوم كل منهما على نموذج مختلف. وكلاهما تدرّب على بياناته الخاصة، ويصنّف النصوص بأسلوبه الخاص. وحين يستخدم كاشفان نموذجين مختلفين، يخرجان بنتيجتين مختلفتين للنص نفسه. فقد يمنح Humbot مقطعًا ما نسبة 70% كتابةً بالذكاء الاصطناعي، في حين يمنحه Turnitin نسبة 25%، أو العكس. ولا يعني أيٌّ من النتيجتين بالضرورة وجود خطأ. فهما تقديران احتماليان صادران عن نموذجين مختلفين تدرّبا على مجموعتَي بيانات مختلفتين.

لا توجد نسبة كشف عالمية للذكاء الاصطناعي تتفق عليها جميع الأدوات، وهذا ما يشرحه بالتفصيل سبب اختلاف نتيجة النص نفسه من كاشف إلى آخر. كل كاشف يقدّم تقديره الخاص. أمّا التعامل مع نسب صادرة عن أدوات مختلفة كما لو أنها تقيس الشيء نفسه بالوحدة نفسها، فلا يؤدي إلا إلى الارتباك.

نحن لا نزعم أن إحدى الأداتين أدقّ من الأخرى. ما نفعله هو عرض ما تقوله وثائق Turnitin عن نظامها، وعن سبب خروج هذا النظام بنسب لا تتطابق مع نسب Humbot.

توضّح وثائق Turnitin خطوات محددة للوصول إلى نسبة الكتابة بالذكاء الاصطناعي:

“When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score.” (عند إرسال ورقة بحثية إلى Turnitin، تُستخرج الجمل من النص المُرسَل وتُقسَّم إلى مقاطع متداخلة لأغراض تحليل التنبؤ. ويصنّف نموذج كشف الذكاء الاصطناعي كل مقطع ويمنحه قيمة بين 0 و1، تدل على احتمال أن يكون النص بشريًا أو مُنتَجًا بالذكاء الاصطناعي. وترث كل جملة مستوفية للشروط داخل هذه المقاطع نتيجة المقطع الذي تنتمي إليه. ولأن المقاطع تتداخل، قد تحمل بعض الجمل أكثر من نتيجة، تُجمَّع بعد ذلك في نتيجة واحدة. ثم تُجمَع نتائج الجمل هذه ويُستعان بها في حساب النسبة الإجمالية للكتابة بالذكاء الاصطناعي في المستند.)

تعتمد هذه العملية على استخراج الجمل، وتقسيمها إلى وحدات متداخلة، وتقييم كل مقطع، وجمع نتائج الجمل، ثم تجميعها في نسبة على مستوى المستند كلّه. وقد تستخدم الكواشف الأخرى، ومنها Humbot، أساليب مختلفة في التقسيم، أو وحدات تنبؤ مختلفة، أو طرقًا مختلفة للتجميع. ولذلك لن تتطابق أرقام الأداتين على النص نفسه.

وتوضح وثائق Turnitin كذلك أن نسبة الكشف عن الكتابة بالذكاء الاصطناعي ونسبة التشابه (Similarity) أمران منفصلان. “The Similarity score and the AI writing detection percentage are completely independent and do not influence each other.” (نسبة التشابه ونسبة الكشف عن الكتابة بالذكاء الاصطناعي مستقلتان تمامًا، ولا تؤثر إحداهما في الأخرى.) وتشير نسبة التشابه إلى مقدار النص المطابق الذي عُثر عليه في المستند المُرسَل عند مقارنته بمجموعة المحتوى الشاملة التي يستخدمها Turnitin للتحقق من التشابه. قد يحمل المستند نسبة تشابه مرتفعة ونسبة ذكاء اصطناعي منخفضة، أو العكس. ولا تؤثر النسبتان إحداهما في الأخرى.

يعلن Turnitin هدفًا محددًا للإيجابيات الخاطئة:

“We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing.” (نسعى إلى تعظيم فعالية كاشفنا مع إبقاء نسبة الإيجابيات الخاطئة لدينا — أي تصنيف نص مكتوب بالكامل بيد بشرية على أنه مُنتَج بالذكاء الاصطناعي — دون 1% في المستندات التي تتجاوز نسبة الكتابة بالذكاء الاصطناعي فيها 20%.)

وتعيد الوثائق صياغة الأمر على النحو التالي: “In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents.” (بعبارات أخرى، قد نصنّف مستندًا كتبه بشر على أنه مكتوب بالذكاء الاصطناعي، بمعدل مستند واحد من كل 100 مستند مكتوب بالكامل بيد بشرية.) وهذه الصياغة الجديدة تُسقط قيد "تجاوز نسبة الكتابة بالذكاء الاصطناعي 20%". والصياغة التي تتضمن حدّ 20% أدقّ، ويشرح هل نسبة 20% ذكاءً اصطناعيًا مرتفعة جدًا سبب كون هذا الرقم هدفًا هندسيًا وضعته الشركة، لا علامة نجاح.

“To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate.” (ولتدعيم إطار الاختبار لدينا وتشخيص الاتجاهات الإحصائية للإيجابيات الخاطئة، نجري قبل كل تحديث أو إصدار نموذج جديد اختبارات على أكثر من 700,000 ورقة بحثية إضافية كُتبت قبل إطلاق ChatGPT، لمزيد من التحقق من أن نسبة الإيجابيات الخاطئة لدينا تقل عن 1%.)

هذا ما يقوله Turnitin عن نظامه. وتضع ماذا تعني نسبة إيجابيات خاطئة تبلغ 1% هذا الرقم في سياق حجم ما ترفعه الجامعة فعليًا. وقد تكون لدى Humbot أهداف مختلفة للدقة، أو عمليات تحقق مختلفة، أو قد لا ينشر أرقامًا قابلة للمقارنة. ولا يمكننا إجراء مقارنة مباشرة من حيث الدقة. كل ما نستطيعه هو نقل ما تذكره وثائق Turnitin.

يؤثر طول المستند في طريقة تعامل كاشف Turnitin مع النص. فمع المستندات القصيرة، تعمل آلية حساب النسبة بشكل مختلف. وتقول الوثائق:

“In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap.” (في المستندات القصيرة التي لا تتجاوز بضع مئات من الكلمات، يكون التنبؤ في معظمه «كل شيء أو لا شيء»، لأننا نتنبأ بناءً على مقطع واحد دون أن تتاح فرصة للتداخل.)

“This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated.” (وهذا يعني أن بعض النصوص التي تمزج بين محتوى مُنتَج بالذكاء الاصطناعي ومحتوى أصلي قد تُحدَّد بالكامل على أنها مُنتَجة بالذكاء الاصطناعي.)

آلية التداخل التي توزّع النتائج على المستندات الطويلة لا تعمل حين يكون النص مقطعًا واحدًا. فبضع مئات من الكلمات التي تمزج بين كتابة بشرية وأخرى بالذكاء الاصطناعي قد تعود بنتيجة 100%، وهي من الأسباب المذكورة في لماذا يقول Turnitin إن عملك مكتوب بالذكاء الاصطناعي بنسبة 100%. وهذا سلوك بنيوي مرتبط بالنصوص القصيرة.

وإذا خرج Humbot بنتيجة مختلفة للمستند القصير نفسه، فمرجع ذلك جزئيًا إلى أن الأداتين لا تعالجان النصوص القصيرة بالطريقة نفسها.

يحجب Turnitin النسب الرقمية التي تقل عن 20%. وتقول الوثائق:

“To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed.” (لتجنّب وقوع إيجابيات خاطئة محتملة، لا تُحدَّد أي نسبة أو تمييزات لنتائج الكشف عن الذكاء الاصطناعي الواقعة في نطاق 1% إلى 19%. وعند رصد كتابة بالذكاء الاصطناعي دون حدّ 20% في التقرير، يُشار إلى ذلك الآن بنجمة (*%) دون تحديد أي نسبة مئوية.)

المستند الذي يقدّر نموذج Turnitin نسبة الكتابة بالذكاء الاصطناعي فيه بـ 8% سيظهر في التقرير كنجمة، لا كرقم 8%. ولا تُطبَّق أي تمييزات على النص. والغرض من ذلك هو تجنّب إظهار إيجابيات خاطئة محتملة ضمن نطاق منخفض الثقة، وهو ما يشرحه بمزيد من التفصيل معنى النجمة (*%) في نتيجة الذكاء الاصطناعي على Turnitin.

قد يعرض Humbot النسب في هذا النطاق كنسبة مئوية كاملة. وقد تميّز أدوات أخرى النص عند أي نسبة لا تساوي صفرًا. أمّا Turnitin فيحجب عمدًا كلًا من النسبة والتمييزات دون حدّ 20%. ويعني هذا الاصطلاح في حساب النسب أن الأداتين ستخرجان مخرجات مختلفة تمامًا للمستند نفسه حين تكون نسبة الذكاء الاصطناعي فيه منخفضة.

إذا كنت تقارن نتائج Humbot وTurnitin على المستند نفسه، فها هي الخلاصة:

• نموذجان مختلفان، ونتيجتان مختلفتان. يستخدم Humbot وTurnitin نموذجَي كشف مختلفين، ولا يُتوقع أن تتطابق نسباهما.
• Turnitin يحتسب النسبة بالتقسيم ثم التجميع. تُستخرج الجمل، وتُقسَّم إلى وحدات متداخلة، وتُقيَّم، ثم تُجمَع نتائجها، ويُجمَع بعضها إلى بعض. ونسبة الذكاء الاصطناعي ونسبة التشابه مستقلتان تمامًا.
• Turnitin يستهدف نسبة إيجابيات خاطئة دون 1% في المستندات التي تتجاوز نسبة الكتابة بالذكاء الاصطناعي فيها 20%، وقد تحقق من ذلك بالاختبار على أكثر من 700,000 ورقة بحثية إضافية كُتبت قبل إطلاق ChatGPT.
• المستندات القصيرة تحصل على نتيجة «كل شيء أو لا شيء». فبضع مئات من الكلمات قد تعود بنسبة 0% أو 100% حتى وإن كان النص مزيجًا.
• النسب التي تقل عن 20% تظهر كنجمة. فلا تظهر أي نسبة مئوية رقمية ولا أي تمييزات في نطاق 1-19%.

يمكن إعادة معالجة المقاطع المؤهلة دون أي رسوم.