Sapling AI Detector مقابل Turnitin: ماذا تقول الوثائق الرسمية فعلًا

كاشف الذكاء الاصطناعي من Sapling وخاصية كشف الكتابة بالذكاء الاصطناعي في Turnitin من تطوير فريقين مختلفين، ويقومان على نماذج مختلفة في الأساس. كلٌّ منهما درّب على بياناته الخاصة، ويصنّف النصوص بطريقته الخاصة. وحين يستخدم كاشفان نموذجين مختلفين، يخرجان بنتيجتين مختلفتين على النص نفسه. فقد يحصل مقطع يصنّفه Sapling على أنه 70% بالذكاء الاصطناعي على نسبة 25% من Turnitin، أو العكس. ولا يعني ذلك بالضرورة أن إحدى النتيجتين خاطئة؛ فهما تقديران احتماليان صادران عن نموذجين مختلفين درّبا على مجموعتَي بيانات مختلفتين.

لا توجد نسبة كشف واحدة تتفق عليها جميع الأدوات، ومقال لماذا يحصل النص نفسه على نتيجة مختلفة في كل كاشف يتعمّق في أسباب هذا الاختلاف. كل كاشف يخرج بتقديره الخاص. أمّا التعامل مع نتائج الأدوات المختلفة وكأنها تقيس الأمر نفسه بالوحدة نفسها، فلا يولّد سوى الارتباك.

نحن لا ندّعي أن إحدى الأداتين أدقّ من الأخرى. ما نفعله هو عرض ما تقوله وثائق Turnitin عن نظامها، وعن سبب صدور نتائج عنه لا تتطابق مع نتائج Sapling.

توثّق Turnitin خطوات محدّدة للوصول إلى نتيجة الكتابة بالذكاء الاصطناعي:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (عند إرسال ورقة بحثية إلى Turnitin، تُستخرج الجمل منها وتُقسَّم إلى مقاطع متداخلة لتحليلها والتنبؤ بنتيجتها. ويصنّف نموذج كشف الذكاء الاصطناعي كل مقطع ويمنحه قيمة بين 0 و1، تدلّ على احتمال أن يكون النص بشريًا أو مُولَّدًا بالذكاء الاصطناعي. وترث كل جملة مؤهَّلة داخل هذه المقاطع نتيجة المقطع الذي تنتمي إليه. ولأن المقاطع متداخلة، قد تحصل بعض الجمل على أكثر من نتيجة، تُدمَج بعد ذلك في نتيجة واحدة. ثم تُجمَّع نتائج الجمل هذه وتُستخدم لحساب نتيجة الكتابة بالذكاء الاصطناعي على مستوى المستند كله.)

تقوم هذه العملية على استخراج الجمل، وتقسيمها إلى وحدات متداخلة، وتقييم كل مقطع، ودمج نتائج الجمل، ثم تجميعها في نسبة مئوية على مستوى المستند. وقد تستخدم الكواشف الأخرى، ومنها Sapling، استراتيجيات مختلفة في التقسيم، أو وحدات تنبؤ مختلفة، أو طرقًا مختلفة في التجميع. ولذلك لن تخرج الأداتان برقمين متطابقين على النص نفسه.

توضّح وثائق Turnitin كذلك أن نسبة الكتابة بالذكاء الاصطناعي ونتيجة التطابق (Similarity) أمران منفصلان: "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (نتيجة التطابق ونسبة الكشف عن الكتابة بالذكاء الاصطناعي مستقلتان تمامًا، ولا تؤثّر إحداهما في الأخرى). وتشير نتيجة التطابق إلى نسبة النص المطابق الموجود في المستند المُرسَل، مقارنةً بمجموعة المحتوى الشاملة التي تستخدمها Turnitin في فحص التطابق. يمكن أن يكون المستند عالي التطابق ومنخفض الذكاء الاصطناعي، أو العكس. ومقال تقرير الذكاء الاصطناعي من Turnitin مقابل تقرير التطابق يقرأ التقريرين في ضوء بعضهما. الرقمان لا يؤثّر أحدهما في الآخر.

تعلن Turnitin هدفًا محدّدًا لمعدّل الإيجابيات الخاطئة:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (نسعى إلى تعظيم فعالية كاشفنا مع إبقاء معدّل الإيجابيات الخاطئة لدينا — أي تصنيف نص مكتوب بالكامل بقلم إنسان على أنه مُولَّد بالذكاء الاصطناعي — دون 1% في المستندات التي تزيد فيها نسبة الكتابة بالذكاء الاصطناعي عن 20%.)

وتعيد الوثائق صياغة هذا الهدف على النحو الآتي: "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (بعبارات أخرى، قد نصنّف مستندًا كتبه إنسان على أنه مكتوب بالذكاء الاصطناعي، وذلك في مستند واحد من كل 100 مستند مكتوب بالكامل بقلم إنسان). وهذه الصياغة تُسقط شرط "أكثر من 20% من الكتابة بالذكاء الاصطناعي". والصيغة التي تتضمّن عتبة الـ 20% هي الأدقّ.

وللتحقّق من هذا الهدف، تصف Turnitin إطار الاختبار الذي تعتمده: "To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate." (ولتعزيز إطار الاختبار لدينا وتشخيص الاتجاهات الإحصائية للإيجابيات الخاطئة، نجري قبل كل تحديث أو إصدار نموذج جديد اختبارات على أكثر من 700,000 ورقة بحثية إضافية كُتبت قبل إطلاق ChatGPT، لمزيد من التحقّق من بقاء معدّل الإيجابيات الخاطئة لدينا دون 1%.)

هذا ما تقوله Turnitin عن نظامها. أمّا كيف تنعكس نسبة الواحد في المئة حين تُرسَل أعمال الجامعة بأعداد كبيرة، فانظر ما الذي يعنيه معدّل إيجابيات خاطئة بنسبة 1%. وقد تكون لدى Sapling أهداف مختلفة للدقة، أو عمليات تحقّق مختلفة، أو قد لا تنشر أرقامًا قابلة للمقارنة من الأساس. لا يسعنا إجراء مقارنة مباشرة في الدقة؛ كل ما نستطيعه هو نقل ما تذكره وثائق Turnitin.

طول المستند يؤثّر في طريقة تعامل كاشف Turnitin مع النص. فمع المستندات القصيرة، تعمل آلية الاحتساب على نحو مختلف. وتذكر الوثائق:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (في المستندات القصيرة التي لا تزيد على بضع مئات من الكلمات، سيكون التنبؤ في معظمه "كل شيء أو لا شيء"، لأننا نُجري التنبؤ على مقطع واحد دون أي فرصة للتداخل.)

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (هذا يعني أن بعض النصوص التي تجمع بين محتوى مُولَّد بالذكاء الاصطناعي ومحتوى أصلي قد تُعلَّم بالكامل على أنها مُولَّدة بالذكاء الاصطناعي.)

آلية التداخل التي توزّع النتائج وتخفّف حدّتها في المستندات الطويلة لا تعمل حين يكون النص مقطعًا واحدًا. وهكذا قد يعود نص من بضع مئات من الكلمات يجمع بين كتابة بشرية وأخرى بالذكاء الاصطناعي بنتيجة 100%، وهي إحدى الطرق التي تفضي إلى لماذا يقول Turnitin إن عملك مكتوب بالذكاء الاصطناعي بنسبة 100%. هذا سلوك بنيوي مرتبط بالنصوص القصيرة.

وإذا أعطى Sapling المستند القصير نفسه نتيجة مختلفة، فذلك يعود جزئيًا إلى أن الأداتين لا تعالجان النصوص القصيرة بالطريقة نفسها.

تحجب Turnitin النتائج الرقمية التي تقلّ عن 20%. وتذكر الوثائق:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (لتجنّب وقوع إيجابيات خاطئة محتملة، لا تُنسَب أي نتيجة أو إبرازات إلى نتائج كشف الذكاء الاصطناعي الواقعة في النطاق من 1% إلى 19%. وعند رصد ذكاء اصطناعي دون عتبة الـ 20% في التقرير، يُشار إليه الآن بعلامة نجمية (*%) دون إسناد أي نسبة مئوية.)

المستند الذي يقدّر نموذج Turnitin أنه 8% بالذكاء الاصطناعي سيظهر في التقرير على هيئة علامة نجمية، لا على هيئة الرقم 8%. ولا تُطبَّق أي إبرازات على النص. والغرض من ذلك هو عدم إظهار إيجابيات خاطئة محتملة في نطاق تنخفض فيه الثقة، وهو ما يُشرح بتوسّع في ما الذي تعنيه العلامة النجمية (*%) في نتيجة الذكاء الاصطناعي على Turnitin.

قد يعرض Sapling النتائج في هذا النطاق كنسبة مئوية كاملة، وقد تُبرز أدوات أخرى النص عند أي مستوى غير صفري. أمّا Turnitin فتحجب عمدًا الرقم والإبرازات معًا دون 20%. وهذه القاعدة في العرض كفيلة بأن تجعل الأداةَين تخرجان مخرجات مختلفة جدًا للمستند نفسه المنخفض في الذكاء الاصطناعي.

إذا كنت تقارن نتائج Sapling وTurnitin على المستند نفسه، فإليك الخلاصة:

• نموذجان منفصلان، ونتيجتان منفصلتان. تستخدم Sapling وTurnitin نموذجَي كشف مختلفين، ولا يُتوقّع أن تتطابق نتيجتاهما.
• Turnitin تحتسب النتيجة بالتقسيم ثم التجميع. تُستخرج الجمل، وتُقسَّم إلى وحدات متداخلة، وتُقيَّم، ثم تُدمَج نتائجها وتُجمَّع. ونتيجة الذكاء الاصطناعي ونتيجة التطابق مستقلتان تمامًا.
• Turnitin تستهدف معدّل إيجابيات خاطئة دون 1% في المستندات التي تزيد فيها نسبة الكتابة بالذكاء الاصطناعي عن 20%، بعد أن تحقّقت منه على أكثر من 700,000 ورقة بحثية إضافية كُتبت قبل إطلاق ChatGPT.
• المستندات القصيرة تحصل على نتائج من نوع «كل شيء أو لا شيء». بضع مئات من الكلمات قد تعود بنتيجة 0% أو 100% حتى وإن كان النص مختلطًا.
• النتائج دون 20% تظهر على هيئة علامة نجمية. لا تظهر أي نسبة مئوية رقمية ولا أي إبرازات في النطاق من 1 إلى 19%.

يمكن إعادة تشغيل المقاطع المؤهَّلة دون أي تكلفة.