Originality.ai وTurnitin AI Detection: ماذا تقول الوثائق الرسمية

Originality.ai وTurnitin كاشفان مختلفان للذكاء الاصطناعي، مبنيان على نموذجين مختلفين ببيانات تدريب مختلفة وعتبات تصنيف مختلفة. فلن تتنبأ نتيجة أحدهما بنتيجة الآخر. وتصف الأسئلة الشائعة من Turnitin الآلية هكذا: يُقسَّم النص إلى مقاطع متداخلة، ويُصنَّف كل مقطع باحتمال بين 0 و1. وتذكر الأسئلة الشائعة أيضاً أن الهدف هو إيجابية كاذبة أقل من 1% للوثائق التي تزيد نسبة الكتابة بالذكاء الاصطناعي فيها عن 20%، وتُطبَّق قاعدة النجمة للنتائج بين 1% و19%. وتُنشر Originality.ai ادعاءاتها الخاصة بالدقة، لكن هذه مُعلنة من البائع ولا يمكن التحقق منها بشكل مستقل ضد وثائق Turnitin. النتيجة التي تهمك هي نتيجة الأداة التي تستخدمها مؤسستك. فإذا كانت مدرستك تستخدم Turnitin، فلن تخبرك أي نتيجة من طرف ثالث بما ستكون عليه نتيجتك على Turnitin.

تصف الأسئلة الشائعة عملية الكشف:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (عند رفع ورقة إلى Turnitin، تُستخرج جمل من الورقة وتُقسَّم إلى مقاطع متداخلة لتحليل التنبؤ. ويُصنِّف نموذج كشف الذكاء الاصطناعي كل مقطع ويُعطيه قيمة بين 0 و1، تدل على احتمال أن يكون النص بشرياً أو مولَّداً بالذكاء الاصطناعي.)

المقاطع تتداخل، ما يعني أن الجمل قد تتلقى عدة درجات تُجمَع معاً. هذا التجميع يُنعِّم أخطاء التنبؤ الفردية ويساهم في الدرجة الكلية للوثيقة. وتستخدم Originality.ai نهج تصنيف خاصاً بها غير موثق في مواد Turnitin. النظامان مبنيان بشكل مختلف ويُقيّمان النص بشكل مختلف.

تذكر الأسئلة الشائعة هدفاً محدداً:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (نسعى إلى تعظيم فعالية كاشفنا مع إبقاء معدل الإيجابيات الكاذبة -أي تحديد نص مكتوب بالكامل بواسطة البشر خطأً على أنه مولَّد بالذكاء الاصطناعي- أقل من 1% للوثائق التي تزيد نسبة الكتابة بالذكاء الاصطناعي فيها عن 20%.)

ثم الجملة التالية: "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (بعبارة أخرى، قد نُعلِّم وثيقة مكتوبة بشرياً على أنها مكتوبة بالذكاء الاصطناعي في حالة واحدة من كل 100 وثيقة مكتوبة بالكامل بواسطة البشر.)

هذا الهدف خاص بـ Turnitin وينطبق على الوثائق التي تزيد نسبة الكتابة بالذكاء الاصطناعي فيها عن 20%. وقد يكون لـ Originality.ai معدل إيجابيات كاذبة مختلف، لكن مقارنة الرقمين تتطلب فهم كيف يحدد كل بائع الإيجابيات الكاذبة ويقيسها. ولا نُصدر ادعاءات دقة حول كواشف الأطراف الثالثة. ما تخبرنا به الوثائق هو أن Turnitin صرّحت صراحة بهذا الهدف لنموذجها الخاص. أمّا تكلفة هذا الهدف على النطاق الواسع فمحسوبة في ماذا يعني معدل إيجابيات كاذبة 1% عندما ترفع جامعة 75,000 ورقة.

لدى Turnitin قاعدة عرض محددة للنتائج المنخفضة:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (%) and no percentage is attributed." (لتجنب حدوث إيجابيات كاذبة محتملة، لا تُنسَب أي درجة أو تظليل لنتائج كشف الذكاء الاصطناعي في نطاق 1% إلى 19%. وعند كشف ذكاء اصطناعي تحت عتبة 20% في التقرير، يُشار إليه الآن بنجمة (%) دون نسبة محددة.)

هذا يعني أن نتيجة Turnitin التي تُظهر "%" تدل على كشف ذكاء اصطناعي تحت 20%، لكن النسبة المئوية الدقيقة تُحجَب لتجنب المبالغة في الدقة في نطاق عرضة للإيجابيات الكاذبة. ولا تستخدم Originality.ai هذه القاعدة وستعرض نسبة محددة في هذا النطاق. فقد تُظهر ورقة "%" على Turnitin و"15%" على Originality.ai. وهذا لا يعني أن إحدى الأداتين أدق من الأخرى. بل يعني أنهما تتعاملان مع نطاق الثقة المنخفضة بشكل مختلف. ماذا تعني النجمة (*%) في نتيجة كشف الذكاء الاصطناعي على Turnitin يغطي جانب Turnitin.

كواشف الذكاء الاصطناعي المختلفة تُنتج نتائج مختلفة على النص نفسه لأنها تستخدم نماذج مختلفة وبيانات تدريب مختلفة وعتبات مختلفة. وتصف الأسئلة الشائعة من Turnitin كيف يجمع نموذجها درجات المقاطع المتداخلة في نسبة على مستوى الوثيقة. فقد يستخدم كاشف مختلف استراتيجية تقسيم مختلفة أو مقياس درجات مختلف أو طريقة تجميع مختلفة. وتلاحظ الأسئلة الشائعة أيضاً أن الوثائق القصيرة تُنتج توقعات «كل شيء أو لا شيء»: "In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (في الوثائق الأقصر التي تحتوي على بضع مئات من الكلمات فقط، سيكون التنبؤ في الغالب «كل شيء أو لا شيء» لأننا نتنبأ على مقطع واحد دون فرصة للتداخل.) وقد يكون أو لا يكون لـ Originality.ai السلوك نفسه في الوثائق القصيرة.

نتيجة الذكاء الاصطناعي ونتيجة التشابه مستقلتان أيضاً في Turnitin: "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (درجة التشابه ونسبة كشف الكتابة بالذكاء الاصطناعي مستقلتان تماماً ولا تؤثر إحداهما في الأخرى.) والكاشف الذي يدمج الذكاء الاصطناعي والتشابه في درجة واحدة سيُنتج رقماً غير قابل للمقارنة مع نسبة الذكاء الاصطناعي المنفصلة من Turnitin. لماذا يُسجِّل النص نفسه نتائج مختلفة على كل كاشف يجمع الأسباب.

لتلخيص ما غطيناه:

• Originality.ai وTurnitin كاشفان مختلفان بنموذجين مختلفين. لن تتطابق النتائج.
• كاشف Turnitin يقسم النص إلى مقاطع متداخلة ويُعيّن درجات احتمالية بين 0 و1.
• هدف Turnitin للإيجابيات الكاذبة أقل من 1% للوثائق التي تزيد نسبة الكتابة بالذكاء الاصطناعي فيها عن 20%.
• تستخدم Turnitin نجمة للنتائج في نطاق 1%-19% لتجنب المبالغة في الدقة.
• الوثائق القصيرة تحصل على توقعات «كل شيء أو لا شيء» في Turnitin بسبب التقييم على مقطع واحد.
• النتيجة التي تهمك هي نتيجة الأداة التي تستخدمها مؤسستك.

إذا استلمت تقرير Turnitin AI وتريد معالجة الفقرات المُعلَّمة، استورد التقرير واعمل عليها. الفقرات المؤهلة يمكن إعادة تشغيلها دون رسوم.