كاشف الذكاء الاصطناعي من Scribbr مقابل Turnitin: ما تقوله الوثائق فعليًا

كاشف الذكاء الاصطناعي من Scribbr أداة مجانية متاحة للجميع. وكشف الكتابة بالذكاء الاصطناعي من Turnitin مقتصر على المؤسسات، ومعرفة ما إذا كانت جامعتك قد فعّلته مسألة أخرى ناقشناها في هل تستخدم الجامعات كواشف الذكاء الاصطناعي؟. الأداة من بناء فريقين مختلفين وبنموذجين مختلفين. وقد درّبت كل واحدة على بياناتها الخاصة، وتصنّف النص بمنهجها الخاص. وحين يستخدم كاشفان نموذجين مختلفين، يخرجان بدرجات مختلفة للنص نفسه. قد يحصل مقطع تصنّفه Scribbr بنسبة 65% من الذكاء الاصطناعي على 30% في Turnitin، أو العكس. ولا يعني هذا بالضرورة أن إحدى النتيجتين خاطئة. إنها تقديرات احتمالية صادرة عن نماذج مختلفة درّبت على مجموعات بيانات مختلفة.

لا توجد درجة عالمية للكشف عن الذكاء الاصطناعي تتفق عليها كل الأدوات، والأسباب مشروحة في لماذا يُقيَّم النص نفسه بشكل مختلف في كل كاشف. كل كاشف ينتج تقديره الخاص. ومعاملة الدرجات الصادرة عن أدوات مختلفة وكأنها تقيس الشيء نفسه بالوحدات نفسها لا تؤدي إلا إلى الارتباك.

نحن لا ندّعي أيّ الأداتين أدق. نحن نصف ما تقوله وثائق Turnitin عن نظامها، ولماذا ينتج هذا النظام درجات لن تتطابق مع درجات Scribbr.

توثّق Turnitin عملية محددة للوصول إلى درجة الكتابة بالذكاء الاصطناعي:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (عندما تُرسل ورقة بحثية إلى Turnitin، تُستخرج جمل من العمل المُرسَل وتُقسَّم إلى مقاطع متداخلة من أجل تحليل التنبؤ. ويصنّف نموذج كشف الذكاء الاصطناعي كل مقطع ويعطيه قيمة بين 0 و1 تدل على احتمال أن يكون النص من كتابة بشرية أو أن يكون مولّدًا بالذكاء الاصطناعي. وترث كل جملة مؤهلة داخل هذه المقاطع درجة المقطع التي تنتمي إليه. ولأن المقاطع تتداخل، قد تحمل بعض الجمل أكثر من درجة، تُجمع بعد ذلك في درجة واحدة. ثم تُجمَّع درجات الجمل هذه وتُستخدم لحساب درجة الكتابة بالذكاء الاصطناعي للمستند كله.)

تتضمن العملية استخراج الجمل وتقسيمها إلى وحدات متداخلة وتقييم كل وحدة وجمع درجات الجمل، ثم تجميعها في نسبة مئوية على مستوى المستند. وقد تستخدم كواشف أخرى، ومنها Scribbr، استراتيجيات تقسيم مختلفة أو وحدات تنبؤ مختلفة أو طرق تجميع مختلفة. ولن تخرج الأداتان بأرقام متطابقة على النص نفسه.

وتوضّح وثائق Turnitin أيضًا أن نسبة كشف الكتابة بالذكاء الاصطناعي ودرجة التشابه أمران منفصلان. "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (درجة التشابه ونسبة كشف الكتابة بالذكاء الاصطناعي مستقلتان تمامًا ولا تؤثّر إحداهما في الأخرى.) قد يكون المستند عالي التشابه ومنخفض الذكاء الاصطناعي، أو العكس. الرقمان لا يؤثّر أحدهما في الآخر.

تنشر Turnitin هدفًا محددًا للإيجابيات الخاطئة:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (نسعى إلى تعظيم فاعلية كاشفنا مع الحفاظ على معدل الإيجابيات الخاطئة لدينا - أي التصنيف الخاطئ لنص مكتوب بالكامل بيد بشرية على أنه مولّد بالذكاء الاصطناعي - دون 1% في المستندات التي تتجاوز نسبة الكتابة بالذكاء الاصطناعي فيها 20%.)

التقييد مهم. الهدف معلن تحديدًا للمستندات التي تتجاوز نسبة الكتابة بالذكاء الاصطناعي فيها 20%، وهو حدّ لا يعني ما يفترضه الناس، كما يشرح هل نسبة 20% من الذكاء الاصطناعي مرتفعة جدًا؟. هذا ما تقوله Turnitin عن نظامها. وقد تكون لدى Scribbr أهداف دقة مختلفة أو عمليات تحقق مختلفة، أو قد لا تنشر أرقامًا قابلة للمقارنة من الأساس. لا يمكننا إجراء مقارنة مباشرة في الدقة. كل ما يمكننا فعله هو نقل ما تذكره وثائق Turnitin.

يؤثر طول المستند في طريقة معالجة كاشف Turnitin للنص. وفي المستندات القصيرة، تعمل آلية حساب الدرجات بشكل مختلف. تقول الوثائق:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (في المستندات القصيرة التي لا تحتوي إلا على بضع مئات من الكلمات، سيكون التنبؤ في معظمه «كل شيء أو لا شيء»، لأننا نتنبأ بناءً على مقطع واحد دون أن تتاح لنا فرصة التداخل.)

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (يعني هذا أن بعض النصوص التي تمزج بين محتوى مولّد بالذكاء الاصطناعي ومحتوى أصلي قد تُحدَّد باعتبارها مولّدة بالذكاء الاصطناعي بالكامل.)

آلية التداخل التي تخفّف تفاوت الدرجات في المستندات الطويلة لا تعمل حين يكون النص مقطعًا واحدًا. فبضع مئات من الكلمات التي تمزج بين كتابة بشرية وأخرى بالذكاء الاصطناعي قد تعود بنسبة 100%، وهو أحد المسارات الموضحة في لماذا يقول Turnitin إن عملك مكتوب بالذكاء الاصطناعي بنسبة 100%. هذا سلوك بنيوي مع المدخلات القصيرة. وقد تعالج Scribbr المستندات القصيرة بآلية مختلفة، فتصل إلى نتيجة مختلفة للنص نفسه.

تحجب Turnitin الدرجات الرقمية التي تقل عن 20%. تقول الوثائق:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (لتجنّب احتمال وقوع إيجابيات خاطئة، لا تُعطى أي درجة أو تمييزات لدرجات كشف الذكاء الاصطناعي في نطاق 1% إلى 19%. وعندما يُكتشف الذكاء الاصطناعي دون حدّ الـ 20% في التقرير، يُشار إليه الآن بنجمة (*%) ولا تُعطى أي نسبة مئوية.)

المستند الذي يقدّر نموذج Turnitin أنه مكتوب بالذكاء الاصطناعي بنسبة 10% سيظهر له في التقرير نجمة، لا الرقم 10%. ولا يُطبَّق أي تمييز على النص. والحكمة من ذلك هي عدم إبراز إيجابيات خاطئة محتملة في نطاق منخفض الثقة، وهو ما يشرحه ما الذي تعنيه النجمة (*%) في درجة الذكاء الاصطناعي من Turnitin بمزيد من التفصيل.

قد تعرض Scribbr الدرجات في هذا النطاق كنسبة مئوية كاملة. وقد تميّز أدوات أخرى النص عند أي مستوى غير صفري. أمّا Turnitin فتحجب عمدًا، دون 20%، الرقم والتمييزات معًا. وبسبب هذا الاصطلاح في العرض، ستقدّم الأداتان مخرجات مختلفة جدًا للمستند نفسه الذي ينخفض فيه الذكاء الاصطناعي.

إذا كنت تقارن نتائج Scribbr وTurnitin على المستند نفسه، فإليك الخلاصة:

• نموذجان مختلفان، ودرجتان مختلفتان. تستخدم Scribbr وTurnitin نموذجَي كشف مختلفين. لا يُتوقَّع أن تتطابق درجاتهما.
• Turnitin تحسب الدرجة بالتقسيم والتجميع. تُستخرج الجمل وتُقسَّم إلى وحدات متداخلة وتُقيَّم وتُجمَع ثم تُجمَّع إجمالًا. درجة الذكاء الاصطناعي ودرجة التشابه مستقلتان تمامًا.
• تستهدف Turnitin معدل إيجابيات خاطئة دون 1% في المستندات التي تتجاوز نسبة الكتابة بالذكاء الاصطناعي فيها 20%.
• المستندات القصيرة تحصل على درجات من نوع «كل شيء أو لا شيء». بضع مئات من الكلمات قد تعود بنسبة 0% أو 100% حتى لو كان النص مختلطًا.
• الدرجات التي تقل عن 20% تظهر كنجمة. في نطاق 1-19% لا تظهر أي نسبة مئوية رقمية ولا أي تمييز.

يمكن إعادة تشغيل المقاطع المؤهلة مجانًا.