لماذا تحصل قوائم المراجع المشروحة على درجات ذكاء اصطناعي غير موثوقة في Turnitin

تذكر إحدى مقالات مساعدة Turnitin حدوداً معروفة للنموذج مع بعض التنسيقات:

"The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies." (لا يكشف النموذج بشكل موثوق النص المُنتَج بالذكاء الاصطناعي حين لا يأتي في شكل نثر، كالشعر أو النصوص المسرحية أو الشيفرة البرمجية، كما لا يكشف الكتابة القصيرة أو غير المعتادة، كالنقاط أو الجداول أو قوائم المراجع المشروحة.)

الجملة التالية: "This means that a document containing several different writing types would result in a disparity between the percentage and the highlights." (يعني هذا أن مستنداً يضم عدة أنواع مختلفة من الكتابة سيؤدي إلى وجود تفاوت بين النسبة المئوية والتمييزات.)

قوائم المراجع المشروحة مذكورة صراحةً في هذه القائمة. النموذج لا يكشف النص المُنتَج بالذكاء الاصطناعي في هذا التنسيق بشكل موثوق. هذا قصور في نطاق التغطية معترف به في مقال المساعدة، وليس مشكلة في الإعدادات من جهتك. إذا حصلت قائمة المراجع المشروحة على درجة ذكاء اصطناعي مرتفعة، فتلك الدرجة صادرة عن نموذج يعمل خارج نطاق تغطيته الموثوقة.

قائمة المراجع ليست غير موثوقة فحسب، بل هي مستبعدة من المعالجة بالكامل. تقول ملاحظة إصدار من عام 2023:

"We have fixed a bug that was occasionally highlighting AI writing within references listed in a bibliography. Bibliographies are now excluded when processing the AI writing report." (أصلحنا خطأً كان يتسبب أحياناً في تمييز كتابة بالذكاء الاصطناعي داخل المراجع المدرجة في قائمة المراجع. أصبحت قوائم المراجع الآن مستبعدة عند معالجة تقرير الكتابة بالذكاء الاصطناعي.)

الجملة التالية: "Resubmit to reprocess existing submissions that contain highlighted reference sections." (أعد الإرسال لإعادة معالجة عمليات الإرسال القائمة التي تحتوي على أقسام مراجع مميزة.)

يعني هذا أن مدخلات قائمة المراجع، أي الاقتباسات نفسها، لا تُحلَّل. إذا كنت قد أرسلت مستنداً قبل هذا الإصلاح ورأيت تمييزات على قائمة مراجعك، فإن إعادة الإرسال ستعيد معالجة المستند دون قائمة المراجع. تتناول مقالة لماذا يضع Turnitin علامات على مراجعي واقتباساتي المدى الذي تصل إليه هذه الاستبعادات فعلياً. وتناولت ملاحظة الإصدار نفسها أيضاً محتوى الجداول:

"We are now able to process long-form prose text in tables." (أصبحنا قادرين الآن على معالجة النص النثري الطويل داخل الجداول.)

الجملة التالية: "Resubmit to reprocess existing submissions that contain tables." (أعد الإرسال لإعادة معالجة عمليات الإرسال القائمة التي تحتوي على جداول.)

في قوائم المراجع المشروحة، تُستبعد مدخلات الاقتباس. أما فقرات الشرح، أي النثر الذي تكتبه عن كل مصدر، فهي النص المؤهل الذي تتم معالجته. الدرجة التي تراها تعكس نص الشروح فقط، لا الاقتباسات.

لا يعالج الكاشف سوى النص المؤهل. تشرح صفحة الأسئلة الشائعة في Turnitin المعنونة "AI writing detection capabilities" (قدرات كشف الكتابة بالذكاء الاصطناعي) ما يلي:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (لا يضم هذا النص المؤهل إلا جمل النثر، أي أننا نحلل فقط كتل النص المكتوبة بجمل نحوية قياسية، ولا نُدرج أنواعاً أخرى من الكتابة كالقوائم أو النقاط، وهي تراكيب قصيرة لا ترقى إلى الجمل، أو أي تراكيب أخرى ليست جملاً.)

الجملة التالية: "This percentage is not necessarily the percentage of the entire submission." (ليست هذه النسبة المئوية بالضرورة نسبة عملية الإرسال بأكملها.)

بالنسبة إلى قوائم المراجع المشروحة، يخلق هذا وضعاً محدداً. مدخلات المراجع، بما فيها الاقتباسات المنسقة والمسافات البادئة المعلقة وروابط DOI، مستبعدة. وفقرات الشرح جمل نثرية، فهي نص مؤهل. النسبة المئوية في التقرير تعكس نص الشروح فقط. إذا كانت شروحك 300 كلمة من مستند مؤلف من 1000 كلمة، فإن النسبة المئوية تغطي 300 كلمة، لا المستند كاملاً. وهذا الفارق بين النسبة المئوية وحجم المستند هو أول ما ينبغي التحقق منه عند قراءة تقرير الكتابة بالذكاء الاصطناعي من Turnitin.

تصيغ صفحة الأسئلة الشائعة في Turnitin المعنونة "AI writing detection capabilities" (قدرات كشف الكتابة بالذكاء الاصطناعي) هذا القصور بعبارة أقصر:

"The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures)." (لا يكشف النموذج بشكل موثوق النص المُنتَج بالذكاء الاصطناعي حين لا يأتي في شكل نثر أو حين يكون شيفرة برمجية، كما لا يكشف الكتابة القصيرة أو غير المعتادة، كالنقاط، وهي تراكيب قصيرة لا ترقى إلى الجمل.)

الجملة التالية: "This means that a document containing several different writing types would result in a disparity between the percentage and the highlights." (يعني هذا أن مستنداً يضم عدة أنواع مختلفة من الكتابة سيؤدي إلى وجود تفاوت بين النسبة المئوية والتمييزات.)

قائمة المراجع المشروحة هي بالضبط هذا النوع من المستندات المختلطة. والتفاوت بين النسبة المئوية والتمييزات سلوك معروف.

يقسم مسار الكشف النص المؤهل إلى مقاطع متداخلة:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (عند إرسال ورقة بحثية إلى Turnitin، تُستخرج جمل من عملية الإرسال وتُقسم إلى مقاطع متداخلة لتحليل التنبؤ. يصنف نموذج كشف الذكاء الاصطناعي كل مقطع ويعطيه قيمة بين 0 و1، تدل على احتمال أن يكون النص من كتابة بشر مُنتَجاً بالذكاء الاصطناعي. وترث كل جملة مؤهلة داخل هذه المقاطع درجة المقطع. ولأن المقاطع تتداخل، قد تحمل بعض الجمل عدة درجات، تُجمع بعد ذلك في درجة واحدة. وتُجمع درجات الجمل هذه مرة أخرى وتُستخدم لحساب درجة الكتابة بالذكاء الاصطناعي للمستند ككل.)

في قوائم المراجع المشروحة، لا يمر عبر هذا المسار إلا جمل الشروح النثرية؛ أما مدخلات الاقتباس فلا تدخله أبداً. وتعكس درجات المقاطع تقدير الاحتمال لنص الشروح وحده. والنسبة المئوية الإجمالية هي تجميع لتلك الدرجات على مستوى الجمل الآتية من الشروح فقط.

يميل نص الشروح إلى اتباع صيغة متوقعة: تلخص المصدر، ثم تقيم مصداقيته، ثم تصف مدى صلته. وهذا التكرار يطابق الأنماط التي تربطها الوثائق الرسمية بالإيجابيات الخاطئة:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (قد تشمل الإيجابيات الخاطئة، أي وضع علامة على نص كتبه بشر على أنه مُنتَج بالذكاء الاصطناعي عن طريق الخطأ، محتوى يفتقر إلى قدر كبير من التنوع البنيوي، أو نصاً يكرر نفسه حرفياً، أو نصاً أُعيدت صياغته دون تطوير أفكار جديدة.)

الجملة التالية: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (إذا أظهر مؤشرنا قدراً أكبر من الكتابة بالذكاء الاصطناعي في نص من هذا النوع، فننصحك بوضع ذلك في الاعتبار عند النظر إلى النسبة المئوية المبينة.)

كثيراً ما تتسم الشروح بتنوع بنيوي ضعيف، لأن صيغة التلخيص – التقييم – الصلة تتكرر في جميع المدخلات. وتتكرر الصياغات لأن الطلاب يستخدمون أفعالاً متشابهة ("argues" و"claims" و"demonstrates") في شروح مختلفة. والأفكار مُعاد صياغتها عن المصدر دون تطوير حجج جديدة، وإعادة الصياغة وحدها تميل إلى دفع الرقم في الاتجاه الخاطئ، كما تبين مقالة لماذا ترفع إعادة الصياغة درجة الذكاء الاصطناعي في Turnitin. ويقول توجيه Turnitin نفسه إنه ينبغي وضع النسبة المئوية في الاعتبار بدلاً من قبولها كما هي عندما يطابق النص هذه الأنماط.

لتلخيص ما تناولناه:

• تقول إحدى مقالات مساعدة Turnitin إن النموذج لا يكشف النص المُنتَج بالذكاء الاصطناعي في قوائم المراجع المشروحة بشكل موثوق.
• قوائم المراجع مستبعدة من المعالجة. ولا يُحلل سوى نص الشروح.
• تعكس النسبة المئوية نص الشروح فقط، لا عملية الإرسال بأكملها.
• يميل نص الشروح إلى مطابقة أنماط الإيجابيات الخاطئة: تنوع بنيوي ضعيف، وصياغات متكررة، وأفكار مُعاد صياغتها.
• تنصح Turnitin قائلة: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (إذا أظهر مؤشرنا قدراً أكبر من الكتابة بالذكاء الاصطناعي في نص من هذا النوع، فننصحك بوضع ذلك في الاعتبار عند النظر إلى النسبة المئوية المبينة.)
• إذا كان لديك إرسال أقدم تضمن مراجع مميزة، فإن إعادة الإرسال ستعيد معالجة المستند دون قائمة المراجع.

إذا تلقيت تقرير ذكاء اصطناعي من Turnitin عن قائمة مراجع مشروحة وأردت التعامل مع المقاطع المحددة، فاستورد التقرير واعمل عليها. والمقاطع التي تستوفي الشروط يمكن إعادة تشغيلها مجاناً.