المستندات القصيرة ومشكلة "الكل أو لا شيء" في Turnitin

لفهم سبب ضعف موثوقية درجات الكتابة بالذكاء الاصطناعي في المستندات القصيرة، علينا أولاً أن نرى كيف يعالج Turnitin النص. وتشرح الوثائق ذلك: "When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1..." (عند إرسال ورقة إلى Turnitin، تُستخرج الجمل من العمل المُرسَل وتُقسَّم إلى مقاطع متداخلة لأغراض تحليل التنبؤ. ويُصنَّف كل مقطع بواسطة نموذج كشف الذكاء الاصطناعي ويُعطى قيمة بين 0 و1...)

الكلمة التي تؤدي الدور المهم في تلك الجملة هي كلمة "overlapping" (المتداخلة). فـ Turnitin لا يحلل مستندك بوصفه كتلة متصلة واحدة، بل يقسّم النص إلى مقاطع متداخلة، أي إن الجملة الواحدة قد تظهر في أكثر من مقطع. ويحصل كل مقطع على درجة تنبؤ خاصة به بين 0 و1، وتُستخلص النسبة النهائية للكتابة بالذكاء الاصطناعي من مجموع تلك الدرجات الفردية.

هذا التداخل هو ما يتيح للنموذج إنتاج نسبة متدرّجة بدلاً من نتيجة ثنائية بنعم أو لا. فعندما تتداخل المقاطع، يستطيع النموذج مقارنة كيفية تصنيف أجزاء مختلفة من نصك. والفقرة التي تقع بين مقاطع ذات درجات منخفضة وأخرى ذات درجات مرتفعة تسهم في جعل التنبؤ الكلي أكثر اعتدالاً. أما من دون تداخل، فيفقد النموذج قدرته على المقارنة المتقاطعة، وتصبح الدرجة أقل دقة.

عندما يكون المستند قصيراً جداً، لا يوجد نص كافٍ لتكوين عدة مقاطع متداخلة. والوثائق صريحة في بيان النتيجة: "In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (في المستندات الأقصر التي لا تتجاوز بضع مئات من الكلمات، سيكون التنبؤ في معظمه «الكل أو لا شيء»، لأننا نجري التنبؤ على مقطع واحد من دون إمكانية التداخل.)

وجود مقطع واحد يعني أن النموذج يجري تنبؤاً واحداً للمستند بأكمله. ولا يوجد حساب لمتوسط عبر المقاطع لأنه لا شيء يُحسَب متوسطه. ينظر النموذج إلى النص مرة واحدة، ويُعطيه درجة، وتلك الدرجة هي التي تحدد ما إذا كان المستند يُعلَّم بوصفه من إنتاج الذكاء الاصطناعي أم لا.

وتتابع الوثائق: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (وهذا يعني أن بعض النصوص التي تجمع بين محتوى من إنتاج الذكاء الاصطناعي ومحتوى أصلي قد تُعلَّم بوصفها من إنتاج الذكاء الاصطناعي بالكامل). هذه هي المشكلة الأساسية. فإذا كنت قد كتبت 200 كلمة بنفسك واستخدمت الذكاء الاصطناعي في 100 كلمة من مستند من 300 كلمة، فلن يستطيع النموذج الفصل بينهما. إذ يعالج المستند بوصفه وحدة واحدة، فإذا تجاوزت هذه الوحدة الحد الفاصل، عُلِّم المستند بأكمله. ولا يمكن للتقرير أن يوضح أي الجمل تحديداً كان من إنتاج الذكاء الاصطناعي، لأن التنبؤ جرى على مستوى المستند لا على مستوى الجملة.

يضع Turnitin حداً أدنى لعدد الكلمات في الأعمال المُرسَلة، وتحدد المتطلبات التقنية حداً أدنى قدره 300 كلمة. وصيغ الملفات المقبولة هي .docx و.pdf و.txt و.rtf، بحد أقصى 30,000 كلمة وحجم ملف أقل من 100MB. واللغات المدعومة هي الإنجليزية والإسبانية واليابانية، و— منذ 18 أغسطس 2026 — العربية الفصحى الحديثة (Modern Standard Arabic). ولا تزال صفحتان من صفحات Turnitin الإنجليزية تذكران اللغات الثلاث الأولى فقط، فقد لا تكون الصفحة التي تصل إليها محدَّثة.

الحد الأدنى البالغ 300 كلمة هو شرط على الملف: يجب أن "must have at least 300 words of prose text in a long-form writing format." (يحتوي الملف على 300 كلمة على الأقل من النص النثري بصيغة كتابة طويلة). وكثيراً ما تُقرن به جملة عن الدقة — "Results show that our accuracy increases with a little more text so submissions that contain less than 300 words may result in an AI writing score that is likely less accurate" (تُظهر النتائج أن دقتنا ترتفع مع زيادة طفيفة في النص، لذا قد تؤدي الأعمال التي تقل عن 300 كلمة إلى درجة كتابة بالذكاء الاصطناعي يُرجَّح أن تكون أقل دقة) — غير أنها وردت في ملاحظة إصدار بتاريخ 15 ديسمبر 2023 عن خلل سمح بمرور أعمال أقل من الحد المطلوب، وهي تصف التقارير التي أُنشئت في تلك الفترة. واليوم، في ما دون الحد الأدنى، لا ينتج النموذج تنبؤاً أقل موثوقية، بل لا ينتج أي تنبؤ على الإطلاق.

حتى عند 300 كلمة أو أعلى منها بقليل، قد يكون التداخل ضئيلاً. فمستند من 350 كلمة قد ينتج مقطعين أو ثلاثة مقاطع بتداخل طفيف فقط، وهو أفضل من مقطع واحد، لكنه ما زال بعيداً عن كثافة المقاطع في ورقة من 2,000 كلمة. فكلما زاد النص زادت المقاطع وزاد التداخل، وزادت فرص النموذج في التمييز بين المحتوى من إنتاج الذكاء الاصطناعي والمحتوى الأصلي.

تظهر مشكلة «الكل أو لا شيء» بأوضح صورها عندما يحتوي مستند قصير على مزيج من نص أصلي ونص من إنتاج الذكاء الاصطناعي. وتذكر الوثائق أن "some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (بعض النصوص التي تجمع بين محتوى من إنتاج الذكاء الاصطناعي ومحتوى أصلي قد تُعلَّم بوصفها من إنتاج الذكاء الاصطناعي بالكامل). وبالنسبة إلى طالب كتب معظم مهمة قصيرة بنفسه لكنه استخدم الذكاء الاصطناعي في جزء منها، فهذا يعني أن المستند بأكمله قد يحصل على درجة عالية في الكتابة بالذكاء الاصطناعي، حتى وإن كان معظم النص من كتابته هو.

وهناك أنواع من الكتابة تزيد المشكلة سوءاً. تلاحظ الوثائق: "Sometimes false positives... can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (في بعض الأحيان يمكن أن تشمل النتائج الإيجابية الخاطئة... محتوى يفتقر إلى قدر كبير من التنوع البنيوي، أو نصاً يكرر نفسه حرفياً، أو نصاً أُعيدت صياغته من دون تطوير أفكار جديدة). والمهام القصيرة مثل مشاركات المناقشة والتأملات الموجزة كثيراً ما تنطبق عليها هذه الأوصاف، إذ تميل إلى تنوع بنيوي أقل من ورقة بحثية كاملة، وقد تكرر أفكاراً متشابهة بأنماط جمل متشابهة. وتنصح الوثائق: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (إذا أظهر مؤشرنا قدراً أكبر من الكتابة بالذكاء الاصطناعي في نص من هذا النوع، فننصحك بأخذ ذلك في الاعتبار عند النظر إلى النسبة المئوية الموضحة.)

وهناك أيضاً نمط محدد رصده Turnitin وتعامل معه. فقد أشار تحديث صدر عام 2023 إلى ما يلي: "Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (منذ الإطلاق، لاحظنا ارتفاعاً في معدل النتائج الإيجابية الخاطئة في الجمل الأولى أو الأخيرة من المستند. وكثيراً ما تتكون هذه الجمل من محتوى تمهيدي أو ختامي مكتوب بصورة عامة. ونتيجة لذلك، غيّرنا منطق الكشف للمساعدة في تقليل هذه النتائج الإيجابية الخاطئة.) وتتأثر المستندات القصيرة بمحتوى المقدمة والخاتمة بقدر أكبر من غيرها، لأن هذين القسمين يمثلان حصة أكبر من النص الكلي. وقد ساعد إصلاح 2023، غير أن الهشاشة البنيوية للمستندات القصيرة ما زالت قائمة.

تواجه المهام القصيرة مجموعة من التحديات التي يضخّم بعضها بعضاً في كشف الذكاء الاصطناعي. فهي تحتوي على مقاطع أقل، وتداخل أقل، وتنوع بنيوي أقل، كما يُرجَّح أن تحتوي على مقدمة وخاتمة بنمط عام. وكل هذه العوامل تجعل درجة الكتابة بالذكاء الاصطناعي أقل موثوقية في المستندات القصيرة منها في المستندات الطويلة.

مشاركات المناقشة، والتأملات القصيرة، وأوراق الاستجابة الموجزة هي أكثر المهام القصيرة شيوعاً في التعليم العالي. فإذا كنت تكتب واحدة منها، فقد لا يميز تقرير الكتابة بالذكاء الاصطناعي بين ما كتبته بنفسك وبين الأجزاء التي ساعدك فيها الذكاء الاصطناعي. ومقطع واحد ذو درجة منخفضة يمكن أن يدفع المستند بأكمله إلى فئة الأعمال المُعلَّمة.

وتقر الوثائق بهذا القصور: "Our AI writing detection model may not always be accurate... so it should not be used as the sole basis for adverse actions against a student." (قد لا يكون نموذجنا لكشف الكتابة بالذكاء الاصطناعي دائماً دقيقاً... لذا ينبغي ألا يُستخدم بوصفه الأساس الوحيد لاتخاذ إجراءات ضارة بحق الطالب). وهذه العبارة ذات صلة خاصة بالمستندات القصيرة، حيث تعمل ديناميكية «الكل أو لا شيء». فإذا تلقيت علامة كتابة بالذكاء الاصطناعي على مهمة قصيرة، فقد يكون التقرير انعكاساً لقيود التنبؤ ذي المقطع الواحد أكثر منه إشارة واضحة عن كتابتك.

ويذكر Turnitin أيضاً: "We strive to maximize the effectiveness of our detector while keeping our false positive rate... under 1% for documents with over 20% of AI writing." (نسعى إلى تعظيم فعالية كاشفنا مع الحفاظ على معدل النتائج الإيجابية الخاطئة... دون 1% للمستندات التي تتجاوز 20% من الكتابة بالذكاء الاصطناعي.) وهذا المستهدف لمعدل النتائج الإيجابية الخاطئة ينطبق على المستندات التي يبلغ طولها حداً يسمح بتحليل موثوق. أما المستندات القصيرة فتقع خارج النطاق الأمثل، وقد يكون معدل النتائج الإيجابية الخاطئة أعلى بالنسبة إليها.

نوصي بالتعامل بحذر مع درجات الكتابة بالذكاء الاصطناعي في المستندات القصيرة. اكتب عملك بنفسك، وتجنب الصياغات العامة في المقدمة والخاتمة، وإذا كان التقرير قد علّم بالفعل مقاطع تريد العمل عليها، فيمكنك إعادة صياغة تلك المقاطع فقط وترك بقية المستند كما هو.