العروض التقديمية الملصقة واكتشاف الذكاء الاصطناعي: لماذا تصبح الدرجات غير موثوقة

لا تُكتب الملصقات بنفس طريقة كتابة المقالات أو مقالات المجلات. إنها تعتمد على النقاط والعبارات القصيرة والعناصر المرئية. تقول وثائق Turnitin إن النموذج يحلل فقط الجمل النثرية المؤهلة ولا يكتشف الذكاء الاصطناعي بشكل موثوق في التنسيقات غير النثرية. عند إرسال ملصق كمستند، قد تعكس النسبة المئوية شريحة صغيرة من النثر بينما تُظهر التمييزات ما يقارب لا شيء. التباين بين الاثنين هو سلوك معروف، وليس خللاً.

الأسئلة الشائعة واضحة حول ما يُعتبر نصاً مؤهلاً:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures. (يتضمن هذا النص المؤهل جمل نثرية فقط، مما يعني أننا نحلل فقط كتل النص المكتوبة بجمل نحوية قياسية ولا تشمل أنواعاً أخرى من الكتابة مثل القوائم أو النقاط (هياكل قصيرة غير جملية) أو هياكل أخرى غير جملية.)"

تذكر الأسئلة الشائعة أيضاً:

"The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures). (لا يكتشف النموذج بشكل موثوق النص المُولَّد بالذكاء الاصطناعي في شكل غير نثري أو رمز، ولا يكتشف الكتابة قصيرة الشكل/غير التقليدية مثل النقاط (هياكل قصيرة غير جملية).)"

الجملة التالية تشرح النتيجة:

"This means that a document containing several different writing types would result in a disparity between the percentage and the highlights. (هذا يعني أن مستنداً يحتوي على عدة أنواع مختلفة من الكتابة سيؤدي إلى تباين بين النسبة المئوية والتمييزات.)"

بالنسبة للملصق، يكون هذا التباين متطرفاً. معظم النص على الملصق يكون على شكل نقاط أو وسوم قصيرة. إذا أرسلت ملصقاً كمستند وحصلت على نسبة مئوية عالية للذكاء الاصطناعي، فقد تستند تلك النسبة المئوية إلى عدد قليل من فقرات النثر المؤهلة فقط، بينما تكون النقاط التي تشكل معظم الملصق غير مرئية للمكتشف.

مقالة المساعدة من Turnitin Using the AI Writing Report تقول إن حدود النموذج تمتد أبعد من قائمة الأسئلة الشائعة:

"The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies. (لا يكتشف النموذج بشكل موثوق النص المُولَّد بالذكاء الاصطناعي في شكل غير نثري، مثل الشعر أو النصوص البرمجية أو الرمز، ولا يكتشف الكتابة قصيرة الشكل/غير التقليدية مثل النقاط أو الجداول أو المراجع المشروحة.)"

الجملة التالية من تلك المقالة:

"This means that a document containing several different writing types would result in a disparity between the percentage and the highlights. (هذا يعني أن مستنداً يحتوي على عدة أنواع مختلفة من الكتابة سيؤدي إلى تباين بين النسبة المئوية والتمييزات.)"

تستخدم الملصقات بشكل متكرر جداول للنتائج والمقارنات والجداول الزمنية. إذا كانت الجداول مدرجة على أنها غير مكتشفة بشكل موثوق، فإن جزءاً كبيراً من محتوى الملصق يقع خارج التغط الموثوق للنموذج. قد تُحسب النسبة المئوية التي تراها من فقرات النثر القليلة المحصورة بين الجداول وقوائم النقاط.

يوجد تحديث مهم من أغسطس 2023. تقول ملاحظة الإصدار:

"We are now able to process long-form prose text in tables. (نحن الآن قادرون على معالجة النص النثري طويل الشكل في الجداول.)"

الجملة التالية هي:

"Resubmit to reprocess existing submissions that contain tables. (أعد الإرسال لإعادة معالجة الطلبات الحالية التي تحتوي على جداول.)"

هذا يعني أن الجداول التي تحتوي على جمل نثرية طويلة (جمل نحوية كاملة داخل خلايا الجدول) تتم معالجتها الآن. الوسوم القصيرة والأرقام وإدخالات البيانات داخل الجداول لا تزال غير نثرية وتبقى خارج تحليل النموذج. بالنسبة للملصقات، هذا تحسن جزئي. سيتم الآن تحليل جدول نتائج بجمل كاملة في كل خلية. أما الجدول الذي يحتوي على أرقام مجردة ووسوم قصيرة فلا.

تصف الأسئلة الشائعة كيفية معالجة الطلبات:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. (عند إرسال ورقة إلى Turnitin، يتم استخراج الجمل من الإرسال وتقسيمها إلى أقسام متداخلة لتحليل التنبؤ. يتم تصنيف كل قسم بواسطة نموذج كشف الذكاء الاصطناعي وإعطاؤه قيمة بين 0 و1، تدل على احتمال أن يكون النص بشرياً أو مُولَّداً بالذكاء الاصطناعي. ترث كل جملة مؤهلة ضمن هذه الأقسام درجة القسم.)"

يتم استخراج الجمل النثرية المؤهلة فقط. ثم ينتج التجميع درجة على مستوى المستند:

"These sentence scores are further aggregated and used to compute the overall document AI writing score. (يتم تجميع درجات هذه الجمل بشكل إضافي واستخدامها لحساب درجة الكتابة بالذكاء الاصطناعي الإجمالية للمستند.)"

بالنسبة للملصق، قد تسحب خطوة الاستخراج عدداً قليلاً جداً من الجمل. قد تكون فقرات النثر القليلة على الملصق هي الملخص ومقدمة قصيرة وملاحظة ختامية. كل شيء آخر هو نقاط وإدخالات جداول. تُحسب الدرجة من تلك المجموعة الصغيرة من النثر، مما يعني أنها تعكس عينة ضيقة. يبدأ كيفية قراءة تقرير الكتابة بالذكاء الاصطناعي في Turnitin من نفس الفجوة بين الرقم والصفحة.

الملصقات المرسلة كمستندات قصيرة. تحذر الأسئلة الشائعة من هذا:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. (في المستندات الأقصر حيث يوجد بضع مئات من الكلمات فقط، سيكون التنبؤ في الغالب "الكل أو لا شيء" لأننا نتنبأ على قسم واحد دون فرصة للتداخل.)"

الجملة التالية:

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated. (هذا يعني أن بعض النص الذي يكون مزيجاً من المحتوى المُولَّد بالذكاء الاصطناعي والأصلي قد يتم تمييزه على أنه مُولَّد بالكامل بالذكاء الاصطناعي.)"

الملصق الذي يحتوي على 300 أو 400 كلمة فقط من النثر المؤهل يقع تماماً في هذا النطاق. مع عدد قليل جداً من الأجزاء، لا يوجد تأثير متوسط. يمكن لجزء واحد بدرجة عالية أن يصنف المستند بأكمله على أنه مُولَّد بالذكاء الاصطناعي. تصبح الجملة التالية في الأسئلة الشائعة نفسها حول التباين بين النسبة المئوية والتمييزات واضحة جداً هنا. قد ترى نسبة مئوية عالية ولكن لا يوجد تقريباً أي نص مميز على الملصق نفسه، وهو أحد الحالات في لماذا درجة الكتابة بالذكاء الاصطناعي الخاصة بك مفقودة أو غير متسقة أو لا يمكن تنزيلها.

تصف الأسئلة الشائعة ما يميل إلى إطلاق الإيجابيات الكاذبة:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. (في بعض الأحيان، يمكن أن تشمل الإيجابيات الكاذبة (تمييز النص المكتوب بشرياً بشكل خاطئ على أنه مُولَّد بالذكاء الاصطناعي) محتوى دون الكثير من التنوع الهيكلي، أو نصاً يكرر نفسه حرفياً، أو نصاً تمت إعادة صياغته دون تطوير أفكار جديدة.)"

يميل نثر الملصق إلى التكرار. تظهر نفس النتائج الرئيسية في الملخص وقسم النتائج والاستنتاج. اللغة مضغوطة وموحدة لأن المساحة محدودة، والتقارب قريب مما يقوله ما تقيسه أجهزة كشف الذكاء الاصطناعي إن المصنف يلتقطه. تواصل الأسئلة الشائعة:

"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated. (إذا أظهر مؤشرنا كمية أكبر من الكتابة بالذكاء الاصطناعي في مثل هذا النص، فإننا ننصحك بأخذ ذلك في الاعتبار عند النظر إلى النسبة المئوية المشار إليها.)"

بالنسبة للملصقات، هذه النصيحة ذات صلة مضاعفة. النثر قصير ومتكرر وموحد هيكلياً. جميع العوامل الثلاثة تضخم خطر الدرجة المضللة.

إذا تلقى عرضك التقديمي الملصق درجة ذكاء اصطناعي من Turnitin، فإليك ما يجب وضعه في الاعتبار:

• النقاط والوسوم القصيرة ليست نصاً مؤهلاً. الدرجة لا تعكسها.
• تقول مقالة مساعدة واحدة من Turnitin إن الجداول أيضاً لا يتم اكتشافها بشكل موثوق، على الرغم من أن النثر الطويل في الجداول تتم معالجته منذ أغسطس 2023.
• التباين بين النسبة المئوية والتمييزات هو سلوك متوقع للمستندات ذات التنسيق المختلط.
• النثر المؤهل القصير يطلق تنبؤات "الكل أو لا شيء" بأقل تداخل للأجزاء.
• نثر الملصق متكرر وموحد، مما يطابق ملف الإيجابيات الكاذبة الذي تصفه الأسئلة الشائعة.
• يجب التعامل مع النسبة المئوية العالية مع تمييزات قليلة بحذر، وليس كحكم نهائي.

إذا كنت ترغب في معالجة المقاطع المُعلَّمة، استورد تقرير Turnitin الخاص بك واعمل من خلالها. يمكن إعادة تشغيل المقاطع المؤهلة دون رسوم.