لماذا تُعلَّم المقدمات والخواتم بأنها مكتوبة بالذكاء الاصطناعي (وماذا تفعل حيال ذلك)

المقدمات والخواتم أكثر عرضة للوسم كذكاء اصطناعي من فقرات المتن. تذكر إصدارات Turnitin الصادرة في مايو 2023: "Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way." (منذ الإطلاق، لاحظنا ارتفاع معدل الإيجابيات الكاذبة في الجمل القليلة الأولى أو الأخيرة من المستند. وغالبًا ما تتألف هذه الجمل من محتوى مقدمة أو خاتمة مكتوب بطريقة عامة). تم تحديث منطقية الكشف للحد من هذه الإيجابيات الكاذبة، لكن نمط الكتابة النمطية العامة في المقدمات والخواتم لا يزال موجودًا. إذا بدأت مقدمتك ببيان واسع وختمت خاتمتك بإعادة صياغة أطروحتك بلغة متوقعة، فقد تنتج عن هذه الفقرات ملفات احتمالية كلمات تتداخل مع النصوص المولدة بالذكاء الاصطناعي، حتى بعد تحسينات 2023.

يصف إصدار مايو 2023 النمط والرد عليه:

"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (منذ الإطلاق، لاحظنا ارتفاع معدل الإيجابيات الكاذبة في الجمل القليلة الأولى أو الأخيرة من المستند. وغالبًا ما تتألف هذه الجمل من محتوى مقدمة أو خاتمة مكتوب بطريقة عامة. ونتيجة لذلك، غيّرنا منطقية الكشف للمساعدة في تقليل هذه الإيجابيات الكاذبة)

الجملة التالية: "We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version." (كما عملنا على جعل كشف حدود القطع أكثر دقة، مما قد يؤدي في بعض الحالات النادرة إلى تغيّر الحدود مقارنة بالإصدار السابق)

كان هذا تحسينًا في 2023، لا وصفًا لعيب حالي. غُيِّرت منطقية الكشف للمساعدة في تقليل الإيجابيات الكاذبة في تلك المواضع. لكن الملاحظة تخبرنا بشيء مهم: الجمل الأولى والأخيرة من المستند كانت بطبيعتها أكثر عرضة للإيجابيات الكاذبة. خفّض التحسين من المشكلة، لكنه لم يقضِ عليها.

تشير الإصدارة إلى "introduction or conclusion content written in a generic way." (محتوى مقدمة أو خاتمة مكتوب بطريقة عامة). والمحتوى العام هو الخيط الرابط هنا. فالمقدمات غالبًا ما تبدأ بسياق واسع: "In recent years, X has become an important topic." (في السنوات الأخيرة، أصبح X موضوعًا مهمًا). والخواتم غالبًا ما تعيد صياغة الأطروحة: "This paper has shown that X leads to Y." (أظهرت هذه الورقة أن X يؤدي إلى Y). هذه التراكيب متوقعة ونمطية وموحدة هيكليًا. وتدرج الأسئلة الشائعة من Turnitin "content without a lot of structural variation" (محتوى بدون تنوع هيكلي كبير) كسمة عرضة للإيجابيات الكاذبة. والمقدمات والخواتم العامة هي بالضبط هذا النوع من المحتوى. فأنماط احتمالية الكلمات في هذه الأقسام تميل إلى أن تكون أكثر قابلية للتوقع منها في فقرات المتن، حيث تكون الحجة أكثر تحديدًا واللغة أكثر تنوعًا. والصورة العامة لهذا موضحة في لماذا تُعلِّم كاشفات الذكاء الاصطناعي الكتابة الجيدة.

يعمل خط معالجة الكشف عن طريق تقسيم النص:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score." (عندما تُرسَل ورقة إلى Turnitin، تُستخرَج الجمل من المُرسَل وتُقسَّم إلى أقسام متداخلة لغرض تحليل التنبؤ. ويُصنِّف نموذج كشف الذكاء الاصطناعي كل قطعة ويُعطِيها قيمة بين 0 و1، تدل على احتمال أن يكون النص بشريًا على الأرجح أو مولَّدًا بالذكاء الاصطناعي. وترث كل جملة مستوفاة ضمن هذه القطع درجة القطعة نفسها. ولأن القطع تتداخل، فقد يكون لبعض الجمل درجات متعددة، تُجمَّع بعد ذلك في درجة واحدة)

تذكر الإصدارة أيضًا "segment boundaries detection" (كشف حدود القطع). فالجمل الأولى والأخيرة من المستند تقع على حافة هيكل القطع. قبل تحسين 2023، كانت هذه المواضع ذات معدل أعلى للإيجابيات الكاذبة. ساهم التحسين في جعل كشف حدود القطع أكثر دقة، مما ساعد. لكن المحتوى نفسه، إذا كُتب بشكل عام، لا يزال بإمكانه إنتاج أنماط احتمالية كلمات تُحفِّز التصنيف كذكاء اصطناعي. وماهية هذه الأنماط هي موضوع هل تستخدم Turnitin الحَيْرة والتفجّر.

تذكر الأسئلة الشائعة من Turnitin أيضًا:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (في المستندات الأقصر التي لا تحتوي سوى على بضع مئات من الكلمات، سيكون التنبؤ في الغالب «إما الكل أو لا شيء» لأننا نتنبأ على قطعة واحدة بدون فرصة للتداخل)

الجملة التالية: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (وهذا يعني أن بعض النصوص الممزوجة بين محتوى مولَّد بالذكاء الاصطناعي ومحتوى أصلي قد تُعلَّم بأنها ذكاء اصطناعي بالكامل)

في المقالة القصيرة، قد تشكّل المقدمة والخاتمة نسبة كبيرة من إجمالي النص. إذا عُلمتا معًا، فإن سلوك «إما الكل أو لا شيء» في المستندات القصيرة يعني أن المستند بأكمله قد يُصنَّف كذكاء اصطناعي. هذه نتيجة قاسية لكنها تساعد في تفسير سبب حصول مقالة قصيرة بمقدمة وخاتمة عامتين على درجة عالية بشكل مدهش. لماذا تقول Turnitin إن عملك 100% ذكاء اصطناعي يشرح هذه الحالة القصيرة من البداية إلى النهاية.

تخليصًا لما غطّيناه:

• تصف إصدارات Turnitin الصادرة في مايو 2023 نمط ارتفاع الإيجابيات الكاذبة في الجمل الأولى والأخيرة من المستندات.
• تم تحديث منطقية الكشف في 2023 للحد من ذلك، لكن النمط الأساسي للكتابة العامة في المقدمات والخواتم لا يزال قائمًا.
• تتشارك المقدمات والخواتم العامة سمة «انخفاض التنوع الهيكلي» التي تدرجها الأسئلة الشائعة كسمة عرضة للإيجابيات الكاذبة.
• المستندات القصيرة تُفاقِم المشكلة لأن المقدمة والخاتمة تشكّلان نسبة أكبر من إجمالي النص.
• جعل مقدمتك وخاتمتك أكثر تحديدًا وأقل نمطية وأكثر تنوعًا في البنية يمكن أن يساعد في معالجة النمط.

إذا كان لديك تقرير من Turnitin يوضّح الفقرات المُعلَّمة، استورد التقرير واعمل على تلك الفقرات المحددة. يمكن إعادة تشغيل الفقرات المؤهلة بدون رسوم.