لماذا يتعرّض كتّاب الإنجليزية غير الناطقين بها للإبلاغ كأصحاب محتوى ذكيّ اصطناعيّ أكثر من غيرهم

في عام 2023، أجرَتْ مجموعة من Stanford - وهم Liang وYuksekgonul وMao وWu وZou - اختبارًا لسبعة كواشف GPT شائعة الاستخدام على مجموعتين من المقالات. الأولى كانت 91 مقالة TOEFL مأخوذة من منتدى تعليميّ صيني، كتبتها جميعًا طلاب. والثانية 88 مقالة لتلاميذ أمريكيين في الصف الثامن، من مجموعة بيانات ASAP التابعة لمؤسسة Hewlett. لم يشارك الذكاء الاصطناعيّ في أيّ من المجموعتين. نُشِر العمل في مجلة Patterns الصادرة عن دار Cell Press.

كانت دقة الكواشف شبه مثالية على مقالات الصف الثامن الأمريكية. أمّا على مقالات TOEFL، فقد بلغ متوسّط معدّل الإيجابيّات الكاذبة 61.22%. واتّفقت جميع الكواشف السبعة على أن 18 مقالة من أصل 91 (19.78%) كُتِبَت بالذكاء الاصطناعيّ، بينما أُبلِغ عن 89 من 91 (97.80%) بواسطة كاشف واحد على الأقلّ.

هذا التباين هو النتيجة الأهم. فقد أدّت الأدوات السبعة نفسها أداءً أفضل بكثير على مجموعة مقالات الصف الثامن الأمريكية منها على مجموعة TOEFL. لا يثبت هذا معدّل خطأ لكل كاتب متعدد اللغات أو لكل كاشف مستخدم اليوم. لكنه يبيّن أن مطالب الدقّة الإجمالية قد تخفي نتائج أسوأ بكثير لدى فئة معيّنة من الكتّاب.

اقرأ 61.22% كنتيجة لهذه العيّنة لهذه الكواشف السبعة في عام 2023، وليس كاحتمال شخصيّ لأن تُعلَّم أنت. الدراسة تحذير من تفاوت الخطأ بين الفئات، لا توقّعة شاملة.

لقد نُوقِشَت هذه النتيجة. جادل أحد مصنّعي الكواشف بأن 91 مقالة من منتدى طلابيّ واحد لا تكفي ولا تمثّل مصدرًا واسعًا لدعم معدّل عام. تلك قيود حقيقية: العيّنة عيّنة توفّر، ومجموعتا المقارنة تختلفان في العمر كما في الخلفيّة اللغويّة، ومنتجات الكشف تغيّرت منذ 2023. لذا فإن الاستنتاج الذي يمكن الدفاع عنه أضيق من العنوان: الدراسة حدّدت تفاوتًا كبيرًا لا ينبغي للمؤسّسات أن تفترض أنه غير قائم.

توصّلت مؤسّسات إلى الحذر نفسه من منظور المخاطر. فقد عطّلت جامعة Vanderbilt كاشف الذكاء الاصطناعيّ من Turnitin في أغسطس 2023. ولاحظت أنه حتى مع معدّل إيجابيّات كاذبة مُدّعًى قدره 1% على مستوى المستند، سيترتّب عبء مراجعة جسيم عبر نحو 75,000 تسلِيم سنويًا. هذا الحساب توضيح، لا توقّعة بأن يُتَّهم بالضبط 750 طالبًا: فليس كل ورقة مؤهّلة للمراجعة، والمعدّل الأساسي مجهول، والإبلاغ لا يعني بالضرورة اتهامًا. المغزى أن النسب الصغيرة تتطلّب مع ذلك عمليّة عادلة على النطاق المؤسّسيّ.

ما الذي يعزّز الدليل؟ ينبغي للدراسات الأكبر المسجّلة مسبقًا أن تَشمَل كتّابًا من لغات أمّ مختلفة، ومستويات إتقان، وتخصّصات، وأنواع تكاليف؛ وأن تقارن مجموعات متطابقة في العمر؛ وتنشر النتائج حسب إصدار كل كاشف؛ وتُبلِغ عن الإيجابيّات والسلبيّات الكاذبة معًا. دقّة الإجماليّ وحدها لا تكفي. على المؤسّسات التي تفكّر في النشر أن تسأل هل قيّم البائعُ مجموعة الطلاب الفعلية، وهل نتائج المجموعات الفرعية متوفّرة، بدل استيراد معدّل عناوين رئيسية من مجموعة بيانات مختلفة.

في تقرير فرديّ، لا رقم Stanford ولا معيار بائع يحسم الحالة. الدليل ذو الصلة محليّ: أي نصّ تأهّل، أين تقع العلامات، أي إصدار للنموذج اشتغل، ما الذي سمح به التكليف، وكيف تطوّرت مسودّات الطالب. بحث المجموعات يخبر المراجع بأي نمط فشل يأخذه على محمل الجد؛ لا يحل محل مراجعة العمل المعنيّ.

ركزّت شروحات الكواشف العامة المبكّرة على إشارتين إحصائيّتين: الحيرة والتفجّر. قد تجمع الأنظمة التجارية الحديثة إشارات متعلّمة كثيرة، وداخلها عادة غير مُعلَن، لذا هذان المصطلحان أفضل ما يُعامَل بهما كطريقة لفهم المشكلة لا كوصف كامل لكل منتج راهنيّ.

الحيرة تقيس مدى غرابة اختياراتك اللغويّة لنموذج لغويّ: إذا كانت الكلمة التالية هي التي كان النموذج سيتوقّعها، كانت الحيرة منخفضة. والتفجّر يقيس مدى تفاوت طول الجمل وبنياتها عبر المقطع؛ الجمل المنتظمة المتشابهة تسجّل منخفضًا.

في كاشف يستخدم هاتين الإشارتين، قد تساهم الحيرة المنخفضة والتفاوت القليل في تصنيف المحتوى كآليّ. ليس هذا اختبارًا شاملًا، وحتى المقطع نفسه قد تكون له حيرة مختلفة تحت نماذج مرجعيّة مختلفة. المصنّف لا بد أن يجمع إشاراته ويختار عتبة يسمّي عندها النتيجة.

الكاشف لا يرصد التأليف أو النيّة. يرصد سمات النصّ المقدَّم ويقارنها بأنماط تعلّمها من بيانات التدريب.

ذلك الفارق مهمّ لكتابة اللغة الثانية. فالمخزون اللغويّ الأصغر، وتكرار أطر الجمل، والالتزام الصارم بنماذج الفصل قد تشبه سمات وُجِدَت في النصوص المولَّدة. المصنّف الأفضل قد يقلّل ذلك الخطأ، لكن لا بنية تحوّل الشبه النصيّ إلى رصد مباشر لمن كتب المقطع.

العتبة مهمّة أيضًا. خفضُها يلتقط نصًا مولَّدًا أكثر لكن يدخل نصًا بشريًا أكثر؛ رفعُها يفعل العكس. رقم الدقّة المُعلَن يصف مجموعة بيانات واحدة عند نقطة تشغيل واحدة. لا يضمن أداءً متساويًا عبر مستويات الإتقان، والتخصّصات، وأطوال المستندات، أو إصدارات لاحقة من النموذج.

لم تقف الورقة عند مقارنة مجموعتين. بل تلاعبت باللغة في اتّجاهين مع إبقاء المقالات الأصليّة وحججها ثابتة. ذلك يجعل الآلية المقترحة أكثر إقناعًا، مع أنه لا يعزل المفردات عن كل تغيير أسلوبيّ آخر أجراه النموذج.

الاتّجاه الأول. أخذ الباحثو مقالات TOEFL التي أُبلِغ عنها بالإجماع وطلبوا من GPT-4 إثراء اختيارات الكلمات. ارتفعت الحيرة بشكل ملحوظ (P = 9.36E-05)، وانخفض عدد المقالات المُكتشَفة بالإجماع من 18 مقالة إلى 1 من 91 (1.10%). نفس المؤلفين، نفس الحجج، نفس المقالات - تغيّرت المفردات فقط.

الاتّجاه الثاني، وهو الأقوى. أخذو مقالات الصف الثامن الأمريكية، التي حكمت عليها الكواشف بأ شبه مثالية، ووجّهوا ChatGPT إلى "تبسيط اختيارات الكلمات كما لو كتبها متحدث غير أصليّ." قفز التصنيف الخاطئ من متوسّط 5.19% إلى 56.65%.

تأليف المقالات الأساسيّة لم يتغيّر، لكن التصنيفات تغيّرت. لذا فالتدخّل يؤيّد دورًا سببيًا للغة السطحية - خاصة تنوّع المفردات - بدل أن يكون وسم ديموغرافيّ مرئيًا للكاشف somehow. ولأن GPT-4 وChatGPT قد يغيّران أيضًا النحو والإيقاع والصياغة، فمن المبالغة القول إن التجربة تثبت أن المفردات هي السبب الوحيد.

استنتاج الورقة نفسها هو أن الكواشف "قد تعاقب كتّابًا بتعبيرات لغويّة مقيدة دون قصد،" وتحذّر من نشرها في سياقات تقييمية أو تعليمية على الإطلاق.

النتيجة تشرح أيضًا لماذا قد ينعكس الطلب من كاتب متعدد اللغات أن يبدو أكثر رسميّة على صاحبه. النصائح الأكاديمية غالبًا تكافئ الانتقالات القياسية والمفردات المتحفّظة وبنية الجمل الموحّدة. قد تكون تلك الخيارات مناسبة للوضوح، لكنها تقلّل بالضبط التنوّع الذي عاملته كواشف إحصائية قديمة كدليل بشريّ. العلاج ليس حشر مفردات زخرفية في ورقة؛ بل عدم معاملة الكاشف كاختبار تأليف.

تُبلِغ الورقة نفسها شيئًا يعقّد أي استخدام لهذه الدرجات كدليل. ولّد الفريق مقالات بـChatGPT-3.5 - الكواشف أمسكت بها بموثوقية. ثم طبّقوا محفّز تحرير-ذاتيّ واحدًا، "elevate the provided text by employing literary language" (ارفع النص المقدّم باستخدام لغة أدبية)، فسقط الكشف من 100% إلى 13%.

لا يُقدَّم هذا هنا كتقنية. يُقدَّم كحقيقة عن الأداة: مقياس يحرّكه سطر واحد بـ87 نقطة نسبيّة أساس ضعيف لاتّهام، وهذا أيضًا سبب أن لا أحد يستطيع بصدق أن يعدك بنتيجة كاشف معيّنة. نحن لا نفعل.

لهذه النتيجة حدّان. أولًا، تصف الكواشف السبعة ومخرجات النماذج المختبرة في 2023، لا كل منتج في 2026. ثانيًا، الصلابة أمام التهرّب والإنصاف للكتّاب البشر خاصّيتان مختلفتان: كاشف قد يصعب خداعه ويظل يحتفظ بإيجابيّات كاذبة متفاوتة. أي تقييم راهنيّ يجب أن يختبر الاثنتين، على المجموعات وأنواع الكتابة حيث ستُستخدَم الدرجة فعليًا.

الكاشف قد يكون مفيدًا للفرز دون أن يكون موثوقًا بما يكفي للفصل. وكلما ارتفعت العواقب، زادت الحاجة إلى دليل مستقل ومراجعة إجرائية.

لا شيء من هذا نصيحة عن الكتابة حول الكاشف. بل هو ما تفعله حين تُقرَأ إحصائية كدليل عنك.

• احفظ مسودّاتك، من الآن. احفظ سجل الإصدارات في Word أو Google Docs، وملفات المخططات، وملاحظات القراءة، وتعليقات المشرف. هذه الآثار تظهر كيف تطوّر العمل عبر الزمن؛ هي دليل أقوى من درجة كاشف منافس.
• اطلب التقرير الكامل، لا النسبة المئوية بالعنوان. إضاءات المقاطع قد تظهر هل تتجمّع العلامات في المناهج أو التعريفات أو الخلفيات - أقسام متوقّع أن تستخدم لغة اصطلاحيّة. لا تصفها كاحتمالات على مستوى القسم إلّا إذا قدّم التقرير ذلك فعلًا.
• اسأل كيف يُستَخدَم الرقم. اطلب سياسة المقرّر أو المؤسّسة ذات الصلة، والكاشف والإصدار، والدليل المعتبر خلف الدرجة. مؤسّسات كثيرة تتعامل مع الإبلاغ كسبب للنظر، لا كحُكم.
• حرّر للمعنى والملكية. استبدل صياغة لن تستخدمها طبيعيًا، تحقّق من كل ادعاء واستشهاد، وتأكّد أنك تستطيع شرح الحجج. لا تشوّه نثرًا واضحًا لمجرّد تلفيق تفاوت في طول الجمل.

إذا بدأت عمليّة رسميّة، أبقِ الملف المقدَّم دون تغيير واعمل من نسخة. اكتب جدولًا زمنيًا بسيطًا: متى بحثت، متى مسوّدت، متى استلمت تعليقاتًا وعدّلت. اطلب وقتًا كافيًا لمراجعة الدليل، وأحضر مستشارًا أو ممثل طلاب حيث تسمح القواعد. دليل منفصل عن تحضير رد على إبلاغ كاذب يغطّي تلك العمليّة بالتفصيل.

إذا كنْتَ مربّيًا، لا تنتظر طالبًا ليثير سؤال التحيز. عرّف مسبقًا من يراجع الإبلاغ، وما الإثبات المطلوب، كيف تُؤخَذ الخلفيّة اللغويّة والإعاقة في الحسبان، وكيف يتسلّم الطالب التقرير الأساسيّ. أداة قد تكون فرزًا اختياريًا فقط إذا كانت العمليّة البشريّة قادرة على disagreement معها.