الغموض (Perplexity) والتفجر (Burstiness) بوضوح: أي كاشفات الذكاء الاصطناعي تستخدمهما فعلا

Perplexity مقياس لمدى قابلية الكلمة للتوقع. فعندما يقرأ نموذج لغوي جملة، يخصص احتمالا لكل كلمة بناء على الكلمات التي سبقتها. فإذا كانت الكلمة التالية شديدة التوقع، كان الغموض منخفضا عند تلك الكلمة. وإذا جاءت الكلمة غير متوقعة، ارتفع الغموض. وغموض النص بأكمله هو في جوهره متوسط مدى قابلية اختيارات الكلمات للتوقع في النص كله.

تخيل الأمر على هذا النحو. إذا كتبت "أظهرت التجربة نتيجة،" فالكلمة التالية على الأرجح ستكون "مهمة" أو "واضحة" أو "كبيرة". هذه كلمات عالية الاحتمال. أما إذا كانت الكلمة التالية "أناناس،" فذلك احتمال ضعيف، وسيقفز الغموض عند ذلك الموضع. النص الذي يختار دائما الكلمة الأكثر توقعا يكون غموضه الكلي منخفضا. والنص الذي يتخذ خيارات غير متوقعة يكون غموضه أعلى.

تميل النصوص المنتجة بالذكاء الاصطناعي إلى انخفاض الغموض، لأن النماذج اللغوية مصممة لاختيار الكلمة التالية الأكثر احتمالا. فهي تحسّن الاحتمال السياقي، ما يعني أن اختياراتها للكلمات تقع في أنماط يمكن توقعها. أما الكتابة البشرية فكثيرا ما تتضمن خيارات أقل قابلية للتوقع، وأفعالا غير مألوفة، وأسماء متخصصة في مجال بعينه، أو صياغات ما كان نموذج لغوي ليختارها. وهذا الفرق حقيقي وقابل للقياس. والسؤال هو: هل يستخدم كل كاشف للذكاء الاصطناعي الغموض جزءا من خوارزميته الفعلية؟ والجواب: لا.

Burstiness مقياس للتباين في بنية الجمل. فإذا كانت كل جملة في الفقرة متقاربة في الطول والبنية النحوية والإيقاع، كان التفجر منخفضا. وإذا تفاوتت الجمل تفاوتا كبيرا، فبعضها قصير وموجز، وبعضها طويل ومعقد يحوي جملا تابعة، كان التفجر مرتفعا.

تميل الكتابة البشرية إلى تفجر أعلى مما في النص المنتج بالذكاء الاصطناعي. فنحن نكتب على دفعات. نخلط جملة تقريرية قصيرة بأخرى أطول تتضمن جملة اعتراضية بين قوسين. ونكسر النمط حين نريد إبراز نقطة ما. أما نماذج الذكاء الاصطناعي فتميل إلى إنتاج بنى جمل أكثر تجانسا، لأنها تحسّن الاتساق الإحصائي. والنتيجة نص يقرأ بسلاسة ولكن تباينه البنيوي أقل.

اكتسب التفجر شهرته بوصفه مقياسا للكشف لأنه يلمس شيئا حقيقيا في الفرق بين الكتابة البشرية وكتابة الذكاء الاصطناعي. فالبشر غير منتظمين، ونماذج الذكاء الاصطناعي متسقة. والكاشف الذي يقيس التفجر ينظر فيما إذا كانت بنية جملك تتباين بما يكفي لتبدو بشرية. وكما هو الحال مع الغموض، يعد التفجر مفهوما مفيدا. وكما هو الحال مع الغموض أيضا، ليس مقياسا يحسبه كل كاشف.

يعد GPTZero أبرز مثال على كاشف يستخدم Perplexity وBurstiness علنا بوصفهما مقياسين مسميين. وتصف وثائقهم الغموض بأنه مقياس لمدى صعوبة توقع النص، والتفجر بأنه مقياس للتباين على مستوى الجملة. وتحسب خوارزمية GPTZero هذين المقياسين وتستخدمهما في قرار التصنيف. فإذا كنت تحاول فهم سلوك GPTZero أو ضبط كتابتك على أساسه، فإن Perplexity وBurstiness يعنيانك مباشرة.

أما Turnitin فيسلك نهجا مختلفا. إذ تنص الأسئلة الشائعة الرسمية لديهم: "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." (لم تتم برمجة نموذجنا بشكل صريح لتقييم إشارات محددة مثل «التفجر» أو «الغموض» أو غيرها من المقاييس الفردية التي يشار إليها أحيانا في النقاشات العامة.) وتقول الجملة التالية: "Instead, it learns statistical patterns from our training data." (بدلا من ذلك، يتعلم أنماطا إحصائية من بيانات تدريبنا.) وهذا نفي مباشر وصريح بأن Turnitin يحسب هذين المقياسين.

وسبب أهمية هذا التمييز أن الأداتين تصنفان النص نفسه أحيانا بشكل مختلف. فالكتابة المصممة بحيث يكون تفجرها وغموضها مرتفعين قد تسجل نتيجة مختلفة على GPTZero (حيث يدخل هذان المقياسان مباشرة في الخوارزمية) عنها على Turnitin (حيث تعلم المصنف أنماطا من بيانات التدريب دون أن يحسب أياً من المقياسين). والنصائح التي تقول «زد من تفجرك» أو «قلل من غموضك» مضبوطة على نوع محدد من الكواشف. وقد تفيدك مع Turnitin، وقد لا تفيدك.

إذا كان Turnitin لا يحسب الغموض ولا التفجر، فما الذي يستخدمه؟ تصف الوثائق مصنفا يتعلم أنماطا إحصائية من بيانات التدريب، ثم يطبقها على مقاطع من نصك.

يقول Turnitin: "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. Instead, it learns statistical patterns from our training data." (لم تتم برمجة نموذجنا بشكل صريح لتقييم إشارات محددة مثل «التفجر» أو «الغموض» أو غيرها من المقاييس الفردية التي يشار إليها أحيانا في النقاشات العامة. بدلا من ذلك، يتعلم أنماطا إحصائية من بيانات تدريبنا.) لا يشغّل المصنف صيغة للغموض ولا صيغة للتفجر. بل يطبق أنماطا استوعبها أثناء التدريب، أنماطا تتضمن احتمالية الكلمات ولكن لا يمكن ردها إلى درجة محددة واحدة بعينها.

وتؤكد صفحة الأسئلة الشائعة نفسها ما يركز عليه المصنف فعلا: "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (دُربت مصنفاتنا على اكتشاف هذه الفروق في احتمالية الكلمات، وهي بارعة في متواليات احتمالية الكلمات التي تميز الكتاب من البشر.) احتمالية الكلمات في صميم ما تعلمه مصنف Turnitin، غير أن النموذج يعالجها من خلال أنماط متعلمة، لا من خلال حساب صريح للغموض.

والآلية قائمة على المقاطع. يصفها Turnitin قائلا: "When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (عند إرسال ورقة بحثية إلى Turnitin، تُستخرج الجمل من المادة المقدمة وتُقسم إلى أقسام متداخلة لغرض التحليل التنبؤي. ويصنف نموذج كشف الذكاء الاصطناعي كل قسم ويمنحه قيمة بين 0 و1، تدل على احتمال أن يكون النص من كتابة بشرية أو منتجا بالذكاء الاصطناعي.) تتداخل المقاطع، وترث الجمل الدرجات، وتجمع الدرجات المتعددة، وينتج من التجميع النهائي نسبة النص على مستوى المستند. ولا تتضمن هذه السلسلة خطوة تُحسب فيها قيمة الغموض أو التفجر.

ويلاحظ Turnitin أيضا: "As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules. For that reason, individual predictions may not always be explainable in simple feature-by-feature terms." (ونتيجة لذلك، تتولد مخرجاته عن أنماط متعلمة كثيرة تعمل معا، لا عن مجموعة صغيرة من القواعد الشفافة القابلة للقراءة البشرية. ولهذا السبب، قد لا يكون بالإمكان دائما تفسير التنبؤات الفردية بعبارات بسيطة تشرح كل سمة على حدة.) عملية اتخاذ القرار في النموذج ليست مما يمكنك فك شفرته بتتبع حفنة من المقاييس.

الخلاصة العملية بسيطة. إذا قرأت نصيحة تقول «قلل من غموضك لتتفوق على Turnitin،» فتلك النصيحة مبنية على سوء فهم للأداة. فـ Turnitin لا يحسب الغموض. قد تكون النصائح المتعلقة بالتفجر والغموض ذات صلة بـ GPTZero، لكنها لا تتطابق مع آلية عمل Turnitin.

المشكلة أن مصنف Turnitin لا يستخدم هذين المفهومين بوصفهما مقياسين مسميين. لقد تعلم أنماطا إحصائية من بيانات التدريب، أنماطا تتضمن معلومات احتمالية الكلمات، ويطبقها على نصك. ولا يمكنك التحسين وفق مقياس لا يحسبه المصنف. وما يمكنك فعله هو أن تكتب بطرق تعبر عن تأليف بشري حقيقي، بتباين طبيعي في اختيار الكلمات وفي البنية، يختلف عن الأنماط التي تنتجها نماذج الذكاء الاصطناعي.

نوفر إعادات تشغيل مجانية لتتمكن من اختبار كتابتك ومعرفة موقعها. جرّب ذلك من هنا.