أسطورة perplexity وburstiness: ما تستخدمه Turnitin في الحقيقة

إذا بحثت عن “كيف تكتشف Turnitin الكتابة بالذكاء الاصطناعي”، ستجد عشرات المقالات تكرر الادعاء نفسه: أن Turnitin تستخدم مقياسي perplexity وburstiness لاكتشاف النصوص التي يولدها الذكاء الاصطناعي. يظهر هذا الادعاء على مواقع مثل aihumaniser.pro وblog.aibusted.com وhumanizethisai.com، وفي عدة مقالات صينية على sohu.com. فهي تعرّف كلا المقياسين، وتنسبهما إلى Turnitin، وتقدم نصائح عن كيفية “خفض درجة perplexity” لتجاوز الاكتشاف.

المشكلة أن هذا الادعاء خاطئ من حيث الوقائع. وثائق Turnitin نفسها تقول العكس. لقد قرأنا الأسئلة الشائعة الرسمية، وهي تناقض مباشرةً سردية perplexity وburstiness التي بنت عليها المواقع المنافسة نصائحها. وقد انتشرت هذه الأسطورة على نطاق واسع حتى بات كثير من الطلاب والكتّاب يعتقدون أن عليهم تحسين كتابتهم وفق مقياس لا تحسبه Turnitin أصلًا.

هذا مهم لأن الاستراتيجية المبنية على مقدمة خاطئة تؤدي إلى قرارات سيئة. إذا كنت تعتقد أن Turnitin تحسب درجة perplexity، فقد تركز على إدراج كلمات عشوائية للتلاعب بمقياس غير موجود. الآلية الحقيقية مختلفة.

تتناول الأسئلة الشائعة الرسمية لـ Turnitin مسألة perplexity وburstiness بشكل مباشر. تقول الوثائق: “Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions.” (نموذجنا غير مبرمج صراحةً لتقييم إشارات محددة مثل 'burstiness' و'perplexity' أو غيرها من المقاييس الفردية التي يُشار إليها أحيانًا في النقاشات العامة.) وتكمل الجملة التالية: “Instead, it learns statistical patterns from our training data.” (بدلًا من ذلك، يتعلم أنماطًا إحصائية من بيانات التدريب لدينا.)

هذا نفي لا لبس فيه. لا تجري Turnitin حسابًا لمقياس perplexity على نصك. ولا ينظر النموذج إلى درجة burstiness ليتحقق مما إذا كانت أطوال جملك متفاوتة بالقدر الكافي. ولا يعمل النظام بحساب مجموعة صغيرة من المقاييس المحددة بالاسم ثم إدخالها في معادلة.

وتذهب الوثائق أبعد من ذلك لتشرح السبب. تقول Turnitin: “As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules. For that reason, individual predictions may not always be explainable in simple feature-by-feature terms.” (ونتيجة لذلك، تُنتج مخرجاته من خلال العديد من الأنماط المتعلمة التي تعمل معًا، لا من خلال مجموعة صغيرة من القواعد الشفافة القابلة للقراءة البشرية. ولهذا السبب، قد لا يكون بالإمكان دائمًا تفسير التنبؤات الفردية بعبارات بسيطة ميزةً بميزة.) عملية اتخاذ القرار في النموذج ليست شيئًا يمكن اختزاله في قائمة من المقاييس. لقد تعلم المصنّف أنماطًا من بيانات التدريب، وتعمل هذه الأنماط معًا بطرق لا يمكن تفسيرها كميزات فردية.

ثمة خطر في المبالغة في قراءة البيان الرسمي. إذا قالت Turnitin إنها لا تستخدم perplexity، وكان مقياس perplexity يقيس احتمالية الكلمات، فهل يعني هذا أن Turnitin تتجاهل احتمالية الكلمات تمامًا؟ لا. تقدم صفحة الأسئلة الشائعة نفسها الثقل الموازن الحاسم: “Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers.” (دُرّبت مصنّفاتنا على اكتشاف هذه الاختلافات في احتمالية الكلمات، وهي على دراية بتسلسلات احتمالية الكلمات الخاصة بالكتّاب من البشر.)

تمنع هذه الجملة التفسير التبسيطي. ما تنفيه Turnitin هو أن تكون قد برمجت مقياسي burstiness وperplexity صراحةً كمقياسين محددين بالاسم. وهي لا تنفي أن احتمالية الكلمات في صميم ما يفعله المصنّف. وتؤكد الوثائق نفسها أن احتمالية الكلمات هي بالضبط ما دُرّب المصنّف عليه. والفرق هو بين حساب مقياس محدد بالاسم يُسمى “perplexity” وبين تعلم أنماط احتمالية الكلمات من بيانات التدريب.

مقياس perplexity هو قياس لاحتمالية الكلمات. انخفاض perplexity يعني أن الكلمات متوقعة في سياقها، وارتفاعها يعني أنها أقل قابلية للتوقع. يتعلم مصنّف Turnitin أنماط احتمالية الكلمات، لذا فإن المفهوم الذي يقيسه مقياس perplexity له صلة بما يفعله النموذج. وما تنفيه Turnitin هو الحساب الصريح لدرجة perplexity واحدة بوصفها ميزة محددة بالاسم. يتعلم النموذج القائم على المحولات أنماطًا إحصائية معقدة من بيانات التدريب، وتتضمن هذه الأنماط معلومات عن احتمالية الكلمات من دون أن تُردّ إلى مقياس واحد محدد بالاسم.

أما GPTZero فعلى النقيض من ذلك تعلن جهارًا أنها تستخدم مقياسي perplexity وburstiness كمقياسين محددين بالاسم. هذا فرق حقيقي بين الكاشفين، والخلط بينهما يؤدي إلى نصائح سيئة. فما يصلح مع GPTZero لا ينطبق بالضرورة على Turnitin، لأن الأداتين تتبعان نهجين مختلفين.

إن لم تكن Turnitin تحسب مقياسي perplexity وburstiness، فما الذي تفعله فعليًا؟ تصف الوثائق مسار معالجة يختلف كثيرًا عن النهج القائم على المقاييس الذي تصفه مقالات المنافسين. تقول Turnitin: “When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score.” (عند إرسال ورقة بحثية إلى Turnitin، تُستخرج الجمل من الإرسال وتُقسَّم إلى مقاطع متداخلة من أجل تحليل التنبؤ. يُصنَّف كل مقطع بواسطة نموذج كشف الذكاء الاصطناعي ويُعطى قيمة بين 0 و1، تدل على احتمال أن يكون النص بشريًا أو مولدًا بالذكاء الاصطناعي. وترث كل جملة مستوفية للشروط داخل هذه المقاطع درجة المقطع. ولأن المقاطع تتداخل، قد تحصل بعض الجمل على درجات متعددة، تُجمع بعد ذلك في درجة واحدة. وتُجمَّع درجات الجمل هذه أكثر وتُستخدم لحساب درجة الكتابة بالذكاء الاصطناعي للمستند ككل.)

ورقتك لا تُقيَّم ككتلة واحدة. تُستخرج الجمل وتُقسَّم إلى مقاطع متداخلة، ويحصل كل مقطع على درجة بين 0 و1. ولأن المقاطع تتداخل، قد تظهر الجملة الواحدة في عدة مقاطع وترث عدة درجات. تُجمع هذه الدرجات، ثم تُجمَّع في النسبة المئوية النهائية على مستوى المستند.

تختلف هذه الآلية اختلافًا جذريًا عن حساب درجة لمقياس perplexity ودرجة لمقياس burstiness ثم دمجهما. يقيّم المصنّف النص على مستوى المقطع، ويتعلم أنماطًا إحصائية تميز الكتابة البشرية عن الكتابة المولدة بالذكاء الاصطناعي. وتتضمن هذه الأنماط معلومات عن احتمالية الكلمات، متعلمة من بيانات التدريب لا مبرمجة كمقاييس محددة بالاسم.

فهم الآلية الحقيقية يغير النصائح التي ينبغي أن تتبعها. إذا كنت تعتقد أن Turnitin تحسب مقياس perplexity، فقد تُدخل كلمات غير متوقعة. وإذا كنت تعتقد أنها تحسب مقياس burstiness، فقد تنوّع أطوال جملك. ولا واحدة من الاستراتيجيتين تستهدف الهدف الصحيح.

يتعلم مصنّف Turnitin أنماطًا إحصائية من بيانات التدريب، ولا يحسب درجة لمقياس perplexity في نصك. والأنماط التي تعلمها معقدة، ولا يمكن دائمًا تفسيرها بعبارات بسيطة ميزةً بميزة، كما تقول الوثائق. لا توجد معادلة بسيطة يمكنك تطبيقها لـ “التفوق” على الكاشف عبر تحسين مقياس واحد.

ما يمكنك فعله هو الكتابة بطرق تعبّر عن تأليف بشري حقيقي. تميل الكتابة البشرية إلى تضمين خيارات للكلمات وصياغات تختلف عن الأنماط الإحصائية التي تنتجها نماذج الذكاء الاصطناعي. وقد دُرّب المصنّف على التعرف على تسلسلات احتمالية الكلمات المميزة للكتّاب من البشر. الكتابة بصوتك أنت، بما فيه من تنوع طبيعي، هي بالضبط ما صُمم المصنّف ليتعرف عليه بوصفه كتابة بشرية.

تؤدي أسطورة perplexity وburstiness إلى بذل الجهد في غير موضعه. يقضي الكتّاب وقتًا في تحسين مقاييس لا تحسبها Turnitin. والفرق بين GPTZero (التي تستخدم مقياسي perplexity وburstiness بالفعل) وTurnitin (التي لا تستخدمهما) يعني أن نصيحة مضبوطة على أداة قد تكون غير ذات صلة بالأخرى.

يمكن إعادة تشغيل المقاطع المستوفية للشروط مجاناً. جرّب أداة HumanPen من هنا.