علّمت منصة Turnitin قسم المنهجية كله

لأن التقييم لا يصل إلى جملك واحدة تلو الأخرى. ما تنشره Turnitin هو أن النص المُرسَل يُقسّم إلى شرائح متداخلة، وكل شريحة تُعطى درجة احتمالية، وكل جملة مؤهلة ترث درجات الشرائح التي تقع فيها. إذا قدمت نصًا ممتدًا يحافظ على الأسلوب نفسه، وهياكل الجمل نفسها، والمفردات نفسها لألفي كلمة، فلن تجد الشرائح المتجاورة ما يختلفون حوله كثيرًا. عندها تظهر التظليلات كشريط متصل، لا كنقاط متفرقة. وقسم المواد والمنهجية هو القسم المكتوب على هذا النحو عمدًا، كما أن وصف Turnitin نفسه للمواضع التي تتراكم فيها الإيجابيات الكاذبة يسمي خاصيتين يفرضهما اصطلاحيًا القسم نفسه. هذا لا يعني أن الرقم خاطئ، بل يعني أن الجدار الأحمر الذي يغطي قسمًا واحدًا ليس أربعين حكمًا منفصلًا على أربعين جملة، وقراءته وكأنه كذلك ستقودك لإصلاح الشيء الخطأ.

ما يصفه الناس محدد ودائمًا على الشكل نفسه: مراجعة الأدبيات نظيفة، قسم المناقشة نظيف، ثم يفتح فصل المنهجية وتبدأ التظليلات من الجملة الأولى تحت العنوان ولا تتوقف حتى نهاية الفصل. هذا يبدو أقل وكأن النموذج يعثر على فقرات مشبوهة، وأكثر وكأنه يعثر على فصل مشبوه، وهذا هو السبب في أن النظر إليه مزعج إلى هذا الحد.

تنشر Turnitin كيف تصل الدرجة إلى الجملة، والأجدر قراءة الجملتين في وسط ذلك الوصف بدلًا من الملخص:

"Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score." (كل جملة مؤهلة داخل هذه الشرائح ترث درجة الشريحة. ولأن الشرائح متداخلة، فقد يكون لبعض الجمل درجات متعددة تُجمّع بعد ذلك في درجة واحدة.)

إذن الوحدة التي تُصنّف هي نافذة نصية، وليست جملة. تُقيّم الجملة حسب السياق الذي تظهر فيه. وما يترتب على ذلك هو استنتاجنا نحن، لا ما تنشره Turnitin: عندما تتشارك الجمل المتتالية نوافذ متشابهة، فإن الدرجات التي تنتجها تلك النوافذ لا تجد سببًا حقيقيًا للتباعد، فيخرج التظليل المستمد منها متصلًا. الشريط المتصل هو التوقع الطبيعي لامتداد نصي موحد الأسلوب، وليس عدًا للنتائج المستقلة.

لهذا أثر عملي: الجملة الأولى المُعلّمة في قسم المنهجية ليست بالضرورة حيث بدأ أي شيء، لأن شريحة تمتد عبر العنوان تحتوي الفقرة الأخيرة مما سبقها. يقضي الناس وقتًا حقيقيًا يحدّقون في الجملة الأولى المُعلّمة محاولين فهم ما الخطأ فيها تحديدًا. وفق الوصف المنشور، قد لا يكون هناك أي خطأ فيها تحديدًا.

هذا يعني أيضًا أن الحساب الذي يلجأ إليه الناس غير موجود. لا يمكنك قسمة الشريط على جملّه لتحصل على تكلفة لكل جملة، ولا يمكنك حذف جملة وتوقع ما سيحدث. فكيكنا هذا الأمر مع النسخ الثلاث الأكثر تداولًا في إذا أعدت كتابة جملة واحدة معلّمة، هل تنخفض الدرجة؟.

الحد الصادق بشأن كل هذا: نشرت Turnitin شكل خط المعالجة، لا دالة التجميع، ولا آلية الضم، ولا طول الشريحة. كل ما سبق هو ما يستلزمه الوصف المنشور بشأن التوزيع. ولا يُمكّن أي منه أحدًا من توقع رقم.

ثاني ما يجب تحديده هو المقام، لأن قسمي منهجية يحتويان المعلومات نفسها قد يقدمان للنموذج كميتين مختلفتين تمامًا من النص. فـ Turnitin لا تحلّل إلا ما تسميه نصًا مؤهلًا:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." The sentence immediately after it is the one that matters here: "This percentage is not necessarily the percentage of the entire submission." (هذا النص المؤهل يتضمن فقط جملًا نثرية، أي أننا لا نحلل إلا كتل النص المكتوبة في جمل نحوية قياسية، ولا يشمل أنواع الكتابة الأخرى مثل القوائم أو النقاط النقطية - البنى القصيرة غير الجملية - أو البنى غير الجملية الأخرى.) الجملة التي تليها مباشرة هي الأهم هنا: (هذه النسبة المئوية ليست بالضرورة نسبة الملف كاملًا.)

الآن انظر كيف يكتب تخصصك هذا القسم فعليًا. بروتوكول المختبر يُكتَب كأرقام مرقمة، وجدول الكواشف، وقائمة الأجهزة، وكتلة الإعدادات. أما فصل المنهجية في علم النفس أو التربية فيأتي كفقرات متصلة: المشاركون، المواد، الإجراء، التحليل، كل منها سلسلة من الجمل الكاملة. هذان ملفان مختلفان بالنسبة للتحليل، والثاني هو الذي يعود ممتلئًا.

هناك نتيجة عكسية للحدس في الصف الأوسط. استبعاد شيء ما من النص المؤهل ليس خصمًا، بل يزيل الخطوات المرقمة وجداول القيم التي لم تكن لتبدو أبدًا كنثر مولّد، ويترك وراءه الجزء من كتابتك الأكثر تقليدية. كلما ضاقت عينة النص المؤهل، أصبح الرقم بيانًا عن فقراتك الإجرائية تحديدًا بشكل أكثر اكتمالًا.

استثناء واحد يعمل في الاتجاه المعاكس، ويستحق المعرفة لأنه يزيل إنذارًا كاذبًا شائعًا: تسجيل الإصدار نفسه لعام 2023 يذكر أن التظليل داخل قائمة المراجع كان خللًا، وأن قوائم المراجع تُستبعَد الآن عند معالجة تقرير الكتابة بالذكاء الاصطناعي، وأن الإرسالات ذات أقسام المراجع المُعلّمة تحتاج إلى إعادة إرسال لإعادة المعالجة. إذا كنت تنظر إلى تقرير قديم وقائمة المراجع مضيئة، فهذا ما تنظر إليه.

الفجوة بين الرقم وكمية التظليل على الصفحة تنتج عن كل هذا، وتقول Turnitin ذلك مباشرةً بدلًا من تركه للاستنتاج. كيفية قراءة تقرير Turnitin للكتابة بالذكاء الاصطناعي يشرح تلك الفجوة، وهل تستطيع Turnitin فحص أطروحة كاملة يغطي ما يحدث عند حدود الطول، حيث تعيش الإرسالات على مستوى الفصول.

تنشر Turnitin وصفًا لما تشترك فيه الإيجابيات الكاذبة غالبًا. حرفيًا:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (أحيانًا الإيجابيات الكاذبة - أي تعليم النص المكتوب بشريًا خطأً على أنه مولّد بالذكاء الاصطناعي - قد تشمل محتوى بدون كثير من التنوع الهيكلي، أو نصًا يكرر نفسه حرفيًا، أو نصًا أُعيدت صياغته دون تطوير أفكار جديدة.)

الجملة التي تليها لا تخاطبك أنت إطلاقًا:

"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (إذا أظهر مؤشرنا كمية أعلى من الكتابة بالذكاء الاصطناعي في مثل هذا النص، ننصحك بأخذ ذلك في الاعتبار عند النظر إلى النسبة المئوية المُشار إليها.)

اثنان من البنود الثلاثة في تلك القائمة يصفان أشياء من المفترض أن يقوم بها قسم المنهجية. التنوع الهيكلي هو ما تقضي قوائم الإبلاغ وقتها في إزالته: الإطار نفسه لكل قياس، وترتيب الأقسام الفرعية نفسه، والبناء نفسه لكل أداة حتى يمكن مقارنة إجراءين وُصفا بشكل متطابق. والتكرار الحرفي هو كيف تُشير إلى أن شرطتين عُولجتا حقًا بالطريقة نفسها. هذا هو القسم الوحيد في الأطروحة حيث كتابة شكل الجملة نفسه إحدى عشرة مرة هو الصحيح، وهو أيضًا القسم حيث فعل ذلك مكلف للإلغاء. ما يمكنك ولا يمكنك إعادة صياغته بأمان هناك مشكلة منفصلة لها قواعدها الخاصة، في ما يمكنك إعادة صياغته في المنهجية والنتائج، والسؤال الأوسع عما إذا كان ينبغي تعديل أسلوب كتابتك على الإطلاق موجود في هل ينبغي تغيير أسلوب كتابتي لتجنب تعليمات الذكاء الاصطناعي.

كثير من الذعر في هذا الموقف يأتي من فحص ذاتي بدلًا من تقرير مؤسسي: يُلصَق الفصل في شيء ما، أو يُرسَل وحده إلى مهمة فحص المسودات، ويعود برقم لا يريد أحد رؤيته.

تصف Turnitin الإرسالات القصيرة بأنها تتصرف بشكل مختلف في النوع، لا فقط في الدرجة:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." And the sentence that follows: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (في المستندات الأقصر حيث لا يوجد إلا بضع مئات من الكلمات، سيكون التوقع في الغالب 'الكل أو لا شيء' لأننا نتوقع على شريحة واحدة بدون فرصة للتداخل.) والجملة التي تليها: (هذا يعني أن بعض النص الذي هو مزيج من محتوى مولّد بالذكاء الاصطناعي وأصلي قد يُعلّم على أنه مولّد بالذكاء الاصطناعي بالكامل.)

فصل المنهجية المُرسَل وحده مرشح لتلك المنطقة، وأكثر مما يوحي به عدد كلماته، لأن الخطوات المرقمة والجداول تخرج من المقام أولًا. هناك أيضًا حد أدنى في الأسفل: تقرير الكتابة بالذكاء الاصطناعي يحتاج 300 كلمة على الأقل من النثر بتنسيق طويل، لذا قد لا ينتج قسم منهجية قصير وحده أي تقرير إطلاقًا بدلًا من تقرير منخفض. ودون عتبة العرض لا يوجد ما يُقرَأ: النتائج فوق 0٪ وتحت 20٪ تُعرَض كنجمَة بدون رقم وبدون تظليلات، مما يعني أن التحسن الحقيقي وعدم التحسن يبدوان متطابقين من حيث تقف أنت.

من المغري أخذ الآلية أعلاه والتعامل معها كحساب لصالحك. ليس كذلك. كل ما في هذه الصفحة يشرح ما هو الرقم قياسًا له. ولا شيء منه دليل حول من كتب فصلَك، ويقطع في الاتجاهين: شريط عبر قسم المنهجية ليس إثباتًا لأي شيء، ولا شرح لماذا تحدث الأشرطة.

"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." The next sentence is where the weight sits: "It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (قد لا يكون نموذج كشف الكتابة بالذكاء الاصطناعي دقيقًا دائمًا - فقد يخطئ في تحديد النص المكتوب بشريًا، أو المولّد بالذكاء الاصطناعي، أو المعاد صياغته بالذكاء الاصطناعي - لذا لا ينبغي استخدامه كأساس وحيد لإجراءات سلبية ضد طالب.) الجملة التالية هي حيث يكمن الثقل: (يتطلب الأمر مزيدًا من التدقيق والحكم البشري بالتزامن مع تطبيق المؤسسة لسياساتها الأكاديمية المحددة لتحديد ما إذا كان سوء سلوك أكاديمي قد حدث.)

• الشريط توزيع، وليس إحصاء. يخبرك أن درجات النموذج كانت موحدة عبر ذلك الامتداد. لا يخبرك كم كانت أي منها واثقة.
• النسبة المئوية عن النثر المؤهل، لذا فهي غير قابلة للمقارنة بين فصلين مُرتّبين بشكل مختلف، وجمع نسب الفصول معًا ينتج رقمًا لا يشير إلى أي شيء.
• التقرير يولّده نظام يقول بائعه نفسه إنه قد يخطئ في تحديد النص، وهذا سبب لينظر شخص ما، لا سبب لرفض المخرجات.
• لا شيء من هذا قابل للتحقق منك في معظم الإعدادات. المؤشر والتقرير غير مرئيين للطلاب، رغم أن المدرس يمكنه تحميل التقرير بصيغة PDF ومشاركته.

لا تحمل هذه المقالة إلى اجتماع كحجة. شرح مصنّف لشخص قرأ صفحات المساعدة نفسها يميل لأن يبدو كتحضير بدلًا من إجابة، وينقل المحادثة إلى أرض حيث تجادل حول نموذج بدلًا من عملك. ما يحمل وزنًا فعليًا هو المصدر: المسودات، البروتوكول، ملف التحليل، التواريخ. مُعلَّم، لكنك كتبته بنفسك يغطي ما يستحق تجميعه من أدلة، والمحادثة بعد تعليم ذكاء اصطناعي يغطي ماهية الاجتماع إجرائيًا، وسجل الإصدارات كدليل يغطي أين يعيش السجل إذا لم تفكر فيه من قبل.

أحيانًا يكون القرار قد اتُخِذ بالفعل، من قِبَل مشرف أو من قِبلك، ويصبح السؤال كيف تفعله دون كسر أي شيء. المنهجية أسوأ قسم في الأطروحة لإعادة الصياغة بعفوية. الترتيب، التوقيت، الجرعة، المعدات، الإعدادات، قواعد القرار، مجتمع التحليل والاستبعادات هي المحتوى، والجملة الطلِقة التي تسقط واحدًا منها بهدوء عيب حقيقي حيث لم تكن الجملة الجامدة كذلك.

التكلفة التي يستهين بها الناس ليست إعادة الكتابة. بل إعادة التحقق. كل فقرة تُلمَس هي فقرة يجب أن تقرؤها الآن مقابل البروتوكول، وكود التحليل، والجداول. خطة تمس فصلًا كاملًا خلقت وظيفة تصحيح بحجم فصل، وهذا سبب أهمية نطاق التغيير أكثر من الطريقة المستخدمة لإجرائه.

ذلك هو الجزء الذي بُني حوله HumanPen. استورد تقرير Turnitin أو iThenticate للكتابة بالذكاء الاصطناعي لتلك الإرسالة وتصبح الفقرات التي يُعلِّمها هي النطاق: ذلك النص فقط يُعاد كتابته، كل شيء آخر مجمّد، ووصف الموقع نفسه لقاعدة الفقرة هو أن "الفقرة هي أصغر وحدة يعيد المحرك كتابتها: إذا غطى اختيارك جزءًا منها فقط، فهي تُوسّع إلى الفقرة الكاملة وتُعرَض كذلك لتؤكدها". الصيغ والأشكال وهياكل الجداول ليست جزءًا من إعادة كتابة النص، وهذا مهم في هذا القسم أكثر من أي مكان آخر في المستند. الفوترة تحسب الكلمات التي أُعيدت كتابتها فعليًا بدلًا من الملف الذي رفعته. النتائج المؤهلة يمكنها الاستمرار في خفض الذكاء الاصطناعي مجانًا.

ما ليس عليه أي من هذا هو توقع. نموذج Turnitin يتغير، وقواعد العرض تغيرت من قبل، وليس لدينا طريقة لنخبرك ماذا سيقول تقريرك التالي. الادعاءات أعلاه حول أي الكلمات تُمس وأيها تُحفّز، وهما الشيئان اللذان نستطيع التحكم فيهما فعليًا.

لماذا قُسِّم قسم المنهجية كله بينما كتبت كل كلمة بنفسي؟ لأن وحدة التصنيف شريحة متداخلة، وليست جملة، والجمل ترث درجات الشرائح التي تحتويها وتجمعها. الامتداد الطويل المكتوب بأسلوب واحد يعطي الشرائح المتجاورة القليل لتتميَّز به، لذا يميل المخرج إلى أن يكون متصلًا. هذا وصف لكيفية تكوّن الشريط، لا بيان أن شريطك المعين إيجابي كاذب.

هل يعني كتلة التظليل المتصل أن كل جملة فيه حُكِم عليها بأنها ذكاء اصطناعي؟ لا، والوصف المنشور هو السبب. الجملة تحمل درجة ورثتها من الشرائح التي تجلس فيها، ربما أكثر من واحدة، مجمّعة. قراءة الشريط كقائمة أحكام فردية هي الخطأ الذي يقود إلى خطط التحرير جملة بجملة.

قسم المنهجية لدي في الغالب خطوات مرقمة وجدول معايير. لماذا النسبة المئوية ما زالت عالية؟ قد لا تكون تلك في التحليل إطلاقًا. تحلل Turnitin النص المؤهل، أي النثر المكتوب في جمل نحوية قياسية، وتذكر أن النسبة المئوية ليست بالضرورة نسبة الإرسال كاملًا. استبعاد الخطوات والجداول يترك الفقرات التقليدية وراءها كالعينة التي يصفها الرقم.

هل ينبغي إضافة التنوع إلى قسم المنهجية ليبدو أقل تكرارًا؟ هذا سؤال عن معايير الإبلاغ في تخصصك قبل أن يكون سؤالًا عن كاشف، والتكرار في قسم المنهجية عادةً يؤدي وظيفة. نصيحة البائع نفسها بشأن النص بهذه الخصائص موجهة للشخص الذي يقرأ التقرير، لا للشخص الذي كتبه.

أجريت الفصل عبر مدقق وحده وحصلت على رقم مرتفع جدًا. هل هذا الرقم الذي يراه مشرفي؟ ليس بالضرورة، لأنه إرسالة مختلفة. تقول Turnitin إن التوقعات على مستندات ببضع مئات من الكلمات تخرج في الغالب الكل أو لا شيء، لأنه هناك شريحة واحدة بدون تداخل، وأن المحتوى المختلط في تلك الحالة يمكن تعليمه على أنه مولّد بالذكاء الاصطناعي بالكامل. فصل أيضًا مقام مختلف عن الملف كاملًا.

هل يمكنني الاستشهاد بقائمة الإيجابيات الكاذبة من البائع كدفاع؟ هذه عبارة منشورة عن أوضاع الخطأ في الأداة وموجهة لمن يقرأ النسبة المئوية، لذا من المعقول معرفتها. لكنها ليست دليلًا عن مستندك المحدد، وإثارة آلية العمل في محادثة حول سوء السلوك كحجة يميل إلى العمل ضدك. أحضر المسودات والبروتوكول.