هل يضع Turnitin علامة على أوراق التفكير بأنها ذكاء اصطناعي؟ تفسير الإيجابيات الكاذبة

يُطلب من الطلاب الكتابة عن تجاربهم الشخصية في أوراق التفكير، لكن البنية تميل إلى التكرار. تقدّم التجربة، تصف ما حدث، وتستخلص درسًا. وبسبب طبيعة التأمل الذاتي، غالبًا ما تتبع الجمل أنماطًا متشابهة بين طلاب مختلفين. تصف وثائق Turnitin أنواع النصوص التي تُنتج إيجابيات كاذبة:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (أحيانًا قد تتضمن الإيجابيات الكاذبة -أي وضع علامة خطأ على نص مكتوب بشريًا على أنه مُنتَج بالذكاء الاصطناعي- محتوى بدون تنوع بنيوي كبير، أو نصًا يكرر نفسه حرفيًا، أو نصًا أُعيدت صياغته دون تطوير أفكار جديدة)

الجملة التالية: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (إذا أظهر مؤشرنا كمية أعلى من كتابة الذكاء الاصطناعي في مثل هذا النص، ننصحك بأخذ ذلك في الحسبان عند النظر إلى النسبة المبيّنة)

غالبًا ما تتوفر في أوراق التفكير الخصائص الثلاث هذه. التنوع البنيوي منخفض لأن صيغة التأمل الذاتي تتبع قوسًا متوقعًا. تتكرر الصياغة لأن الطلاب يستخدمون مفردات مماثلة لوصف النمو والتحدي والتعلم. والأفكار مُعاد صياغتها من مادة المقرر دون بالضرورة تطوير حجج جديدة. لا يعني أي من هذا أن النص كُتب بالذكاء الاصطناعي. بل يعني أن النص يطابق ملف النص الذي تقول Turnitin نفسها إنه قد يُنتج إيجابيات كاذبة، ويصبح هذا أوضح عندما تعرف ما تقيسه كواشف الذكاء الاصطناعي.

لفهم سبب حصول ورقة التفكير على درجة عالية، نحتاج إلى النظر في كيفية عمل الكاشف:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (عند تقديم ورقة إلى Turnitin، تُستخرج الجمل من الإرسال وتُجزأ إلى أقسام متداخلة لتحليل التنبؤ. يُصنّف كل جزء بواسطة نموذج كشف الذكاء الاصطناعي ويُعطى قيمة بين 0 و1، تشير إلى احتمالية أن يكون النص بشريًا على الأرجح أو مُنتَجًا بالذكاء الاصطناعي. ترث كل جملة مؤهّلة ضمن هذه الأقسام درجة القسم. وبما أن الأقسام تتداخل، قد يكون لبعض الجمل درجات متعددة، تُجمَّع بعد ذلك في درجة واحدة. تُجمَّع درجات الجمل هذه بشكل أكبر وتُستخدم لحساب درجة كتابة الذكاء الاصطناعي الإجمالية للمستند)

تتلقى كل جملة درجة احتمالية. تُجمَّع الدرجات وتُوحَّد في نسبة مئوية واحدة على مستوى المستند. قد تحصل ورقة تفكير بأنماط جمل متشابهة باستمرار على درجات أجزاء عالية عبر اللوح، وتتضاعف تلك الدرجات إلى نسبة عالية إجمالية.

لا يعالج الكاشف كل كلمة في الإرسال. يعالج فقط النص المؤهّل:

"The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures)." (لا يكتشف النموذج بشكل موثوق النصوص المُولَّدة بالذكاء الاصطناعي في شكل نصوص غير نثرية، أو أكواد، كما لا يكتشف الكتابة قصيرة الشكل/غير التقليدية مثل النقاط النقطية -الهياكل القصيرة غير الجمل-)

الجملة التالية: "This means that a document containing several different writing types would result in a disparity between the percentage and the highlights." (هذا يعني أن المستند الذي يحتوي على عدة أنواع كتابة مختلفة سيؤدي إلى تفاوت بين النسبة المئوية والإبرازات)

توضّح الوثيقة نفسها ما يُحتسب:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (يشمل هذا النص المؤهّل جملًا نثرية فقط، ما يعني أننا نحلّل فقط كتل النصوص المكتوبة في جمل نحوية قياسية ولا تتضمن أنواع كتابة أخرى مثل القوائم، أو النقاط النقطية -الهياكل غير الجمل القصيرة-، أو هياكل أخرى غير جمل)

الجملة التالية: "This percentage is not necessarily the percentage of the entire submission." (هذه النسبة المئوية ليست بالضرورة نسبة الإرسال بأكمله)

في أوراق التفكير، معظم النصوص جمل نثرية، لذا يغطي النص المؤهّل معظم المستند. قضية التفاوت أقلّ هنا منها في المستندات ذات التنسيق المختلط. النسبة التي تراها قريبة من نسبة النثر الفعلي.

غالبًا ما تكون أوراق التفكير قصيرة. ورقة تفكير من 500 كلمة شائعة، والوثيقة تحذّر من هذا السيناريو تحديدًا:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (في المستندات الأقصر التي لا تحتوي سوى على بضع مئات من الكلمات، سيكون التنبؤ في الغالب «الكل أو لا شيء» لأننا نتنبأ على جزء واحد دون فرصة للتداخل)

الجملة التالية: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (هذا يعني أن بعض النصوص التي هي مزيج من محتوى مُنتَج بالذكاء الاصطناعي ومحتوى أصلي قد تُعلَّم على أنها مُنتَجة بالكامل بالذكاء الاصطناعي)

في ورقة تفكير قصيرة، قد يكون لدى الكاشف جزء واحد فقط للتسجيل. لا يوجد تداخل لتخفيف التنبؤ. إذا حصل هذا الجزء الواحد على درجة عالية، تُعلَّم الورقة بأكملها. قد يُبلَّغ عن مستند مختلط جزئيًا أصلي وجزئيًا بمساعدة المسودة على أنه ذكاء اصطناعي بنسبة 100%، وهو أحد المسارات إلى لماذا يقول Turnitin إن عملك ذكاء اصطناعي بنسبة 100%. يزيل القصر تأثير المتوسط الذي تستفيد منه المستندات الأطول.

تُصرّح وثائق Turnitin بشكل واضح حول كيفية استخدام الدرجة وعدم استخدامها:

"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (قد لا يكون نموذج كشف كتابة الذكاء الاصطناعي لدينا دقيقًا دائمًا -فقد يسيء تحديد النصوص المكتوبة بشريًا، والمُولَّدة بالذكاء الاصطناعي، والمُعاد صياغتها بالذكاء الاصطناعي-، لذا لا ينبغي استخدامه كأساس وحيد للإجراءات السلبية ضد طالب)

الجملة التالية: "It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (يتطلب الأمر مزيدًا من التدقيق والحكم البشري بالاقتران مع تطبيق المؤسسة لسياساتها الأكاديمية المحددة لتحديد ما إذا كانت مخالفة أكاديمية قد حدثت)

مصدر Turnitin منفصل يعزّز هذا الموقف:

"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (ليس المقصود منه تقديم إجابات قاطعة بمعزل عن غيره. الأهم من أي أداة هو المعلّم الذي يرى الدرجة ويتخذ قرارات مُوازِنًا هذه المعلومات بمعرفته الشخصية بطلابه، وأعمالهم، وسياسة المؤسسة)

الجملة التالية: "When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended." (عندما ينظر المعلّمون إلى درجة كتابة الذكاء الاصطناعي ويستخدمونها كنقطة بيانات واحدة بدلاً من استجابة قاطعة، فهي تُستخدم كما هو مقصود)

إذا حصلت ورقة التفكير الخاصة بك على درجة ذكاء اصطناعي عالية، فالدرجة هي نقطة بيانات واحدة. ليست إثباتًا. تقول الوثائق إن النموذج قد يسيء تحديد النص، وتدعو إلى الحكم البشري إلى جانب السياسة المؤسسية. إذا كنت أنت من يجب أن يجيب عن الدرجة، فإن ظهرت علامة لكنك كتبته بنفسك تغطي كيفية إعداد تلك الاستجابة.

لتلخيص ما غطّيناه:

• تطابق أوراق التفكير عدة أنماط إيجابيات كاذبة موصوفة في وثائق Turnitin، بما في ذلك التنوع البنيوي المنخفض، والصياغة المتكررة، والأفكار المعاد صياغتها.
• تنصح Turnitin: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (إذا أظهر مؤشرنا كمية أعلى من كتابة الذكاء الاصطناعي في مثل هذا النص، ننصحك بأخذ ذلك في الحسبان عند النظر إلى النسبة المبيّنة)
• يُجزّئ الكاشف النص ويسجّل كل جزء. قد يكون للأوراق القصيرة جزء واحد فقط، ما يخلق نتيجة من نمط الكل أو لا شيء.
• أوراق التفكير القصيرة (بضع مئات كلمات) تواجه أعلى خطر لدرجة ثنائية.
• لا ينبغي استخدام الدرجة كأساس وحيد للإجراءات السلبية. إنها نقطة بيانات واحدة تتطلب حكمًا بشريًا.

إذا استلمت تقرير ذكاء اصطناعي من Turnitin على ورقة تفكير وترغب في معالجة الفقرات التي ظهرت عليها علامة، استورد التقرير واعمل عليها. يمكن إعادة تشغيل الفقرات المؤهّلة دون رسوم.