لماذا يُعلّم Turnitin عملي على أنها 100% ذكاء اصطناعي؟

درجة 100% لا تعني أن Turnitin متأكد أن نصك مُولّد بالذكاء الاصطناعي. بالنسبة للمستندات الأقصر، بضع مئات من الكلمات، التنبؤ على الأغلب «الكل أو لا شيء» لأن النظام يناقش قطاعًا واحدًا دون تداخل لتوسطة النتيجة. النص ذو التغير الهيكلي المنخفض، أو التكرار الحرفي، أو إعادة الصياغة دون أفكار جديدة أكثر عرضة للإيجابات الإيجابية الخاطئة. و Turnitin نفسه يقول، في ثلاث مستندات مساعدة منفصلة، إن الدرجة لا ينبغي ان تُستخدم كأساس وحيد للإجراءات الضارة ضد طالب.

لقد شرحنا كيف يعمل اكتشافات الذكاء الاصطناعي لـ Turnitin بالنسبة للمصنف وأقسامه. هذه المقالة عن ماذا يحدث عندما يرجع ذلك النظام 100% على نص تعرف أنك كتبته بنفسك. الأسباب ميكانيكية لا اعتمادية، وهي مُوثقة في صفحات Turnitin نفسها.

هذا هو السبب الأكثر شيوعًا لأن نصًا بشريًا حقيقيًا يصل درجته 100%. تصف FAQ لقدرات اكتشاف الكتابة بالذكاء الاصطناعي لـ Turnitin ماذا يحدث مع الإرسالات القصيرة:

“In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap.” (في المستنبدات الأقصر التي تحتوي على بضع مئات كلمات فقط، سيكون التنبؤ على الأغلب «الكل أو لا شيء» لأننا نتنبأ على قطاع واحد دون فرصة للتداخل.)

الجملة التالية هي التي تكمل الصورة:

“This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated.” (هذا يعني أن بعض النصوص التي تكون خليطًا من محتوى مُولّد بالذكاء الاصطناعي ومحتوى أصلي قد يُعلّم على أنها مُولّدة بالكامل بالذكاء الاصطناعي.)

اقرأ هاتين الجملتين معًا وتوقف درجة 100% على ورقة قصيرة عن الابداء كحكم. تبدو كأنها سقف لدقة الأداة. عندما كون هناك قطاع واحد فقط، لا شيء ليوسطة النتيجة. قطاع واحد ذو احتمال عال يصبح درجة المستند بأكمله. إذا كانت مقالتك 300 أو 500 كلمة، فهذا هو الاحتمال الأول الذي يجب التحقق منه.

أيضًا أشار Turnitin في إصدار ديسمبر 2023 إلى أن “submissions that contain less than 300 words may result in an AI writing score that is likely less accurate.” (الإرسالات التي تحتوي على أقل من 300 كلمة قد تؤدي إلى درجة كتابة ذكاء اصطناعي محتمل أن تكون أقل دقة.) المستندات القصيرة أصعب تقديرًا، والنظام يعرف ذلك.

نفس صفحة FAQ تسرد أنواع النصوص التي تكثر فيها الإيجابات الإيجابية الخاطئة:

“Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.” (أحيانًا يضم الإيجابات الإيجابية الخاطئة (تعليم النص الذي كتبه إنسان بشكل خاطئ على أنه مُولّد بالذكاء الاصطناعي) محتوى بدون تغيير هيكلي كثير، أو نص يكرر نفسه حرفيًا، أو نص تمت إعادة صياغته دون تطوير أفكار جديدة.)

الجملة التالية تهم بمثل القائمة نفسها:

“If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.” (إذا أظهر مؤشرنا كمية أكبر من الكتابة بالذكاء الاصطناعي في مثل هذا النص، فإننا ننصحك بأخذ ذلك بعين الاعتبار عند النظر إلى النسبة المؤشرة.)

هذا هو Turnitin يخبر المدرسين بتخفيض النسبة المئوية عندما تظهر على هذا النوع من النص. إذا كانت كتابتك متكافئة هيكليًا (فصوص بأطوال متشابهة، أشكال جمل متشابهة، مفردات متكررة)، أو إذا أعدت صياغة المصادر من قريب دون إضافة تحليلك الخاص، فإن الدرجة قد ترتفع رغم أن كل كلمة لك.

هذا ليس خلل. إنه المصنف يقرأ التكافئ كإشارة. الأنماط الإحصائية التي تبدو منتظمة قد تطابق ما تعلمه النموذج من نص الذكاء الاصطناعي، حتى عندما يكون النص قد أنتجه بشر حدث أنه كتب بنسق متساوٍ. على مستوى المؤسسة يتراكم ذلك، وهي العملية الحسابية في ماذا يعنيه نسبة خطأ إيجابي 1% عندما تقدم جامعة 75,000 ورقة.

لفهم لماذا يمكن لقطاع واحد أن ينتج 100%، يساعد رؤية كيف تعمل التقديرات من بداية إلى نهاية. FAQ لـ Turnitin يصف الخط النابض:

“When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score.” (عندما يُحمل أوراق إلى Turnitin، تُستخرج الجمل من الإرسال وتُجزأ إلى أقسام متداخلة للتحليل التنبؤي. يتم تصنيف كل قطاع بواسطة نموذج اكتشاف الذكاء الاصطناعي ويُعطى قيمة بين 0 و 1، تدل على احتمال يكون النص بشريًا أو مُولّدًا بالذكاء الاصطناعي. ترث كل جملة مؤهلة ضمن هذه الأقسام درجة القطاع. لأن الأقسام متداخلة، فإن بعض الجمل قد تكون لديها درجات متعددة، ثم تُجمع في درجة واحدة. تُجمع درجات الجمل هذه بشكل أبعد وتُستخدم لحساب درجة كتابة الذكاء الاصطناعي الإجمالية للمستند.)

في مستند أطول، هناك أقسام متداخلة عديدة. جملة قريبة من حد قطاع تظهر أيضًا داخل الأخري. تجمع درجات كلا من القطاعين. قطاع يقرأ كأنه شبيه بالذكاء الاصطناعي لا يسيطر، لأن الأقسام المجاورة تجذب الدرجة المجمعة في اتجاهات أخرى.

في مستند قصير، هناك قطاع واحد فقط. لا تداخل. لا تجميع بين النوافذ. تصنيف القطاع الواحد يصبح درجة المستند. إذا تم تصنيف ذلك القطاع على أنه احتمال 0.95 للذكاء الاصطناعي، فإن درجة المستند 100% (أو ما يرتبه التجميع). لدى النظام لا رأيًا ثانيًا للرجوع إليه.

هذا هو السبب الميكانيكي لأن درجات 100% تتركز على الأوراق القصيرة. ليس أن الأوراق القصيرة أكثر احتمالًا أن تكون مُولّدة بالذكاء الاصطناعي. إنما أن الأداة تمتلك فرصًا أقل لتصحيح نفسها.

وثائق Turnitin نفسها أكثر حذرًا حول درجاتها من المؤسسات التي تستخدمها. يشير AI Writing Report guide إلى:

“Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student.” (قد لا يكون نموذجنا لاكتشاف الكتابة بالذكاء الاصطناعي دقيقًا دائمًا (قد يسوّي بشكل خاطئ النصوص البشرية المكتوبة والمُولّدة بالذكاء الاصطناعي والمُعاد صياغتها بالذكاء الاصطناعي)، لذلك لا يُستخدم كأساس وحيد للإجراءات الضارة ضد طالب.)

الجملة التالية في نفس الدليل:

“It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred.” (تحتاج إلى فحص أبعد وحكم بشري بالاقتران مع تطبيق مؤسسة لسياساتها الأكاديمية المحددة لتحديد ما إذا كان قد وقع سلوك أكاديمي.)

دليل review guide منفصل يطرح نفس النقطة بشكل مختلف:

“It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy.” (لم يُصمم لتقديم إجابات قطعية بشكل منعزل. أكثر أهمية من أي أداة هو المعلم الذي يسمع بالشخصية ويتخذ قرارات يوازن هذه المعلومات مع معرفته الشخصية بطلابه وأعمالهم والسياسة المؤسسية.)

والجملة بعدها:

“When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended.” (عندما ينظر المعلمون إلى درجة الكتابة بالذكاء الاصطناعي ويستخدمونها كنقطة بيانات واحدة بدلا من رد قطعي، فإنها تكون قد اُستخدمت كما هو مخصص.)

هذه كلمات Turnitin، لا كلماتنا. الشركة التي بنت الكاشف تخبر الأشخاص الذين يستخدمونه أن الدرجة هي نقطة بيانات واحدة، لا استنتاج. إذا كانت مؤسستك تعامل 100% كدليل قطعي، فإن المؤسسة تستخدم الأداة بطريقة يقول Turnitin إنها لا ينبغي أن تُستخدم.

تحقق من طول المستند. إذا كان الإرسال عدة مئات من الكلمات، فإن سلوك «الكل أو لا شيء» الموضوح في F9 هو التفسير الأكثر احتمالًا. تعكس الدرجة حدود التنبؤ بقطاع واحد، لا تحديد عن عملية الكتابة.

تحقق مما إذا كان نصك يطابق ملف الإيجاب الخاطئ. التغير الهيكلي المنخفض، والتكرار الحرفي، وإعادة الصياغة دون أفكار جديدة هي السمات الثلاث التي يسميها Turnitin نفسه. إذا كان نصك يحتوي على أي منها، النصيحة الرسمية هي أخذ ذلك بعين الاعتبار عند قراءة النسبة المئوية. هذا اقتباس يمكنك احضاره إلى اجتماع.

اسأل متى تم توليد التقرير. في مايو 2023، غير Turnitin منطق اكتشافه لتقليل الإيجابات الخاطئة في الجملة الأولى والأخيرة من المستندات، التي كانت تنتج معدلات أعلى من الإيجابات الخاطئة. التصليح موثق في ملاحظات الإصدار. إذا كان التقرير أقدم من ذلك التصليح، فقد يعكس مشكلة تم معالجتها منذ آنذاك. قد تظهر التقارير التي تم توليدها قبل يموز 2024 أيضًا درجات رقمية في النطاق من 1 إلى 19 تعرضها التقارير الحالية على نجمة. النقطة هي: التقارير القديمة تتصرف بشكل مختلف عن الجديدة، والتاريخ مهم.

احضر أدلة على عملية الكتابة. سجل الإصدارات، ملفات المسودة مع طابعات الوقت، سجل المتصفح الذي يظهر نشاط البحث. هذه ليس حجج حول الدرجة. إنها "further scrutiny and human judgment" (الفحص الأبعد والحكم البشري) الذي يقول Turnitin إنه يجب أن يرافق الدرجة.

اقتبس كلمات Turnitin نفسها. البيان بأن الدرجة “should not be used as the sole basis for adverse actions against a student” (لا ينبغي أن تُستخدم كأساس وحيد للإجراءات الضارة ضد طالب) يظهر في ثلاث مستندات منفصلة لـ Turnitin. البيان بأن الدرجة هي “a single data point rather than a definitive response” (نقطة بيانات واحدة بدلًا من رد قطعي) هو كيف Turnitin يقول إنه يجب أن تُستخدم الأداة. هذه ليس آراء. إنها تعليمات التشغيل المعلنة من الشركة المصنعة. إذا كنت تصيغ ما ستقوله فعلًا، فإن مُعلّم، لكنك كتبته بنفسك يتناول تحضير ذلك الرد.

أداة HumanPen هي أداة لإعادة كتابة المستندات. قرار التصميم الذي يهمنا هنا هو أننا نُعيد الكتابة على مستوى المقطع، لا على مستوى الدرجة. نحن لا نحاول تحريك رقم لا نستطيع رؤيته. نأخذ المقاطع التي علّمها تقرير AI Writing Report، ونغير اللغة الفعلية في تلك المقاطع، ونترك باقي المستند. تحسب الفاتورة فقط الكلمات التي أعيد كتابتها، وإذا عاد تقرير جديد على النص المعاد كتابته ب 20% أو أعلى، فإن إعادة تشغيل المقاطع المُعلّمة بعد مجانية.

لن نخبرك بماذا سيقوله تقريرك التالي. لا نقدم تنبؤات حول درجات الاكتشاف. ما نفعله أضيق من ذلك: نُعيد كتابة اللغة المحددة في المقاطع المحددة التي حددها التقرير، ونحافظ على الهيكل، والاقتباسات، والتنسيق حولها.

هل يمكن أن يكون Turnitin خاطئة حول 100% ذكاء اصطناعي؟ نعم. FAQ Turnitin نفسها تقول إن المستندات القصيرة تحصل على تنبؤات «الكل أو لا شيء» على قطاع واحد، وأن النص بدون تغير هيكلي أو مع إعادة صياغة من قريب أكثر عرضة للإيجابات الإيجابية الخاطئة. درجة 100% هي مجموع متجمع من التصنيفات على مستوى القطاع، وفي مستند قصير قد يكون هناك قطاع واحد فقط.

هل تعني 100% ذكاء اصطناعي أن Turnitin متأكد؟ لا. النسبة المئوية هي مخرج مصنف يطبيق على أقسام متداخلة، مجمعة ومتجمعة. في مستند ذي قطاع واحد، يصبح قطاع واحد ذو احتمال عال هو الدرجة بأكملها. يقول Turnitin أن الدرجة “should not be used as the sole basis for adverse actions against a student” (لا ينبغي أن تُستخدم كأساس وحيد للإجراءات الضارة ضد طالب) وهي “a single data point rather than a definitive response.” (نقطة بيانات واحدة بدلًا من رد قطعي).

لماذا حصلت مقالتي القصيرة على 100% لكن ورقتي الطويلة لا؟ المستندات الأطول تحتوي على أقسام متداخلة أكثر، لذلك تجمع الدرجات بين النوافذ ويتمود قطاع واحد شبيه بالذكاء الاصطناعي. المستندات القصيرة تحتوي على قطاع واحد، لا تداخل، لا تمويد. هذه خاصية ميكانيكية لخط التقدير، لا حكم على كتابتك.

ماذا لو استخدمت Grammarly؟ FAQ Turnitin يقول إن تغييرات الإملاء والنحو والترقيم من Grammarly “in most cases” (في معظم الأحيان) لا تُعلّم كذكاء اصطناعي. لكن ميزات Grammarly التوليدية (توليد المسودة، إعادة الصياغة، التلخيص) هي فئة مختلفة، والمحتوى الذي أنتجته تلك الميزات “will likely be flagged as AI-generated.” (سيُعلّم بالاحتمال كذكاء اصطناعي).

هل يمكنني استخدام كلمات Turnitin نفسها في دفاعي؟ نعم. البيان بأن الدرجة لا ينبغي أن تكون الأساس الوحيد للإجراء يظهر في ثلاث مستندات لـ Turnitin. البيان بأن الدرجة هي نقطة بيانات واحدة يظهر في دليل المراجعة خاصهم. هذه تعليمات التشغيل الخاصة بالشركة المصنعة، وهي ذات صلة بأي محادثة حول ما تعنيه الدرجة.