StealthWriter مقابل Turnitin: ما تقوله الوثائق فعليًا

تعرّف الأسئلة الشائعة في StealthWriter درجة الكاشف بأنها نسبة مما يُدخله المستخدم ويصنفه نصًا طبيعيًا. أما Turnitin فيصف نسبة للكتابة بالذكاء الاصطناعي تُنتجها العملية الموثقة أدناه. ولا تقدم المصادر التي راجعناها أي قاعدة للتحويل بين هذين المسميين، لذلك لا يمكن ترجمة رقم من أحد المنتجين إلى رقم من الآخر.

لا توجد درجة عالمية للكشف عن الذكاء الاصطناعي تتفق عليها جميع الأدوات، ولماذا يحصل النص نفسه على درجات مختلفة في كل كاشف يتتبع مصدر هذا التفاوت. كل كاشف ينتج تقديره الخاص. ومعاملة الدرجات القادمة من أدوات مختلفة كما لو أنها تقيس الشيء نفسه بالوحدة نفسها لا تؤدي إلا إلى الالتباس.

نحن لا ندعي أي أداة أدق من الأخرى. ولم نُعد إجراء أي اختبار للدقة أو التوافق بين مزودين مختلفين من أجل هذا المقال. يجب قراءة كل نتيجة في ضوء التعريف الذي يضعه مزودها بنفسه.

يوثّق Turnitin عملية محددة للوصول إلى درجة الكتابة بالذكاء الاصطناعي:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (عندما يُرسل بحث إلى Turnitin، تُستخرج الجمل من النص المرسل وتُجزأ إلى مقاطع متداخلة من أجل تحليل التنبؤ. ويُصنف نموذج كشف الذكاء الاصطناعي كل مقطع ويعطيه قيمة بين 0 و1، تدل على احتمال أن يكون النص بشريًا أو مُولّدًا بالذكاء الاصطناعي. وترث كل جملة مؤهلة داخل هذه المقاطع درجة المقطع الذي تنتمي إليه. ولأن المقاطع تتداخل، قد تحمل بعض الجمل أكثر من درجة، ثم تُجمع في درجة واحدة. وتُجمَّع درجات الجمل هذه مجددًا وتُستخدم لحساب درجة الكتابة بالذكاء الاصطناعي للمستند ككل.)

تتلخص العملية في استخراج الجمل، وتجزئتها إلى وحدات متداخلة، ووضع درجة لكل مقطع، وجمع درجات الجمل، ثم تجميعها في نسبة مئوية على مستوى المستند. ولا توثق الصفحات العامة الخاصة بـ StealthWriter التي راجعناها في هذا المقال سلسلة مماثلة للتجزئة والتجميع. لذلك لا تسمح المصادر المتاحة اليوم بالقول إن StealthWriter يستخدم الطريقة نفسها أو طريقة مختلفة.

توضح وثائق Turnitin أيضًا أن نسبة الكشف عن الكتابة بالذكاء الاصطناعي ودرجة التشابه أمران منفصلان. "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (درجة التشابه ونسبة الكشف عن الكتابة بالذكاء الاصطناعي مستقلتان تمامًا ولا تؤثر إحداهما في الأخرى.) وتشير درجة التشابه إلى نسبة النص المطابق الذي عُثر عليه في المستند المرسل عند مقارنته بمجموعة المحتويات الواسعة التي يستخدمها Turnitin لفحص التشابه. قد يكون للمستند تشابه مرتفع ونسبة ذكاء اصطناعي منخفضة، أو العكس. وتقرير الكتابة بالذكاء الاصطناعي من Turnitin في مقابل تقرير التشابه يُبقي الاثنين منفصلين. الرقمان لا يؤثر أحدهما في الآخر.

ينشر Turnitin هدفًا محددًا للإيجابيات الخاطئة:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (نسعى إلى تعظيم فعالية الكاشف لدينا مع الحفاظ على معدل الإيجابيات الخاطئة — أي التحديد الخاطئ لنص مكتوب بالكامل من قِبل إنسان على أنه مُولّد بالذكاء الاصطناعي — دون 1%، وذلك في المستندات التي تزيد فيها الكتابة بالذكاء الاصطناعي على 20%.)

وتعيد الوثائق صياغة الأمر على النحو التالي: "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (بعبارة أخرى، قد نُعلّم مستندًا من كل 100 مستند مكتوب بالكامل من قِبل إنسان على أنه مكتوب بالذكاء الاصطناعي.) وتسقط هذه الصياغة قيد "أكثر من 20% من الكتابة بالذكاء الاصطناعي". النسخة التي تتضمن عتبة 20% هي الأكثر دقة. أما ما تعنيه هذه العتبة وما لا تعنيه بالنسبة إلى درجتك أنت، فيتناوله هل نسبة 20% ذكاء اصطناعي مرتفعة أكثر من اللازم؟.

وللتحقق من هذا الهدف، يصف Turnitin إطار الاختبار لديه: "To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate." (لتعزيز إطار الاختبار لدينا وتشخيص الاتجاهات الإحصائية للإيجابيات الخاطئة، نجري قبل كل تحديث أو إصدار لنموذج جديد اختبارات على أكثر من 700,000 ورقة أكاديمية إضافية كُتبت قبل إطلاق ChatGPT، وذلك لمواصلة التحقق من أن معدل الإيجابيات الخاطئة لدينا يقل عن 1%.)

هذا ما يقوله Turnitin عن نظامه هو. وقد تكون لدى StealthWriter أهداف مختلفة للدقة، أو عمليات تحقق مختلفة، أو قد لا ينشر أرقامًا قابلة للمقارنة. لا يمكننا إجراء مقارنة مباشرة في الدقة. كل ما يمكننا فعله هو نقل ما تذكره وثائق Turnitin.

يؤثر طول المستند في طريقة معالجة كاشف Turnitin للنص. فمع المستندات القصيرة، تسلك آلية احتساب الدرجات مسلكًا مختلفًا. وتذكر الوثائق:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (في المستندات الأقصر، التي لا تحتوي إلا على بضع مئات من الكلمات، سيكون التنبؤ في معظمه 'all or nothing'، أي كل شيء أو لا شيء، لأننا نُجري التنبؤ على مقطع واحد دون إمكانية التداخل.)

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (وهذا يعني أن بعض النصوص التي تمزج بين محتوى مُولّد بالذكاء الاصطناعي ومحتوى أصلي قد تُعلَّم على أنها مُولّدة بالذكاء الاصطناعي بالكامل.)

آلية التداخل التي تعمل على توازن الدرجات في المستندات الطويلة لا تعمل عندما يكون النص مقطعًا واحدًا. فبضع مئات من الكلمات التي تمزج نصًا بشريًا ونصًا من الذكاء الاصطناعي قد تعود بنتيجة 100%، وهو أحد المسارات المذكورة في لماذا يقول Turnitin إن عملك ذكاء اصطناعي بنسبة 100%. هذا سلوك بنيوي مرتبط بالمدخلات القصيرة.

هذا السلوك مع المدخلات القصيرة موثّق بالنسبة إلى Turnitin. والصفحات التي راجعناها من StealthWriter لا تصف عملية مماثلة للمدخلات القصيرة، ولذلك لا ينسب هذا المقال إلى StealthWriter آلية مطابقة ولا آلية مختلفة.

يخفي Turnitin الدرجات الرقمية دون 20%. وتذكر الوثائق:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (لتجنب احتمال وقوع إيجابيات خاطئة، لا تُمنح أي درجة أو تمييز للنتائج الواقعة في نطاق الكشف عن الذكاء الاصطناعي بين 1% و19%. وعندما يُكتشف الذكاء الاصطناعي دون عتبة 20% في التقرير، يُشار إليه الآن بعلامة النجمة (*%)، ولا تُمنح أي نسبة مئوية.)

المستند الذي يُقدّر نموذج Turnitin فيه نسبة الذكاء الاصطناعي بـ 8% سيظهر في التقرير بعلامة نجمة، لا بالرقم 8%. ولا يُطبق أي تمييز على النص. والسبب في ذلك هو عدم إظهار إيجابيات خاطئة محتملة في نطاق منخفض الثقة، وهو ما يتوسع فيه ما الذي تعنيه علامة النجمة (*%) في درجة الذكاء الاصطناعي من Turnitin.

قاعدة النجمة تخص Turnitin. والصفحات التي راجعناها من StealthWriter تُعرّف درجتها الخاصة، لكنها لا توثق كيفية عرض الحالة نفسها حين تكون القيمة منخفضة. لا تستنتج من ذلك أي تحويل أو فرق في العرض من دون اختبار منفصل وموثق.

إذا كنت تقارن نتائج StealthWriter وTurnitin على المستند نفسه، فها هي الخلاصة:

• تعريفان مختلفان ولا قاعدة للتحويل. يعرّف StealthWriter نسبة الطبيعية، بينما يوثّق Turnitin درجة الكتابة بالذكاء الاصطناعي. ولا تقدم المصادر التي راجعناها أي تقابل بينهما.
• Turnitin يحتسب الدرجة بالتجزئة والتجميع. تُستخرج الجمل، وتُجزأ إلى وحدات متداخلة، وتُقيّم، وتُجمع، ثم تُجمَّع. درجة الذكاء الاصطناعي ودرجة التشابه مستقلتان تمامًا.
• Turnitin يستهدف أقل من 1% من الإيجابيات الخاطئة في المستندات التي تزيد فيها الكتابة بالذكاء الاصطناعي على 20%، بعد التحقق على أكثر من 700,000 ورقة أكاديمية إضافية كُتبت قبل ChatGPT.
• المستندات القصيرة تحصل على درجات من نوع كل شيء أو لا شيء. بضع مئات من الكلمات قد تعود بنتيجة 0% أو 100% حتى لو كان النص مختلطًا.
• الدرجات دون 20% تظهر على شكل نجمة. لا تظهر أي نسبة مئوية رقمية أو تمييز في النطاق من 1% إلى 19%.

يمكن إعادة تشغيل المقاطع المستوفية للشروط دون أي رسوم.