هل ChatGPT كاشف للذكاء الاصطناعي؟ ما نشرته OpenAI عن المصنّف الذي بنته

لا. بنت OpenAI لهذا الغرض مصنّفاً منفصلاً دُرِّب خصيصاً، ونشرت الدقة التي قاستها — حدّد بشكل صحيح 26% من النص المكتوب بالذكاء الاصطناعي، في حين صنّف خطأً 9% من النص المكتوب بيد إنسان على أنه مكتوب بالذكاء الاصطناعي — وأوقفته في 20 يوليو 2023، معلنة أنه سُحب "due to its low rate of accuracy" (بسبب انخفاض معدل دقته). ونموذج الدردشة الذي يُسأل "هل كتب هذا ذكاء اصطناعي؟" ليس ذلك المصنّف ولم يكن كذلك قط؛ إنه ينتج إجابة تبدو مقبولة لأن إنتاج إجابات تبدو مقبولة هو بالضبط ما يفعله.

في يناير 2023، أصدرت OpenAI مصنّفاً "trained to distinguish between text written by a human and text written by AIs from a variety of providers" (دُرِّب على التمييز بين نص كتبه إنسان ونص كتبته أنظمة ذكاء اصطناعي من جهات متعددة). ولا يزال الإعلان منشوراً على الإنترنت، مع ملاحظة سحب مضافة في الأعلى.

الأرقام موجودة في الإعلان نفسه، لا في اختبار مستقل أجراه أحد:

"In our evaluations on a 'challenge set' of English texts, our classifier correctly identifies 26% of AI-written text (true positives) as 'likely AI-written,' while incorrectly labeling human-written text as AI-written 9% of the time (false positives)." (في تقييماتنا على «مجموعة تحدٍّ» من النصوص الإنجليزية، يحدد مصنّفنا بشكل صحيح 26% من النص المكتوب بالذكاء الاصطناعي بوصفه «مرجحاً أنه مكتوب بالذكاء الاصطناعي»، وهي الإيجابيات الصحيحة، في حين يصنف خطأً النص المكتوب بيد إنسان على أنه مكتوب بالذكاء الاصطناعي في 9% من الحالات، وهي الإيجابيات الخاطئة.)

26% فقط تم اكتشافها، و9% من كتابة البشر أُشير إليها خطأً. وهذا تقييم الجهة المورّدة نفسها لنظام بنيته عن قصد، مع إمكانية الوصول إلى مخرجات نماذجها الخاصة كبيانات تدريب.

تحتوي الفقرة الافتتاحية على جملة يُستشهد بها أقل مما ينبغي: "it is impossible to reliably detect all AI-written text." (من المستحيل اكتشاف كل نص كتبه الذكاء الاصطناعي بشكل موثوق).

يتضمن الإعلان قسماً للقيود، ويبدو وكأن من كتبه توقع أن يُساء استخدامه. وبعبارته هو:

• "It should not be used as a primary decision-making tool, but instead as a complement to other methods of determining the source of a piece of text." (لا ينبغي استخدامه أداةً أساسية لاتخاذ القرار، بل مكملاً لوسائل أخرى لتحديد مصدر النص.)
• "The classifier is very unreliable on short texts (below 1,000 characters). Even longer texts are sometimes incorrectly labeled." (المصنّف غير موثوق إلى حد كبير مع النصوص القصيرة، أي أقل من 1,000 حرف. وحتى النصوص الأطول تُصنَّف أحياناً بشكل خاطئ.)
• "Sometimes human-written text will be incorrectly but confidently labeled as AI-written by our classifier." (في بعض الأحيان يُصنَّف النص المكتوب بيد إنسان خطأً ولكن بثقة على أنه مكتوب بالذكاء الاصطناعي من قِبل مصنّفنا.)
• "We recommend using the classifier only for English text. It performs significantly worse in other languages and it is unreliable on code." (نوصي باستخدام المصنّف للنص الإنجليزي فقط. فأداؤه أسوأ بكثير في اللغات الأخرى، ولا يمكن الاعتماد عليه مع الكود.)
• "Text that is very predictable cannot be reliably identified." (النص شديد القابلية للتنبؤ لا يمكن التعرف عليه بشكل موثوق.) والمثال المذكور هو قائمة بأول 1,000 عدد أولي، "because the correct answer is always the same" (لأن الإجابة الصحيحة تكون دائماً نفسها).
• "Classifiers based on neural networks are known to be poorly calibrated outside of their training data. For inputs that are very different from text in our training set, the classifier is sometimes extremely confident in a wrong prediction." (من المعروف أن المصنّفات القائمة على الشبكات العصبية تكون سيئة المعايرة خارج بيانات تدريبها. وبالنسبة للمدخلات المختلفة جداً عن النصوص الموجودة في مجموعة تدريبنا، فإن المصنّف أحياناً يكون واثقاً إلى أقصى حد من تنبؤ خاطئ.)

هاتان النقطتان، الثالثة والأخيرة، هما الظاهرة نفسها موصوفة مرتين: الثقة والصحة غير مرتبطين. وقول أداة من هذا النوع "هذا ذكاء اصطناعي بالتأكيد" ليس ادعاءً أقوى من قولها "ربما ذكاء اصطناعي". إنها الآلية نفسها مع رقم مختلف ملحق بها.

في أعلى الصفحة نفسها:

"As of July 20, 2023, the AI classifier is no longer available due to its low rate of accuracy." (اعتباراً من 20 يوليو 2023، لم يعد مصنّف الذكاء الاصطناعي متاحاً بسبب انخفاض معدل دقته.)

أن تسحب شركة منتجها الخاص وتسمي الدقة سبباً لذلك هو من أنظف ما ينتجه هذا المجال من أدلة. وقول ذلك يكلّف الشركة شيئاً، وهذا بالضبط ما يجعله أثمن من رأي طرف ثالث في أي من الاتجاهين.

هذا هو الجزء الذي يحتاج إلى أن يُقال أكثر من غيره، لأن السحب يُروى أحياناً وكأن القدرة انتقلت إلى برنامج الدردشة. لم تنتقل. كان المصنّف نموذجاً ضُبط بدقة على نحو منفصل، وُصف في الإعلان بأنه "a language model fine-tuned on a dataset of pairs of human-written text and AI-written text on the same topic" (نموذج لغوي ضُبط بدقة على مجموعة بيانات من أزواج من النص المكتوب بيد إنسان والنص المكتوب بالذكاء الاصطناعي حول الموضوع نفسه)، مع عتبة ثقة عُدلت عمداً "to keep the false positive rate low" (للحفاظ على معدل الإيجابيات الخاطئة منخفضاً).

لا شيء مما سبق يصف واجهة دردشة. عندما يُسأل نموذج دردشة عما إذا كان مقطع ما قد كُتب بالذكاء الاصطناعي، فليس لديه أي مكوّن كشف يرجع إليه؛ بل يولّد نوع النص الذي يأتي عادة بعد هذا النوع من الأسئلة. سينتج حكماً يبدو واثقاً، ونسبة مئوية إن طلبت ذلك، وقائمة من الأسباب، وكثيراً ما سينتج حكماً مختلفاً للمقطع نفسه في المحاولة الثانية.

إذن لقطة الشاشة المتداولة ليست قياساً ضعيفاً. إنها ليست قياساً على الإطلاق.

المصنّف المسحوب لجهة ما لا يقول شيئاً عن منتج جهة أخرى الحالي، وسيكون من غير النزيهة التمادي إلى هذا الحد.

كاشف Turnitin نظام مختلف، تصفه الشركة المصنّعة بعبارات مختلفة، وله ادعاءاته المعلنة وأساليب فشله الموثقة. فالكاشفات بوجه عام تختلف فيما بينها اختلافاً كبيراً على المقطع نفسه، وهذه مشكلة منفصلة لها أدلتها الخاصة، مبينة في مدى تباعد الكاشفات على النص المتطابق. والفئة الأكثر تضرراً من الإيجابيات الخاطئة موثقة بطريقة تهمّك إن لم تكن الإنجليزية لغتك الأولى: انظر ما تظهره الأبحاث عن الكتابة بالإنجليزية لغير الناطقين بها.

الادعاء الضيق هنا هو الوحيد الذي يدعمه المصدر: سؤال نموذج دردشة عما إذا كان شيء ما قد كُتب بالذكاء الاصطناعي ليس كشفاً، والشركة التي تصنع أشهر نموذج دردشة نشرت مصنّفاً مبنياً لهذا الغرض، وقاسته، ثم سحبته.

بعض الشكل العملي، دون ادعاء أننا نعرف إجراءات مؤسستك.

1. حدد ما الذي أنتج هذا الادعاء. عبارة "تمت الإشارة إليه" قد تعني كاشفاً مؤسسياً مع تقرير، أو شخصاً لصق عملك في برنامج دردشة. هاتان حالتان مختلفتان، وواحدة فقط منهما تأتي مع مستند.
2. إن كان هناك تقرير، فاطلبه. التقرير فيه مقاطع ومواضع؛ أما لقطة شاشة نافذة الدردشة ففيها جملة واحدة.
3. اطرح السؤال نفسه على نموذج الدردشة مرتين، على المقطع نفسه، في جلستين جديدتين. عدم الاستقرار خاصية يمكنك إظهارها بدلاً من الادعاء بها.
4. لا تبدأ بأي من هذا. الإجراءات والمصدر هما ما يقنعان؛ أما الجدل حول الأدوات فنادراً ما يقنع، والبدء باعتراض تقني قد يُفهم على أنه تهرّب من السؤال.

نحن نعيد كتابة المستندات، لذا من الأفضل أن نكون صريحين: لا شيء مما سبق حجة على أن الكشف لا يعمل، ونحن لا نبيع مثل هذه الحجة. أداة HumanPen مخصصة للحالة التي يوجد فيها تقرير حقيقي وتحمل مقاطع محددة إشارات تمييز. تلك الإشارات تحدد حدود ما يعدّله؛ ولا يُمس شيء خارجها.

إن كانت حالتك لقطة شاشة من برنامج دردشة بلا تقرير خلفها، فليست مشكلتك في إعادة الكتابة. لديك حوار يجب أن تجريه، وما سبق هو ما سنحضره إليه.

هل يستطيع ChatGPT معرفة ما إذا كان النص قد كتبه ذكاء اصطناعي؟ بنت OpenAI مصنّفاً منفصلاً لهذه المهمة بدلاً من استخدام نموذج الدردشة، ونشرت دقته، ثم سحبته في يوليو 2023 مشيرة إلى انخفاض معدل دقته. ولا تحتوي واجهة الدردشة على أي مكوّن كشف يمكن الرجوع إليه.

ما هي أرقام مصنّف OpenAI؟ على مجموعة تحدٍّ من النصوص الإنجليزية، حدد بشكل صحيح 26% من النص المكتوب بالذكاء الاصطناعي، وصنف خطأً النص المكتوب بيد إنسان على أنه مكتوب بالذكاء الاصطناعي في 9% من الحالات.

لماذا يبدو برنامج الدردشة واثقاً إلى هذا الحد؟ تشير القيود التي نشرتها OpenAI بنفسها إلى أن المصنّفات من هذا النوع قد تكون "extremely confident in a wrong prediction" (واثقة إلى أقصى حد من تنبؤ خاطئ)، ونبرة الثقة في نموذج الدردشة خاصية لطريقة كتابته لا دليل على نصك. وطرح السؤال مرتين كثيراً ما ينتج إجابتين مختلفتين.

هل يعني هذا أن كشف الذكاء الاصطناعي في Turnitin لا يعمل أيضاً؟ لا يقول شيئاً عن ذلك. جهة مختلفة، ونظام مختلف، وادعاءات معلنة مختلفة. الشيء الوحيد الذي يدعمه هذا المصدر هو أن استخدام نموذج دردشة ككاشف ليس كشفاً.