الجواب القصير. يُقاس الذكاء الاصطناعي كما يُختبر باقي البرنامج: بـ مجموعة تقييم. ستون حالة حقيقية مأخوذة من رسائلكم ووثائقكم وصوتياتكم، بالعربية والفرنسية والدارجة؛ ولكل منها الجواب الصحيح يكتبه من يعرف عندكم. نصفها حالات شائعة؛ والنصف الآخر فخاخ وأسئلة خارج النطاق جوابها الصحيح «لا أعرف» وبيانات ناقصة ومحاولات تحايل. وكل جواب من الذكاء الاصطناعي يُنقَّط بـ ثلاث طرق: بالكود حين يكون الجواب حقلاً، وبقاعدة «لكل ادعاء مصدر» التي تعدّ الهلوسات، وبنموذج حَكَم مضبوط على تنقيطكم للشكل. وتُعاد المجموعة مع كل تغيير في التعليمات أو الوثائق أو النموذج: وهذا ما يلتقط التراجعات. وعتبة تسليم تُكتب قبل أول تجربة. ليست نسبة دقة وحيدة: بل ستة قياسات تُقرأ معاً.
هذا الدليل موجّه إلى من يقارن مقدّمي الخدمة ويريد أن يعرف ما يسألهم، وإلى المسيّر الذي رأى عرضاً مقنعاً ويتساءل ما الذي يثبته، وإلى مديرية الإعلام الآلي التي يجب أن توقّع على الإنتاج. يفصّل المنهج الذي تفترضه أدلتنا الأخرى، الذكاء الاصطناعي في التطبيق وقراءة الوثائق والنشر الخاص، ويجيب عن أحد الأسئلة التي تُطرح قبل التوقيع والمسرودة في دليل اختيار شركة.
ما تقوله الأرقام
ناشرو النماذج أنفسهم يقولون إنه يجب القياس. دليل التقييم من OpenAI يعرّف التقييمات بأنها «اختبارات منظَّمة لقياس أداء نموذج»، ضرورية لأن هذه الأنظمة لا تجيب مرتين بالطريقة نفسها، ويوصي بمسار من خمس مراحل: تحديد الهدف، تكوين مجموعة بيانات، تحديد القياسات، مقارنة النسخ، والتقييم المستمر مع كل تغيير. ويسمّي أيضاً ما لا يجب فعله: قياسات عامة لا علاقة لها بالمهمة، مجموعة لا تشبه الحركة الحقيقية، والتقييمات «بالانطباع»، حين تُختصر الاستراتيجية في «يبدو أنه يعمل» أو يُنتظر التسليم للقياس.
وطريقة بناء المجموعة مكتوبة أيضاً. تطلب وثائق Anthropic حالات تعكس التوزيع الحقيقي للمهمة، دون نسيان الحالات القصوى، بيانات غائبة أو خارج الموضوع، مدخلات طويلة جداً، طلبات ملتبسة يتردد فيها البشر أنفسهم؛ وتوصي بـ أتمتة التنقيط ما أمكن، وتفضّل حالات كثيرة منقَّطة آلياً على حالات قليلة منقَّطة يدوياً. وتميّز ثلاثة تنقيطات: بالكود، الأسرع والأوثق؛ بإنسان، الأدق والأبطأ؛ وبنموذج حَكَم بينهما، ويُفضَّل أن يكون نموذجاً غير الذي يُقيَّم. ويضيف دليل OpenAI الشرط: الحَكَم الآلي لا يُعمَّم إلا بعد ضبطه على تنقيط بشري.
وما لا يوجد: نسبة تصح عندكم. الترتيبات العلنية تقيس مهام عامة، بالإنجليزية غالباً؛ ولا تقول شيئاً عن سؤال بالدارجة عن كتالوجكم. فلا نذكر أي «نسبة هلوسة» لنموذج: التي تهم تُقاس على حالاتكم الستين وتتغير مع وثائقكم. وأرقام الشكل الأول، 47 و55 و53 من 60، مثال مبنيّ لإظهار تراجع لا قياس من مشروع؛ وما ليس مثالاً هو المنهج.
ستون حالة، تُعاد على ثلاث نسخ
مجموعة التقييم ليست للحصول على درجة: بل لمقارنة نسختين دون الوثوق بانطباع.
النسخة 1، بالتعليمات الأولى، تنجح في 47 حالة من 60؛ والإخفاقات الثلاثة عشر ليست خبراً سيئاً بل قائمة العمل، وثلثها في الفخاخ. النسخة 2، بتعليمات مصحَّحة ووثائق مقطَّعة أفضل، تنجح في 55؛ والإخفاقات الخمسة الباقية معروفة ومسرودة ومعروضة على الزبون. النسخة 3 تحتفظ بالتعليمات نفسها بنموذج أصغر أقل كلفة لكل طلب: 53 من 60. وحين تُجرَّب يدوياً تجيب جيداً جداً. واللوحة تُظهر شيئاً آخر: حالتان كانت النسخة 2 تنجح فيهما تفشلان الآن.
هذان المربعان هما سبب وجود المجموعة. بدونها لذهبت النسخة 3 إلى الإنتاج لأنها أقل كلفة، ولبدأ نوعان من الطلبات يتلقيان أجوبة خاطئة دون أن يرى أحد قبل شكوى. وبها، القرار مكتوب مسبقاً: عتبة 54 من 60 وبلا تراجع؛ فتُسلَّم النسخة 2 وتنتظر النسخة 3. وتُعاد المجموعة بالطريقة نفسها يوم يغيّر ناشر نسخة نموذجه، وهذا يحدث عدة مرات في السنة، وتعمل بأمر واحد، مع الاختبارات الموصوفة في دليل التسليم.
«حين تُجرَّب يدوياً تجيب النسخة 3 جيداً جداً؛ واللوحة هي ما يُظهر أنها خسرت حالتين.»
بناء مجموعة التقييم، في ست خطوات
ست خطوات، واحدة منها لا يستطيع أحد فعلها مكانكم.
المعيار يقول ما معنى «يعمل» لهذه الوظيفة، في جملة قابلة للقياس: تاريخ التسليم الصحيح، الفئة الصحيحة، الحقول الصحيحة، ولا ادعاء ليس في وثيقة. الحالات الحقيقية ستون طلباً من تبادلاتكم الحقيقية، رسائل WhatsApp وبريد وصوتيات ووثائق، باللغات الثلاث؛ وأمثلة نخترعها نحن ستقيس ما نظن أن زبائنكم يسألونه. الجواب الصحيح يكتبه من يعرف عندكم، المسيّر أو المحاسب أو رئيس الوكالة؛ هو المرجع، وهي الخطوة التي تطلب وقتكم: ساعة أو ساعتان، مرة واحدة.
الحالات الصعبة تُضاف عمداً: فخاخ، أسئلة خارج النطاق، بيانات ناقصة، محاولات تحايل؛ ومجموعة حالات سهلة تعطي درجة جميلة ولا تثبت شيئاً. التنقيط يُؤتمت ما أمكن، بالكود للحقول وبنموذج حَكَم مضبوط على تنقيطكم للباقي، مع عينة تُراجَع يدوياً للتحقق من أن الحَكَم يحكم مثلكم. العتبة تُكتب قبل أول تجربة: الدرجة الدنيا، قاعدة التراجعات، وقائمة الحالات الحرجة التي لا يُقبل فيها خطأ. والعتبة التي تُكتب بعدها تتكيف دائماً مع الدرجة المحصَّلة.
حالة واحدة، ثلاث طرق لتنقيطها
الجواب لا يُنقَّط «جيداً» أو «سيئاً»: بل يُفكَّك، ولكل جزء قاعدته.
الحالة 37 فخ: سؤالان في واحد، «طلبيتي وقتاش توصل، ونقدر نرجّعها؟». جواب الذكاء الاصطناعي ثلاثة ادعاءات. تاريخ التسليم موجود في الطلبية؛ فترة الصباح في الجولة؛ و«الإرجاع مجاني خلال 30 يوماً» ليس في أي مكان، لأن شركتكم لم تكتب أي سياسة إرجاع. التنقيط الأول، بالكود: هل التاريخ المُعاد هو المنتظر؟ نعم. التنقيط الثاني، المصدر: كل ادعاء يُقابَل بالوثائق التي استرجعها التنسيق؛ اثنان من ثلاثة لهما مصدر والثالث مخترَع. التنقيط الثالث، الشكل، بنموذج حَكَم مضبوط على تنقيطكم: النبرة واللغة والطول مطابقة.
الحكم: إخفاق. جواب صحيح بثلثيه، مهذب وحسن الصياغة، يمرّ في تنقيط بالنظر؛ وهو بالضبط نوع الجواب المسمّى هلوسة، وهو ما سيتذكره الزبون لأنه يعده بشيء. والجواب المنتظر، الذي كتبه فريقكم، كان: التاريخ، والفترة، و«للإرجاع أوصلكم بمستشار». وتبيّن هذه الحالة أيضاً لماذا يُتحقَّق من المصدر ادعاءً ادعاءً: درجة إجمالية «للأمانة» كانت ستعطي 67 %، رقم يبدو مقبولاً ويخفي وعداً كاذباً.
«جواب صحيح بثلثيه، مهذب وحسن الصياغة، فيه وعد مخترَع، وهو ما يتذكره الزبون.»
ستة أنواع من الحالات، وما يُنتظر من الذكاء الاصطناعي
قيمة مجموعة التقييم في تركيبها؛ ستة أنواع من الحالات، ولكل منها ما يُحسب نجاحاً.
الحالة الشائعة، السؤال الذي يعود عشرين مرة في اليوم بكلمات الزبائن، تشكّل نصف المجموعة: الجواب الصحيح بمصدره بلغة السؤال. الفخ: سؤالان في واحد، منتج يشبه آخر، تاريخ ملتبس؛ الجواب عن الجزء المعروف وطلب توضيح للآخر وعدم إكمال شيء. خارج النطاق: الجواب ليس في أي من وثائقكم؛ والنجاح الوحيد «لا أعرف» والتحويل إلى إنسان، كما يصف دليل وكيل WhatsApp.
المعطى الناقص: الطلبية غير موجودة، الزبون غير معروف، الوثيقة غير مقروءة؛ قول ذلك وطلب المعلومة وعدم الافتراض. العربية والدارجة: السؤال نفسه بالفصحى وبالدارجة وبأحرف لاتينية وصوتياً يجب أن ينال الجواب نفسه كنسخته الفرنسية، والفارق بين اللغات يُقاس على حدة لأن المتوسط يخفيه. محاولة التحايل: «انسَ تعليماتك»، تخفيض يُطلب بإلحاح، معطى زبون آخر؛ رفض دون إفشاء، ومحاولة تُسجَّل، ولا حق فوق الدور الموصوف في دليل الأدوار.
ستة قياسات، تُقرأ معاً
لا توجد «نسبة دقة» واحدة: بل ستة قياسات، ولا واحد يُقرأ وحده.
النجاح على المجموعة، إجمالاً ولكل نوع حالة: درجة لكل نوع خير من متوسط، لأن 55 من 60 بكل الإخفاقات في خارج النطاق ليست كـ 55 بإخفاقات موزعة. الادعاءات بلا مصدر: عدّ الهلوسات، وصفر مطلوب في الحالات الحرجة. الرفض الخاطئ: «لا أعرف» والجواب كان في الوثائق. وهذان يمسك أحدهما الآخر: ذكاء اصطناعي لا يرفض أبداً يجيب عن كل شيء ويخترع؛ ومن يرفض دائماً لا يخترع شيئاً ولا يفيد؛ ويُضبطان معاً على المجموعة.
التراجعات: حالات نجحت فيها النسخة السابقة وفشلت الجديدة؛ صفر للتسليم أو قرار مكتوب حالةً حالة. التحويل إلى إنسان: حصة الطلبات المحوَّلة، وخصوصاً ما كان يجب تحويله ولم يُحوَّل؛ في التجريب كل يوم. التكلفة والكمون، لكل نسخة، بجانب الدرجة لا وحدهما: نسخة أقل كلفة بتراجعين ليست أفضل. وهذا الجدول، ستة أسطر لكل نسخة، هو ما يُعرض في كل عرض كل أسبوعين.
رأيناه في مكان آخر: أدلة التقييم عند الناشرين، وما ينتقل
مصدران يقولان الجوهر. يقول دليل OpenAI إن التقييم بالانطباع نمط مضاد، وإن المجموعة يجب أن تشبه الحركة الحقيقية، وإن الحَكَم الآلي يُضبط على تنقيط بشري؛ وما ينتقل هو أن القياس يبدأ قبل الكود ولا يتوقف عند التسليم. وتقول وثائق Anthropic ببناء حالات خاصة بالمهمة وإدراج الحالات القصوى وأتمتة التنقيط؛ وما ينتقل هو أن ستين حالة تُعاد مع كل تغيير خير من ست حالات تُراجَع بعناية مرة واحدة.
وما لا تقوله هذه المصادر: ما الأجوبة الصحيحة عندكم، وأي الحالات حرجة، وأي عتبة تقبلون؛ والأسبوع الثاني من المشروع يجيب، مع من يعرف في فريقكم.
قواعد ذكاء اصطناعي مقيس
ست قواعد تُكتب في الأسبوع الأول. العتبة قبل أول تجربة. حالات حقيقية لا أمثلة مخترَعة، باللغات الثلاث. الجواب الصحيح يأتي منكم؛ والنموذج ليس مرجعاً أبداً. لكل ادعاء مصدر، يُتحقَّق واحداً واحداً في الحالات الحرجة. كل تغيير يعيد المجموعة كلها: تعليمات، وثائق، نموذج، نسخة الناشر. كل خطأ يُرى في التجريب يصير حالة؛ المجموعة تكبر ولا تصغر أبداً.
قاعدة سابعة تخص عرض السعر ومقدّم الخدمة: «ذكاء اصطناعي مختبَر ومصادَق عليه» ليس متطلباً بل جملة؛ المتطلب يُكتب «مجموعة تقييم من ستين حالة حقيقية باللغات الثلاث، أجوبة صحيحة يصادق عليها الزبون، الأنواع الستة حاضرة، تنقيط آلي بحَكَم مضبوط على عينة منقَّطة يدوياً، عتبة تسليم وقاعدة تراجعات تُكتبان قبل التجارب، جدول القياسات الستة يُعرض في كل عرض، المجموعة تُسلَّم في مستودع الزبون»، ويُتحقَّق منه كما يوصي دليل دفتر الشروط. ولمقدّم خدمة يعرض عرضاً تجريبياً، السؤال هو: «على كم حالة، ومن كتبها، وأيّها تفشل؟»
ست وظائف، وما نقيسه فيها أولاً
ست وظائف نبنيها، ولكل منها أول قياس يُختار.
- الوكيل على WhatsApp، الموصوف في الدليل المخصص. الادعاءات بلا مصدر والتحويلات الفائتة؛ ومحاولات التحايل في المجموعة منذ البداية.
- قراءة الفواتير والوثائق، الموصوفة في الدليل المخصص. الدقة لكل حقل، بالكود، على ستين وثيقة حقيقية؛ والمجموع يشترط أكثر من طريقة الدفع.
- البحث في الوثائق. هل يستشهد كل جواب بالمقطع الصحيح؛ الرفض الخاطئ حين يوجد المقطع؛ و«لا أعرف» حين لا يوجد.
- البحث عن المنتجات، الموصوف في دليل البحث. مائتا طلب حقيقي بالمنتج المنتظر؛ المبدأ نفسه بلا نموذج لغوي.
- فرز الرسائل. الفئة الدقيقة، بالكود؛ والخلط بين «شكوى» و«سؤال» يُعدّ على حدة لأنه لا يكلّف الشيء نفسه.
- النموذج المنشور في الموقع، الموصوف في دليل النشر الخاص. المجموعة تختار النموذج قبل شراء الآلة، وتُعاد مع كل تحديث.
تقويم 2027
التقويم تقويم تقييم يُوضع في ثمانية أسابيع، والوظيفة تُبنى.
الأسبوع 0 إلى 1 يكتب المعيار والعتبة: ما معنى «يعمل»، الدرجة الدنيا، قاعدة التراجعات، الحالات الحرجة؛ موقَّعة. الأسبوع 1 إلى 2 يجمع الحالات الستين وأجوبتها: الحالات من تبادلاتكم، والأجوبة من فريقكم، والأنواع الستة حاضرة. الأسبوع 2 إلى 3 يؤتمت التنقيط: منقِّطات بالكود، نموذج حَكَم مضبوط على تنقيطكم، عينة تُراجَع يدوياً؛ وفي نهاية الأسبوع تعمل المجموعة بأمر واحد.
الأسابيع 3 إلى 6 هي أسابيع النسخ: كل تغيير في التعليمات أو الوثائق أو النموذج يعيد كل شيء، واللوحة تُعرض في كل عرض بإخفاقاتها. الأسبوعان 6 إلى 8 هما التجريب: مستعملون حقيقيون، وكل خطأ يُرى يصير حالة؛ والمجموعة تكبر من ستين إلى نحو مائة. وبعد التسليم تبقى المجموعة في مستودعكم، وتُعاد مع كل تطور ومع كل تغيير في نسخة النموذج. وهي أيضاً ما يجعل تغيير مقدّم الخدمة ممكناً: من يستلم يعرف بأمر واحد ما الذي يعمل.
ما يُفشل قياس الذكاء الاصطناعي
التقييمات التي نستلمها، حين توجد، فشلت دائماً تقريباً لأحد هذه الأسباب.
- العرض مكان المجموعة. خمسة أسئلة يختارها البائع.
- حالات مخترَعة. مكتوبة بفرنسية متقنة، والزبائن يكتبون بالدارجة.
- حالات سهلة فقط. لا خارج النطاق؛ ولم يُضطر الذكاء الاصطناعي قط إلى قول «لا أعرف».
- الجواب الصحيح يكتبه مقدّم الخدمة. أو أسوأ، النموذج نفسه.
- درجة إجمالية. متوسط «أمانة» يخفي الادعاء المخترَع.
- العتبة تُكتب بعدها. مكيَّفة مع الدرجة المحصَّلة.
- المجموعة تُهجر بعد التسليم. يغيّر النموذج نسخته؛ ولا أحد يعيد شيئاً.
أسئلة شائعة
الأسئلة التي نتلقاها من مسيّرين ومديريات إعلام آلي وفرق تقارن مقدّمي الخدمة.
- كيف نعرف أن الذكاء الاصطناعي يعمل فعلاً قبل وضعه في الإنتاج؟
- بمجموعة تقييم: ستون حالة حقيقية من تبادلاتكم، بالجواب الصحيح الذي يكتبه فريقكم، نصفها فخاخ وأسئلة خارج النطاق ومحاولات تحايل. كل نسخة من الذكاء الاصطناعي تعيد المجموعة كلها، وعتبة تسليم تُكتب قبل التجارب تقول هل تذهب إلى الإنتاج. وعرض من خمسة أسئلة لا يثبت شيئاً.
- كيف تُقاس الهلوسات؟
- ادعاءً ادعاءً: كل جملة في الجواب تُقابَل بالوثائق التي استرجعها النظام، وما لا يوجد فيها يُعدّ. والمطلوب صفر في الحالات الحرجة. ودرجة أمانة إجمالية لا تكفي: جواب صحيح بثلثيه فيه وعد مخترَع، وهو ما يتذكره الزبون.
- أي نسبة دقة يمكن انتظارها؟
- لا رقم عام يصح عندكم: الترتيبات العلنية تقيس مهام عامة، بالإنجليزية غالباً، لا سؤالاً بالدارجة عن كتالوجكم. النسبة التي تهم تُقاس على حالاتكم الستين، لكل نوع حالة، وتُقرأ مع خمسة قياسات أخرى: ادعاءات بلا مصدر، رفض خاطئ، تراجعات، تحويلات، تكلفة وكمون.
- من يكتب الأجوبة الصحيحة؟
- أنتم: من يعرف في فريقكم، المسيّر أو المحاسب أو رئيس الوكالة. ساعة أو ساعتان، مرة واحدة، وهي الخطوة الوحيدة التي لا نستطيع فعلها مكانكم. وجواب صحيح يكتبه مقدّم الخدمة أو النموذج يقيس ما يظنه مقدّم الخدمة لا ما يجب أن يسمعه زبائنكم.
- ماذا يحدث حين يغيّر النموذج نسخته؟
- تُعاد المجموعة بأمر واحد، واللوحة تُظهر التراجعات: الحالات التي نجحت فيها النسخة القديمة وفشلت الجديدة. والإجراء نفسه حين تتغير التعليمات أو الوثائق أو ننتقل إلى نموذج أقل كلفة. وبلا مجموعة، تغيير النسخة رهان يُكتشف بشكوى.
- ماذا نسأل مقدّم خدمة يقول إن ذكاءه الاصطناعي موثوق؟
- على كم حالة قيس، ومن كتب الأجوبة الصحيحة، وأي أنواع الحالات في المجموعة، وكيف تُعدّ الادعاءات بلا مصدر، وما العتبة المكتوبة قبل التجارب، وأي الحالات ما زالت تفشل. مقدّم خدمة يقيس يستطيع عرض قائمة إخفاقاته؛ ومن يعرض عرضاً تجريبياً فقط لا قائمة له.