جاكوب لويد — كُتب بمساعدة الذكاء الاصطناعي بعد إنجاز المشروع
مدة القراءة
قراءة 2 دقيقة
بعبارة مبسطة: تعتبر منصة MakoBench لوحة نقاط عامة لتقييم النماذج اللغوية. يجيب كل نموذج على نفس الاختبارات: حيث تُمنح مهام الكود 10 نقاط، ومهام الدردشة 10 نقاط، ويكون المجموع هو مجموع النقطتين معًا. كما تُفتح مجموعات المكافآت الأصعب للنماذج التي تحقق نسبة 90% أو أكثر في أي جزء من الاختبارات، ويمكنها إضافة نقاط إضافية. تعرض هذه الصفحة كل خطوة في العملية عبر رسوم توضيحية.
اختبار مشترك واحد. جميع النماذج تُجيب على نفس الحالات القياسية. يساوي تقييم الكود 10 نقاط، وكذلك تقييم الدردشة، ليصبح المجموع 20 نقطة في الاختبارات القياسية.
تشغيل الكود وتقييم الدردشة. إجابات الكود تُختبر على حالات اختبار خفية. أما نموذج التقييم فيُقيّم محادثات الدردشة ويجب عليه أن يستشهد بالأدلة ذات الصلة.
كل درجة لها هامش معين. النماذج التي تقع ضمن نطاق ± بعضها من بعض تُعتبر متعادلة، بغض النظر عن ترتيبها.
مجموعات المكافآت تتجاوز الـ10 نقاط. إذا حققت درجة 90% أو أكثر في جزء معين، فإن مجموعات أصعب منه تُفتح أمامك؛ وكل مجموعة تمنح نقطة إضافية واحدة كحد أقصى.
لا توجد نقاط مقابل الرفض. الاختبارات تقيس ما يفعله النموذج عندما يُطلب منه شيء ما فقط.
المحرك مفتوح المصدر. يمكنك تشغيل CrucibleForge على GitHub لإدارة جميع الاختبارات، كما يمكنك تشغيله بنفسك أيضًا.
تستخدم الأمثلة التوضيحية لوحة اختبارات الإصدار 4.0 التي نُشرت في 7 نوفمبر 2026. أما الإصدار 4.1 فهو يصحح مفاتيح الإجابات ويُعيد تقييم جميع النماذج مع الحفاظ على نفس قواعد التسجيل ومجموعات المكافآت؛ حيث يتضمن الرابط ما الذي تغيّر في الإصدار 4.1 التفاصيل والأرقام الجديدة.
ما هو MakoBench؟
كل نموذج لغوي يمر عبر نفس الخطوات الست.
MakoBench هو لوحة تصنيفية عامة تضم نماذج لغوية محلية ومضيفة، وجميعها تُقيّم بنفس الطريقة. يقيس هذا النظام قدرتهم على كتابة أكواد برمجية صالحة للاستخدام، بالإضافة إلى قدرتهم على إجراء محادثات تمثيلية أو مصاحبة. يمكنكم الاطلاع على ما الذي يختبره MakoBench وما الذي لا يختبره لمعرفة النطاق الكامل للاختبارات.
مثال حقيقي: نموذج Claude Sonnet 4.5 في حالة استخدام الأدوات TZ19، ضمن المجموعة 4.0.
الحالة تمثل مهمة واحدة فقط: دالة يجب كتابتها، أو برنامجاً يجب التنبؤ بإخراجه، أو محادثة مع الأدوات، أو جلسة تمثيلية طويلة. يتم تقييم كل حالة على شكل أجزاء صغيرة، مثل مجموعات من الاختبارات المخفية أو خطوات المحادثة، لذا فإن أي إجابة قريبة من الصواب تحصل على معظم النقاط المستحقة. يتم تنفيذ كل حالة قياسية مرة واحدة فقط.
يجب على الحكم إظهار الأدلة التي استند إليها في تقييمه؛ فأي رد “نعم” يفتقر إلى اقتباس حقيقي يُعتبر “لا”.
الكود لا يحتاج أبدًا إلى أي رأي شخصي، لكن المحادثات تحتاج إلى ذلك؛ لذا يقوم نموذج الحكم — وهو نموذج لغوي آخر — بالإجابة على أسئلة “نعم/لا” المتعلقة بكل رد. في هذا النظام، نستخدم Gemma 4 31B (النسخة غير المقيدة المعروفة باسم “heretic”， بتنسيق Q8) على جهازنا الخاص الذي يحتوي على وحدة معالجة رسوميات؛ حيث يعني تنسيق Q8 أن أوزان النموذج تم تحويلها إلى صيغة 8 بت. لا يُعتد بأي إجابة “نعم” إلا إذا كان الاقتباس مطابقًا كلمة بكلمة، وذلك لأن نماذج الحكم تميل إلى الإجابة “نعم” بسهولة شديدة. وقبل كل دفعة من البيانات، يجب على الحكم أن يتعرف على رد صحيح معروف مسبقًا ويكتشف أيضًا رد خاطئ؛ وإلا فإن الدفعة بأكملها تتوقف.
عندما يمكن لسؤال واحد أن يسبب فشل الحالة، يُطرح هذا السؤال ثلاث مرات؛ ويتم قبوله فقط في حال حصوله على أغلبية من إجابات “نعم” المُصدّقة، بينما يُعتبر التعادل في الأصوات ردًا “لا”.
كل شريط يمثل جزءًا معينًا، ويُرسم حسب نسبة النقاط التي يستحقها.
كل جزء يحصل على نصيبه من النقاط: فعلى سبيل المثال، الوظائف التي تمثل 76% تحصل على 3.8 من أصل 5 نقاط. وتُجمع جميع هذه الأجزاء لتشكيل نقاط الكود والمحادثة. أما اختبار البالغين فهو له جدول خاص به ولا يتم إضافته أبدًا إلى هذا المجموع.
يوضح الهامش ± مدى اعتماد القيمة الإجمالية على الحالات المختارة في المجموعة. شكل الرسم البياني الموجود هو مجرد توضيح.
مجموعة مختلفة قليلاً من الحالات ستؤدي إلى قيمة إجمالية مختلفة طفيفًا؛ والهامش يُظهر مدى ذلك التباين. عندما يكون فارق القيم بين نموذجين أقل من الهامش الخاص بهما، فإنهما يعتبران متعادلين إحصائيًا. لكن الهامش لا يغطي التغيرات العشوائية بين عمليات التشغيل، لذا يجب اعتبار أي فرق يتراوح بين نقطة أو نقطتين على أنه تعادل أيضًا.
الشرائح هي تقسيمات عامة للتقييمات؛ أما الهامش الذي يتجاوز حدود الشريحة فيدل على أن التصنيف غير واضح تماماً. هذه الأرقام مأخوذة من مجموعة اختبارات الإصدار 4.0.
التصنيف
معناه
الفئة
درجة S عند تحقيق 16 نقطة أو أكثر، ودرجة A عند 13 نقطة، ودرجة B عند 10 نقاط، أما أقل من ذلك فهو درجة C.
التوجه
يُصنف النموذج على أنه متمرس في المحادثات أو في الكود؛ إذا كانت إحدى هاتين القدرتين تتفوق على الأخرى بمقدار 1.5 نقطة على الأقل مقارنةً بالمتوسط العام، فهو يُصنف حسب ذلك التوجه. وإلا فهو متوازن.
جزئي
لم يتم إكمال جميع الحالات. تظهر الأرقام لكن لا يوجد إجمالي أو تصنيف أو مرتبة.
مؤقت
فشلت عملية التحقق من إعداداتنا، لذا قد يقيس كود الاختبار هذا النموذج بشكل غير دقيق. لن تُحدد أي مرتبة أو فئة حتى يتم إعادة التشغيل.
(المجموعة 1)
تحتوي هذه المجموعة على نقاط مكافأة؛ والرقم المذكور يمثل أعلى مستوى من النقاط الإضافية الذي حققه النموذج.
الحد الأقصى
حصول النموذج على 90% أو أكثر في جميع الأسئلة القياسية وفي كل مجموعات المكافآت الخاصة به. لم يتبقَ أسئلة أصعب من ذلك، لذا سيتم إطلاق مجموعة جديدة.
كل شريط يمثل جزءًا من التقييم: الجزء الملون يُظهر النتيجة التي حققها النموذج، بينما الخط المتقطع يشير إلى نسبة الـ 90%. لوحة الاختبار هي Suite 4.0، وقد تم نشر النتائج في 7 نوفمبر 2026.
استخدم Claude Sonnet 4.5 المجموعة القياسية فقط دون أي إضافات أخرى. فيما يلي كيفية تحويل درجاته إلى النتائج الفرعية.
الجزء
حالات الاختبار المتعلقة به
الدرجات المحققة
الوظائف
نسبة المجموعات الاختبارية التي تم اجتيازها: CL3 بنسبة 1.00، وCL4 بنسبة 0.69، وCL5 بنسبة 0.40، وCL6 بنسبة 0.89، وCL7 بنسبة 0.77، وCL8 بنسبة 0.79. المتوسط هو 0.76.
0.76 × 5 = 3.8
التنبؤ والكشف عن الأخطاء
هناك حالتان للتنبؤ بالمخرجات (CB-C5 وCB-C6)، حيث كانت الدقة 31% والوزن 2. كما توجد حالة كشف عن أخطاء واحدة (CB-F1) بدرجة صفر والوزن 1. إذن: (2 × 0.31 + 0) ÷ 3 = 0.21.
0.21 × 2.5 = 0.5
استخدام الأدوات
الخطوات الصحيحة: في TZ16 حقق 3 من أصل 6، وفي TZ19 حقق 7 من أصل 11، بينما أكمل TZ20 جميع الخطوات. المتوسط هو 0.71.
0.71 × 2.5 = 1.8
أجزاء المحادثة
لكل جزء تم تقييمه عبر جلستين منفصلتين.
2.0 + 2.0 + 1.3 + 1.4 = 6.7
المجموع الكلي هو 6.1 + 6.7 = 12.8 ± 1.1، مما يصنفه في الفئة B. أفضل جزء حققه النموذج كان قسم الوظائف بنسبة 76% فقط، وهي أقل من عتبة الـ 90% المطلوبة لفتح المجموعات الإضافية. لذلك ظلت جميع تلك المجموعات مقفلة ولم يُؤخذ في الحسبان سوى المجموعة القياسية. معظم النماذج الأخرى الموجودة على اللوحة تواجه نفس الوضع.
مجموعات المكافآت
كيفية فتح مجموعات المكافآت
جزء واحد، من الأعلى إلى الأسفل. لكل جزء في قسمي "الكود" و"الدردشة" سلمه الخاص.
مجموعة المكافآت هي مجموعة من الأسئلة الأصعب، وعادةً ما تتكون من ثلاثة أسئلة لجزء معين. يطلق عليها نظام CrucibleForge اسم "حزم السلم". والقواعد كالتالي:
الفتح. لا تُمنح مجموعات أي مستوى إلا بعد تحقيق درجة 90% على الأقل في الأسئلة القياسية للجزء وفي كل مجموعة من المستويات الأدنى.
المغلقة، المفتوحة، قيد الانتظار. المغلقة: لم يتم كسبها بعد. المفتوحة: تم كسبها وتُشغل الآن. قيد الانتظار: تم كسبها لكن لم يتم تشغيلها أو تقييمها بعد، لذا لا تحسب أي نقاط حالياً.
نقطة واحدة كحد أقصى لكل مجموعة. تُوزع النقطة على أسئلة المجموعة مع إمكانية الحصول على درجات جزئية؛ فمثلاً الإجابة الصحيحة على سؤالين من أصل ثلاثة تضيف حوالي 0.67 نقطة. وفي حال طُرح السؤال مرتين، يتم حساب متوسط النتيجتين.
المستويات. تُمنح جميع مجموعات مستوى معين دفعة واحدة، وكل منها تضيف نصيبها إلى إجمالي درجة الجزء.
اعتباراً من الإصدار 4.1، كل المجموعات هي من المستوى الأول. يحتوي قسم "الكود" على ثلاث مجموعات، واحدة لكل جزء، بينما يحتوي قسم "الدردشة" على خمس مجموعات (وتضم مجموعة "التمثيل العميق" مجموعتين)، مما يعني أن "الكود" يمكنه الوصول إلى 13 نقطة و"الدردشة" إلى 15 نقطة. أما الجزء الذي لا يزال يحتوي على حالات اختبار قياسية غير مكتملة فلن تُفتح مجموعاته أبداً.
أرقام حقيقية مستمدة من لوحة الاختبار Suite 4.0 والإجابات المسجلة فيها.
نجح DeepSeek V4 Flash في تنفيذ جميع البرامج الستة القياسية الخاصة بالوظائف، مما أدى إلى فتح مجموعة المكافآت التي تتضمن ثلاثة برامج تم تصميمها من الصفر وتم تنفيذ كل منها مرتين. حقق النموذج نتيجة جزئية في أحد هذه البرامج: 4 من أصل 6 مجموعات اختبار في محاولة واحدة، بينما لم يحقق شيئًا في المحاولة الثانية، فأصبحت النتيجة النهائية للسؤال 0.33. وبحساب متوسط هذه النتائج (0 + 0 + 0.33) ÷ 3 نحصل على 0.11 كنسبة مساهمة للمجموعة. كما تم فتح مجموعات المكافآت الخاصة بأقسام الكود والكتابة الإبداعية أيضًا. وبذلك وصلت النتيجة الكلية للكود إلى 11.2، متجاوزة العتبة 10، بينما بلغت النتيجة الإجمالية 19.2 ± 0.8.
أما بالنسبة لاختبار التمثيل الدوري العميق، فقد حقق النموذج نسبة 74% فقط، لذا ظلت مجموعات المكافآت الخاصة به مقفلة. من الجدير بالذكر أن كل قسم يفتح مجموعته الخاصة بشكل مستقل.
كيف تم إعداد الاختبار
الحفاظ على تحديث الحالات
كل إجابة محفوظة تحمل علامة تحدد محتوى الحالة التي أُجيبت عنها، مما يتيح للنظام التمييز بين الإجابات الحالية والقديمة.
كل إجابة محفوظة تحمل علامة تحدد الحالة التي أُجيبت عنها. عندما تتغير حالة ما، يتم إعادة معالجة فقط الأجزاء المتأثرة بالتغيير؛ ولا تختلط الإجابات القديمة مع الجديدة أبدًا. لمزيد من التفاصيل: علامات الحالات (version.py).
مراجعة مفاتيح الإجابات في الإصدار 4.1
كيف تم إعداد الإصدار 4.1. تفاصيل ذلك في مقال الإصدار 4.1.
يمكن أن تكون مفاتيح الإجابات خاطئة بطريقتين: فقد تقبل إجابة غير صحيحة، أو ترفض إجابة صحيحة بسبب طلبها لأكثر مما يطلبه التكليف. في حالة الإصدار 4.1، قام مراجعان مستقلان بقراءة كل مفتاح إجابات عام، وتم التحقق من كل ادعاء مقابل الإجابات المخزنة قبل إجراء أي تعديل. كما تم منح نقاط الرفض أيضاً؛ فلا حالة تعطي درجات مقابل الرفض. الإصدار 4.1: ما الذي تغير يسرد كل الإصلاحات التي تم إجراؤها.
من النسخة الأولى إلى الحزم الجديدة
الجزء العلوي: حالة المجموعة حتى الآن. الجزء السفلي: المسار الذي تسلكه كل حزمة جديدة.
ظهرت مجموعات المكافآت في النسخة 3.9 لضمان ألا تحصل جميع النماذج على درجات مثالية. تبقى الإصدارات القديمة كما هي في تاريخ المجموعة، كما يمكن الاطلاع على كل إصدار من محركات CrucibleForge في سجل التغييرات الخاص بـ CrucibleForge.
عندما تبدأ النماذج في تحقيق أقصى درجات التقييم، يصبح من الضروري إعداد مجموعة مكافآت أكثر صعوبة؛ أي حزمة جديدة. ويعتبر فحص القاضي أهم خطوة في هذا المسار: فإذا لم يتمكن القاضي من التمييز بين الإجابة الجيدة والسيئة بشكل طفيف، فلا يمكن تقييم الحزمة بشكل عادل.
لماذا قمت ببناء هذا؟
لقد سئمت من عدم القدرة على التمييز بين النماذج المختلفة. أردت إنشاء معيار قياس سريع يمكن لأي شخص تشغيله على أي نموذج، بحيث يحصل على أرقام يمكنه التحقق منها بنفسه. اعتقدت أن ذلك سيكون ذا قيمة.
عمليات بحث ذات صلة: MakoBench · كيفية عمل MakoBench · CrucibleForge · لوحة تقييم النماذج اللغوية المفتوحة · منصة تقييم اللغات الطبيعية مفتوحة المصدر · معايير تقييم النماذج اللغوية · حساب هامش الخطأ في التقييم · مقارنة النماذج المحلية مع المضيفة
