حزمة MakoBench 4.0: القياسي 20، الفئة والخفيف

بعبارة مبسطة: MakoBench هو لوحة التقييم العامة الخاصة بنا للنماذج اللغوية. “Suite 4.0” هو مجموعة الاختبارات الحالية. التغيير الرئيسي هو أن الدرجة الكلية أصبحت الآن مجموع درجات “Code” و“Chat” (10 درجات لكل منهما في حالة الأداء المثالي، وبالتالي فإن الحد الأقصى هو 20 درجة؛ مع إمكانية إضافة درجات إضافية). لم يعد التقييم يتم على مقياس من 100 درجة، وقد تم إعادة تشغيل جميع النماذج. توضح هذه الصفحة التغييرات التي حدثت منذ “Suite 3.0” والأسباب وراءها، حتى تعرف أي الأرقام القديمة لا تزال ذات معنى. كما تصف الإصدارات العامة من CrucibleForge وتشير إلى باقي الإصدارات.

انتقل إلى: CrucibleForge على GitHub

حلّت الحزمة 4.1 محل هذه الحزمة في 10 نوفمبر 2026. يُرجى الاطلاع على MakoBench 4.1: ما الذي تغيّر. كما أن لوحة نتائج الحزمة 4.0 ما زالت متاحة في سجل الحزم.

كانت الحزمة 4.0 هي مجموعة الاختبارات الحالية لـ MakoBench حتى صدور الحزمة 4.1؛ وقد تم إنتاجها بواسطة CrucibleForge 4.0.0، بينما جاءت النسخة 4.0.1 كتصحيح للأخطاء المتعلقة بالبيئة والمنصة؛ كلاهما إصدارات عامة. التغيير الأبرز هو أن الدرجة الإجمالية أصبحت الآن 20، وقد أُعيد تشغيل جميع اختبارات اللوحة تحت هذا النظام. أما درجات الحزمة 3.0، التي كانت تُحسب من مائة، فما زالت موجودة في سجل الحزم لكنها غير قابلة للمقارنة.

خلاصة الأمر

الدرجة الإجمالية هي 20 كحد أقصى. درجة الـ 10 في اختبارات الكود ودرجة الـ 10 في اختبارات الدردشة تمثل أداءً مثاليًا؛ كما يمكن إضافة نقاط إضافية عبر مجموعات المكافآت، بحيث تصل درجات الكود والدردشة والإجمالية إلى 10 و10 و20 على التوالي. لكل إصدار من الاختبارات حد أقصى ثابت؛ ويتم رفعه عبر إصدارات جديدة.
أصبحت الاختبارات أسرع وأقل ضجيجًا. تم إزالة أبطأ الاختبارات وأكثرها تسببًا في الضوضاء، كما تم تقصير جلسات الدردشة مع الحفاظ على دقة النتائج.
ظهر عمودان جديدان: “الفئة” (S، A، B، C) و“التوجه” (مائل للدردشة، مائل للكود، أو متوازن).
تم فصل الاختبارات غير المناسبة للجميع عن اللوحة الرئيسية. وهي تظهر بجانب اللوحة ولا تُضاف أبدًا إلى الدرجة الإجمالية.
بعض التحسينات المتعلقة بأدوات الاختبار لم تُطرح بعد. وهي مذكورة في الأسفل مع إشارة واضحة إلى ذلك.

ما الذي يوجد في الإصدار 4.0؟

يظهر في لوحة التحكم أن الإصدار هو 4.0.1 بالإضافة إلى قيمة التجزئة الخاصة بالمحتوى (e3d1c6fb). تتغير هذه القيمة فقط عندما يتغير محتوى الحالة الذي يؤثر على الدرجات، وهكذا تعرف اللوحة أن هناك صفًا قديمًا. من بين 37 نموذجًا موجودًا في اللوحة بتاريخ 2026-11-04، يحمل 32 نموذج درجة كاملة؛ بينما لا تزال خمسة نماذج صغيرة تحتوي على درجات جزئية فقط ولا تملك قيمة “الإجمالي”. تم تقييم هذه الصفوف تحت إصداري 4.0.0 أو 4.0.1، والفرق بينهما يقتصر على البنية التحتية للاختبارات؛ كما أن هناك خمسة صفوف لا تزال تحمل درجة “3.9” وهي مُشار إليها كذلك في اللوحة. يتم ترتيب التغييرات من الأقدم إلى الأحدث.

4.0.0: “ل이트”， صدر في 31 أكتوبر 2026

“الإجمالي” هو مجموع نقاط البرمجة والدردشة. تتكون نقاط البرمجة من: الوظائف (5 نقاط)، التنبؤ وإيجاد الأخطاء (2.5 نقطة)، واستخدام الأدوات (2.5 نقطة). تم إزالة مجموعة الاختبارات المتعلقة بالتفكير، بالإضافة إلى بعض الاختبارات البطيئة أو التي تحتوي على ضوضاء؛ كما اختفى التقييم المنفصل للتفكير. أما نقاط الدردشة فلا تزال كما هي، لكن في جلسات أقصر.
تظل درجات المحتوى غير اللائق بجانب الجدول ولا يتم إضافتها أبدًا إلى النتيجة الإجمالية. لها تبويب خاص بها، وهو +NSFW Bench.
التصنيف والقياس الدقيق. التصنيف هو تصنيف تقريبي بناءً على النتيجة الإجمالية: S إذا كانت النقاط 16 أو أكثر، A إذا كانت 13، B إذا كانت 10، وC لما دون ذلك. أما القياس الدقيق فيقارن مدى ابتعاد نقاط الدردشة والبرمجة للنموذج عن المتوسطات الموجودة في الجدول، ويُشير إلى أي فرق يبلغ 1.5 نقطة أو أكثر.
قاعدة التجاوز. أي صف يستهلك كل ميزانية النقاط المخصصة يُعتبر فاشلاً في الجدول، حتى بعد إعادة المحاولة.
محاولة إعادة واحدة فقط. بدلاً من إعادة المحاولة لكل نموذج على حدة، يتم إعادة محاولة الصفوف التي استهلكت كل ميزانية النقاط مرة واحدة فقط، بحد أقصى 65,536 رمزًا، وذلك بعد أن يكمل كل نموذج جولته الأولى.
تقليل مدة التشغيل. تُجرى اختبارات البرمجة مرة واحدة لكل سؤال؛ كما تم تقصير عدة جلسات دردشة متعددة المراحل عن طريق دمج تحركات المستخدم المتتالية، مع الحفاظ على كل الأسئلة والاختبارات. يقوم المخطط الآن بتقدير وقت تشغيل النموذج بناءً على بيانات الصفوف السابقة الخاصة به.
الرخصة: MIT-0. كانت الرخصة المستخدمة في الإصدارات حتى 3.7.0 هي MIT.
تحتوي كل مجموعة على أسئلة أصعب مقارنة بالمجموعات العادية؛ وهي الطريقة الوحيدة للحصول على أكثر من 10 نقاط.

4.0.1: إصلاحات متعلقة بالحاويات والمنصات (2026-11-01)

الإصدار 4.0.1 (الوسم v4.0.1) يصلح مشكلة في اختبارات الحاوية؛ حيث أن cases verify لم يعد يتعطل عند غياب العقدة، كما هو الحال في الصورة المنشورة، بل يقوم بالإبلاغ عن تلك الحالات على أنها تم تخطيها. كما يذكر سجل التغييرات إصلاحات لأنظمة macOS وWindows، بالإضافة إلى معلومات الاتصال المتعلقة بملف SECURITY.md. تلك التحديثات اللاحقة موجودة في الفرع الرئيسي العام بعد إنشاء الوسم، لذا فإن أي نسخة جديدة من الكود تحتوي عليها، لكن الوسم نفسه لا يتضمنها. لم يتغير محتوى الحالات ولا قيمة الهاش الخاص بالحزمة، ولهذا السبب تظل النتائج المحققة في الإصدارين 4.0.0 و4.0.1 متطابقة.

النموذج المستخدم في تقييم هذه الحزمة هو Gemma 4 31B (النسخة غير المفلترة “heretic”، بتنسيق Q8)، ويُشغل على أجهزة GPU الخاصة بنا. أما DeepSeek Flash فهو نموذج احتياطي ضمن منصة CrucibleForge، وليس النموذج المستخدم هنا. يتم تحديد اسم النموذج لكل حزمة، ويتم تحديث هذه الصفحة عند أي تغيير في ذلك.

لم يتم إصدارها بعد

ما يلي موجود في نسختنا الخاصة من CrucibleForge. وهو غير مدرج في الإصدار العام، لذا فإن أي نسخة جديدة من الأداة لن تحتوي عليه، ولا يظهر في سجل التغييرات العام أيضًا.

تقسيم أسئلة التقييم إلى أسئلة منفصلة. كان هناك سؤال تقييمي في إحدى جلسات اللعب يتضمن أربعة طلبات في نفس الوقت؛ لذا فإن أي رد يحتوي على كل التفاصيل باستثناء واحدة اعتُبر خطأً كاملاً. قمنا بتقسيم هذا السؤال إلى أسئلة منفصلة وأعدنا تقييم الردود المخزنة دون إعادة توليدها. هذا التحديث ليس جزءًا من الإصدار 4.0.1؛ ولا يظهر في سجل التغييرات العام.
إمكانية إعادة عرض أسباب الردود. تحتاج بعض الخدمات إلى إرسال تفسيرات النموذج مع المحادثة. يمكن تفعيل هذه الميزة لكل خدمة على حدة، وهي مفعلة بشكل افتراضي فقط للخدمة التي تستخدم واجهة برمجة التطبيقات الخاصة بـ MiniMax.
وجود متطلب واحد فقط لكل سؤال تقييمي. إجراء تحقق يرفض أي سؤال تقييمي يحتوي على أكثر من متطلب واحد.
فحص مدى التوافق مع المتطلبات. أمر يُستخدم للتحقق من إعدادات طلبات النموذج عبر بضع مكالمات بسيطة قبل بدء الاختبارات، كما يقوم بتسجيل الإعدادات التي تم استخدامها في كل اختبار.
قائمة تصفية لكل عمود في لوحة التحكم الخاصة بـ CrucibleForge. يحتوي جدول MakoBench أيضًا على قائمة تصفية خاصة به.

حتى يتم إصدار هذه الميزات رسميًا، يجب اعتبارها مجرد تجارب منا، وليست ميزات يمكنكم استخدامها فعلاً.

ما يعنيه ذلك بالنسبة للأرقام

قارنوا النتائج داخل الإصدار 4.0 فقط. أما لوحة بيانات الإصدار 3.0 (التي تضم 32 نموذجًا من أصل 100) فهي موجودة في تاريخ الإصدارات.
لم يتغير رقم الإصدار بين 4.0.0 و4.0.1، لأن محتوى الحالات لم يتغير.
اقرأوا الهامش الموجود قبل الترتيب؛ طريقة فعل ذلك موضحة في كيفية عمل MakoBench.

سجل التغييرات العام موجود في مستودع CrucibleForge.