مدعوم بـ CrucibleForge
الحزمة 4.1 (حالي)
ماكوبنش: الدكة الرئيسية
MakoBench هو معيار اختبار سريع التنفيذ. إنه سهل التشغيل وقابل للتعديل؛ يمكنه تقييم أي نموذج نصي فيما يخص الكود والدردشة. كما أنه يتطور باستمرار: فعندما تبدأ النماذج في إجادة مجموعة معينة من الأسئلة، نضيف أسئلة أصعب؛ مما يسمح له بتقييم حتى أكثر النماذج كفاءة. ما الذي تعلمناه أثناء بنائه.
هل لديك نموذج ترغب في اختباره؟ انتقل إلى صفحة التصويت وأضفه إلى القائمة ليتم إدراجه.
اسحب الجدول جانبيًا لمشاهدة أعمدة إضافية.
| نموذج | # | المجموع | دردشة | الكود | كم | تاريخ الاختبار |
|---|---|---|---|---|---|---|
| Claude Fable 5.2ماكس | 1 | 25.2 | 12.7 | 12.5 | API | 2026-11-10 |
| Kimi K3.1 Proماكس | 2 | 24.6 | 12.6 | 12.0 | API | 2026-11-08 |
| Grok 4.7ماكس | 3 | 24.1 | 12.4 | 11.7 | API | 2026-11-08 |
| GPT-6 Astraماكس | 4 | 24.0 | 12.6 | 11.5 | API | 2026-11-10 |
| GPT-6.1 Solماكس | 5 | 23.9 | 12.4 | 11.5 | API | 2026-11-10 |
| Claude Opus 5ماكس2 تم حظره | 6 | 19.6 | 10.0 | 9.6 | API | 2026-11-08 |
| GPT-6.1 Terra | 7 | 19.4 | 9.2 | 10.2 | API | 2026-11-08 |
| Claude Fable 5.1الإصدار القديمماكس2 تم حظره | 8 | 19.4 | 10.0 | 9.4 | API | 2026-11-08 |
| DeepSeek V4.1-Flash-1017 | 9 | 19.2 | 7.6 | 11.6 | API | 2026-11-08 |
| GPT-6 Luna | 10 | 18.5 | 8.0 | 10.5 | API | 2026-11-08 |
| DeepSeek V4-Pro-0813 | 11 | 18.4 | 7.7 | 10.7 | API | 2026-11-08 |
| Claude Opus 4.8الإصدار القديم | 12 | 17.0 | 7.3 | 9.7 | API | 2026-11-08 |
| Claude Fable 5الإصدار القديمماكس5 تم حظره | 13 | 17.0 | 8.5 | 8.4 | API | 2026-11-08 |
| Claude Haiku 5.5 | 14 | 16.9 | 6.2 | 10.6 | API | 2026-11-08 |
| Claude Opus 4.7الإصدار القديم | 15 | 16.6 | 7.0 | 9.6 | API | 2026-11-08 |
| Swish 31B FinalQ8_0 | 16 | 16.3 | 8.0 | 8.4 | Q8_0 | 2026-11-08 |
| Artemis 31B v1.2 | 17 | 16.0 | 7.4 | 8.6 | Q6_K | 2026-11-08 |
| Claude Opus 4.6الإصدار القديم | 18 | 15.4 | 7.4 | 8.0 | API | 2026-11-08 |
| Grok Build 0.1 | 19 | 15.2 | 7.6 | 7.6 | API | 2026-11-08 |
| Claude Sonnet 4.6 | 20 | 15.0 | 7.0 | 8.0 | API | 2026-11-08 |
| Omega Arsenal 31B FinalQ8_0 | 21 | 15.0 | 6.8 | 8.2 | Q8_0 | 2026-11-08 |
| Qwen3.8 27B HereticNVFP4 | 22 | 14.9 | 7.2 | 7.7 | NVFP4 | 2026-11-08 |
| Dark Craving 31B v2.0Q8_0 | 23 | 14.6 | 7.2 | 7.4 | Q8_0 | 2026-11-08 |
| MiniMax M3 | 24 | 14.6 | 6.0 | 8.5 | API | 2026-11-08 |
| Claude Opus 4.5الإصدار القديم | 25 | 14.5 | 6.8 | 7.7 | API | 2026-11-08 |
| Dark Scarlett 27B v3.0Q8_0 | 26 | 14.4 | 7.3 | 7.1 | Q8_0 | 2026-11-08 |
| Dark Scarlett 27B v2.0 (Q5_K_M)Q5_K_M | 27 | 14.1 | 6.2 | 7.9 | Q5_K_M | 2026-11-08 |
| Darker Scarlett 27B v0.1Q4_K_M | 28 | 14.0 | 6.5 | 7.5 | Q4_K_M | 2026-11-09 |
| OrcaRouter Qwen3.8 27BQ8_0 | 29 | 13.9 | 6.6 | 7.4 | Q8_0 | 2026-11-08 |
| Qwen3.8 27BQ5_K_S | 30 | 13.8 | 5.8 | 8.0 | Q5_K_S | 2026-11-08 |
| MiniMax M3.1 Flash | 31 | 13.6 | 5.6 | 8.0 | API | 2026-11-08 |
| MiniMax M2.7الإصدار القديم | 32 | 13.4 | 6.7 | 6.7 | API | 2026-11-08 |
| Split-Untied 31BQ8_0 | 33 | 13.3 | 7.2 | 6.1 | Q8_0 | 2026-11-08 |
| Claude Sonnet 4.5الإصدار القديم | 34 | 13.3 | 6.9 | 6.4 | API | 2026-11-08 |
| flintQ8_0 | 35 | 12.2 | 4.7 | 7.5 | Q8_0 | 2026-11-11 |
| MiniMax M2.5الإصدار القديم | 36 | 12.2 | 5.8 | 6.4 | API | 2026-11-08 |
| Qwen3.8 27B Twin Turbo FableQ5_K_M | 37 | 12.0 | 5.8 | 6.1 | Q5_K_M | 2026-11-09 |
| Wicked Tutu 26B-A4BQ8_0 | 38 | 11.6 | 5.4 | 6.2 | Q8_0 | 2026-11-09 |
| gpt-oss 20BQ8_0 | 39 | 11.5 | 4.3 | 7.1 | Q8_0 | 2026-11-08 |
| Qwen3.5 122B HereticQ4_K_S | 40 | 11.4 | 5.6 | 5.8 | Q4_K_S | 2026-11-09 |
| Claude Haiku 4.5الإصدار القديم | 41 | 11.3 | 5.6 | 5.7 | API | 2026-11-08 |
| Gemma 4 26B-A4B QATQ4_0 | 42 | 10.4 | 4.5 | 5.9 | Q4_0 | 2026-11-08 |
| Darker Hero 27BQ4_K_S | 43 | 9.6 | 4.7 | 4.9 | Q4_K_S | 2026-11-09 |
| Spark-X 2.6 4BQ8_0 | 44 | 4.9 | 2.3 | 2.7 | Q8_0 | 2026-11-08 |
| Cydonia 22B v1Q6_K | 45 | 3.8 | 3.2 | 0.5 | Q6_K | 2026-11-09 |
| DeepSeek R1 0528 8BQ4_K_M | 46 | 3.3 | 1.4 | 1.9 | Q4_K_M | 2026-11-08 |
| Celeste 12B v1.6Q8_0 | 47 | 1.0 | 0.8 | 0.1 | Q8_0 | 2026-11-09 |
| Claude Opus 5.5⚠ مؤقت | – | – | 9.2 | 10.0 | API | 2026-11-08 |
| Claude Sonnet 5.5⚠ مؤقت | – | – | 8.6 | 10.0 | API | 2026-11-08 |
| Grok 4.6⚠ مؤقتالإصدار القديم | – | – | 8.9 | 9.8 | API | 2026-11-08 |
| Kimi K3⚠ مؤقتالإصدار القديم | – | – | 7.5 | 9.7 | API | 2026-11-08 |
| Claude Sonnet 5⚠ مؤقتالإصدار القديم | – | – | 6.4 | 8.8 | API | 2026-11-08 |
| Qwen2.5 1.5BQ4_K_M⚠ مؤقت | – | – | – | 0.5 | Q4_K_M | 2026-11-10 |
| Noromaid 7B v0.1.1Q8_0⚠ مؤقت | – | – | – | 0.3 | Q8_0 | 2026-11-09 |
| Qwen2.5 0.5BQ8_0⚠ مؤقت | – | – | – | 0.2 | Q8_0 | 2026-11-10 |
| Gemma 2 2B AbliteratedQ5_K_S⚠ مؤقت | – | – | – | 0.2 | Q5_K_S | 2026-11-10 |
ماكس: وصل النموذج إلى القمة في كل مجموعة في جزء من الاختبارات. لا يمكن للاختبارات التمييز بين النماذج بعد ذلك المستوى، لذا من الضروري استخدام مجموعة اختبار أصعب.
- Total = Code + Chat. 10 each is a perfect run of the standard tests, so 20 is the nominal top; bonus packs add points on top, up to the suite's most possible (a row's bars run to it).
- ± المجموع = نصف فترة الـ 90% الناتجة عن عملية البووتستراب على حالات الاختبار؛ النماذج التي تكون أقرب من ذلك تعتبر متعادلة إحصائيًا.
- يتم تشغيل كل نموذج مرة واحدة، لذا فإن الفروقات تُظهر الحالات التي تم اختيارها، وليس التباين الناتج عن عمليات التشغيل المتكررة؛ كما أن ذلك يقلل من تقدير حجم عدم اليقين الحقيقي. هنا، تختلف الصفوف المتعلقة بنفس الأوزان (التوأمات من حيث الكمية أو مستوى الخدمة) بما يصل إلى 2.4 نقطة. يجب اعتبار الفروقات التي تبلغ نقطة أو نقطتين على أنها تعادل.
- الفئة هي نطاق تقريبي حيث: S ≥ 16، A ≥ 13، B ≥ 10، C ≥ 0.
- الميل = ميل نحو الدردشة أو الميل نحو الكود عندما يكون الفارق عن المتوسط العام 1.5 نقطة أو أكثر؛ وإلا فهو متوازن.
- tok/s = متوسط سرعة التوليد؛ لا يمكن مقارنته إلا بين النماذج التي تعمل على نفس الجهاز.
- التكميم = مستوى التكميم الذي حققناه. Q8_0 هو المعيار للنماذج المحلية؛ أي مستوى تكميم آخر يُشار إليه على أنه غير معياري في تفاصيل الصف. واجهة برمجة التطبيقات = نموذج مضيف، يقدمه مزود الخدمة.
- Run cost = what one run of the Code and Chat tests cost at the provider's price, generation only. ~ = estimated from token counts at list price. * means some requests came back without usage data, so the figure may be low. — = run on our own hardware, so no bill.
- N محظور = قام مرشح المحتوى الخاص بالمزود بحظر N ردًا؛ وتسجل كل منها صفر نقاط.
- صف واحد لكل طراز: تظهر الكميات الأخرى ومستويات الخدمة ذات الأوزان نفسها تحت الصف الرئيسي (افتح السهم) ولا يتم ترتيبها.
- ⚠ مؤقت = يظهر بدون تصنيف؛ والسبب مذكور في الصف (فشل في فحص التوافق، أو عدم اكتمال الاختبارات، أو حزم المكافآت التي تنتظر إعادة التشغيل). الصف الذي يمكن إعادة تشغيله يحصل على تصنيف بعد إعادة التشغيل؛ أما الصفوف التي تم اختبارها وتحتها درجة Q5 والنماذج التي هي أصغر من أن تخضع لأي اختبار فتظل بدون تصنيف.
- الشرطة في عمود “المجموع” تعني أن جزءًا من تشغيل ذلك النموذج (الكود، الدردشة أو حزمة المكافآت) لم يتم تقييمه بعد، ولذلك لا يوجد تصنيف له.
MakoBench مجاني ولا يحتوي على إعلانات. تشغيله يستهلك الطاقة والعتاد ووقتنا.
☕ تبرّع عبر PayPalجديد هنا؟ اطلع على ما تقيسه الاختبارات.
حول هذا المعيار
- المحرك المستخدم هو CrucibleForge. وهو مفتوح المصدر، لذا يمكنك تنزيله واختبار النماذج بنفسك.
- المعيار يتطور باستمرار؛ فعندما تبدأ النماذج في إجادة مجموعة من الأسئلة، نضيف أسئلة أصعب، وبالتالي لا يمكن لأي نموذج أن يحقق درجة مثالية على الإطلاق.
- يختبر المعيار النماذج النصية في مهمتين: التعامل مع الكود والدردشة أو التفاعل كشريك. أما مولدات الصور والفيديوهات والصوتيات والنماذج ثلاثية الأبعاد والأدوات المتخصصة في مهمة واحدة فلا يتم اختبارها؛ ما الذي يختبره MakoBench وما لا يختبره.
- تم تصميم الاختبار الرئيسي ليتم تنفيذه بسرعة وبتكلفة منخفضة، مما يسهل التمييز بين النماذج المختلفة.
- يوجد أيضًا اختبار خاص بالمحتوى غير المناسب للأطفال؛ له صفحة خاصة به: +NSFW Bench.
اقرأ التالي

كيف يعمل MakoBench: شرح لمعيار تقييم النماذج اللغوية المفتوحة
كيف يحوّل MakoBench إجابات النموذج إلى درجة، خطوة بخطوة، مع رسم توضيحي لكل خطوة: كيف يتم تقييم الحالات، وكيف يعمل المحكم، والكود مع الدردشة، والهامش، وكيف يتم فتح مجموعات المكافآت. تستخدم الأمثلة التطبيقية نماذج حقيقية من اللوحة.

تشغيل CrucibleForge على نماذجك الخاصة: دليل التثبيت
قم بتثبيت CrucibleForge، وهو المحرك مفتوح المصدر الذي يقف وراء MakoBench؛ ثم وجهه نحو أي نموذج متوافق مع OpenAI لتحصل على درجات في مجالي الكود والدردشة، حيث تبلغ كل منهما 10 درجات في حالة التنفيذ القياسي المثالي. هذه أوامر حقيقية ونتائج فعلية؛ بالإضافة إلى اختبار سريع يستغرق دقيقة و6 ثوانٍ فقط، وتكلفته سنتان فقط.
٤ عيوب في النظام أدت إلى تشويه نتائج اختبارات الأداء للنموذج اللغوي الخاص بي
حقق النموذج المستضاف الجديد نتائج أقل من النموذج الأقدم في لوحة المقاييس لدينا، وكان الرقم صحيحًا إلى حد كبير؛ فما زال نظام الاختبار الخاص بنا يخصم منه ما يصل إلى 1.7 نقطة. فيما يلي العيوب الأربعة، وتكلفة كل منها، بالإضافة إلى ملف مضغوط مجاني لفحص نظام الاختبار الخاص بك.
طلب نموذج هل تريد اختبار نموذج؟ ابحث في القائمة، أضف تصويتك (+1)، أو أرسل نموذجًا جديدًا.