ماكوبنش: الدكة الرئيسية

MakoBench هو معيار اختبار سريع التنفيذ. إنه سهل التشغيل وقابل للتعديل؛ يمكنه تقييم أي نموذج نصي فيما يخص الكود والدردشة. كما أنه يتطور باستمرار: فعندما تبدأ النماذج في إجادة مجموعة معينة من الأسئلة، نضيف أسئلة أصعب؛ مما يسمح له بتقييم حتى أكثر النماذج كفاءة. ما الذي تعلمناه أثناء بنائه.

هل لديك نموذج ترغب في اختباره؟ انتقل إلى صفحة التصويت وأضفه إلى القائمة ليتم إدراجه.

نموذج # المجموع دردشة الكود كم تاريخ الاختبار
Claude Fable 5.2ماكس 1 25.2 12.7 12.5 API 2026-11-10
Kimi K3.1 Proماكس 2 24.6 12.6 12.0 API 2026-11-08
Grok 4.7ماكس 3 24.1 12.4 11.7 API 2026-11-08
GPT-6 Astraماكس 4 24.0 12.6 11.5 API 2026-11-10
GPT-6.1 Solماكس 5 23.9 12.4 11.5 API 2026-11-10
Claude Opus 5ماكس2 تم حظره 6 19.6 10.0 9.6 API 2026-11-08
GPT-6.1 Terra 7 19.4 9.2 10.2 API 2026-11-08
DeepSeek V4.1-Flash-1017 9 19.2 7.6 11.6 API 2026-11-08
GPT-6 Luna 10 18.5 8.0 10.5 API 2026-11-08
DeepSeek V4-Pro-0813 11 18.4 7.7 10.7 API 2026-11-08
Claude Haiku 5.5 14 16.9 6.2 10.6 API 2026-11-08
Swish 31B FinalQ8_0 16 16.3 8.0 8.4 Q8_0 2026-11-08
Artemis 31B v1.2 17 16.0 7.4 8.6 Q6_K 2026-11-08
Grok Build 0.1 19 15.2 7.6 7.6 API 2026-11-08
Claude Sonnet 4.6 20 15.0 7.0 8.0 API 2026-11-08
Omega Arsenal 31B FinalQ8_0 21 15.0 6.8 8.2 Q8_0 2026-11-08
Qwen3.8 27B HereticNVFP4 22 14.9 7.2 7.7 NVFP4 2026-11-08
Dark Craving 31B v2.0Q8_0 23 14.6 7.2 7.4 Q8_0 2026-11-08
MiniMax M3 24 14.6 6.0 8.5 API 2026-11-08
Dark Scarlett 27B v3.0Q8_0 26 14.4 7.3 7.1 Q8_0 2026-11-08
Dark Scarlett 27B v2.0 (Q5_K_M)Q5_K_M 27 14.1 6.2 7.9 Q5_K_M 2026-11-08
Darker Scarlett 27B v0.1Q4_K_M 28 14.0 6.5 7.5 Q4_K_M 2026-11-09
OrcaRouter Qwen3.8 27BQ8_0 29 13.9 6.6 7.4 Q8_0 2026-11-08
Qwen3.8 27BQ5_K_S 30 13.8 5.8 8.0 Q5_K_S 2026-11-08
MiniMax M3.1 Flash 31 13.6 5.6 8.0 API 2026-11-08
Split-Untied 31BQ8_0 33 13.3 7.2 6.1 Q8_0 2026-11-08
flintQ8_0 35 12.2 4.7 7.5 Q8_0 2026-11-11
Qwen3.8 27B Twin Turbo FableQ5_K_M 37 12.0 5.8 6.1 Q5_K_M 2026-11-09
Wicked Tutu 26B-A4BQ8_0 38 11.6 5.4 6.2 Q8_0 2026-11-09
gpt-oss 20BQ8_0 39 11.5 4.3 7.1 Q8_0 2026-11-08
Qwen3.5 122B HereticQ4_K_S 40 11.4 5.6 5.8 Q4_K_S 2026-11-09
Gemma 4 26B-A4B QATQ4_0 42 10.4 4.5 5.9 Q4_0 2026-11-08
Darker Hero 27BQ4_K_S 43 9.6 4.7 4.9 Q4_K_S 2026-11-09
Spark-X 2.6 4BQ8_0 44 4.9 2.3 2.7 Q8_0 2026-11-08
Cydonia 22B v1Q6_K 45 3.8 3.2 0.5 Q6_K 2026-11-09
DeepSeek R1 0528 8BQ4_K_M 46 3.3 1.4 1.9 Q4_K_M 2026-11-08
Celeste 12B v1.6Q8_0 47 1.0 0.8 0.1 Q8_0 2026-11-09
Claude Opus 5.5⚠ مؤقت – – 9.2 10.0 API 2026-11-08
Claude Sonnet 5.5⚠ مؤقت – – 8.6 10.0 API 2026-11-08
Qwen2.5 1.5BQ4_K_M⚠ مؤقت – – – 0.5 Q4_K_M 2026-11-10
Noromaid 7B v0.1.1Q8_0⚠ مؤقت – – – 0.3 Q8_0 2026-11-09
Qwen2.5 0.5BQ8_0⚠ مؤقت – – – 0.2 Q8_0 2026-11-10
Gemma 2 2B AbliteratedQ5_K_S⚠ مؤقت – – – 0.2 Q5_K_S 2026-11-10

ماكس: وصل النموذج إلى القمة في كل مجموعة في جزء من الاختبارات. لا يمكن للاختبارات التمييز بين النماذج بعد ذلك المستوى، لذا من الضروري استخدام مجموعة اختبار أصعب.

  • Total = Code + Chat. 10 each is a perfect run of the standard tests, so 20 is the nominal top; bonus packs add points on top, up to the suite's most possible (a row's bars run to it).
  • ± المجموع = نصف فترة الـ 90% الناتجة عن عملية البووتستراب على حالات الاختبار؛ النماذج التي تكون أقرب من ذلك تعتبر متعادلة إحصائيًا.
  • يتم تشغيل كل نموذج مرة واحدة، لذا فإن الفروقات تُظهر الحالات التي تم اختيارها، وليس التباين الناتج عن عمليات التشغيل المتكررة؛ كما أن ذلك يقلل من تقدير حجم عدم اليقين الحقيقي. هنا، تختلف الصفوف المتعلقة بنفس الأوزان (التوأمات من حيث الكمية أو مستوى الخدمة) بما يصل إلى 2.4 نقطة. يجب اعتبار الفروقات التي تبلغ نقطة أو نقطتين على أنها تعادل.
  • الفئة هي نطاق تقريبي حيث: S ≥ 16، A ≥ 13، B ≥ 10، C ≥ 0.
  • الميل = ميل نحو الدردشة أو الميل نحو الكود عندما يكون الفارق عن المتوسط العام 1.5 نقطة أو أكثر؛ وإلا فهو متوازن.
  • tok/s = متوسط سرعة التوليد؛ لا يمكن مقارنته إلا بين النماذج التي تعمل على نفس الجهاز.
  • التكميم = مستوى التكميم الذي حققناه. Q8_0 هو المعيار للنماذج المحلية؛ أي مستوى تكميم آخر يُشار إليه على أنه غير معياري في تفاصيل الصف. واجهة برمجة التطبيقات = نموذج مضيف، يقدمه مزود الخدمة.
  • Run cost = what one run of the Code and Chat tests cost at the provider's price, generation only. ~ = estimated from token counts at list price. * means some requests came back without usage data, so the figure may be low. — = run on our own hardware, so no bill.
  • N محظور = قام مرشح المحتوى الخاص بالمزود بحظر N ردًا؛ وتسجل كل منها صفر نقاط.
  • صف واحد لكل طراز: تظهر الكميات الأخرى ومستويات الخدمة ذات الأوزان نفسها تحت الصف الرئيسي (افتح السهم) ولا يتم ترتيبها.
  • ⚠ مؤقت = يظهر بدون تصنيف؛ والسبب مذكور في الصف (فشل في فحص التوافق، أو عدم اكتمال الاختبارات، أو حزم المكافآت التي تنتظر إعادة التشغيل). الصف الذي يمكن إعادة تشغيله يحصل على تصنيف بعد إعادة التشغيل؛ أما الصفوف التي تم اختبارها وتحتها درجة Q5 والنماذج التي هي أصغر من أن تخضع لأي اختبار فتظل بدون تصنيف.
  • الشرطة في عمود “المجموع” تعني أن جزءًا من تشغيل ذلك النموذج (الكود، الدردشة أو حزمة المكافآت) لم يتم تقييمه بعد، ولذلك لا يوجد تصنيف له.

MakoBench مجاني ولا يحتوي على إعلانات. تشغيله يستهلك الطاقة والعتاد ووقتنا.

☕ تبرّع عبر PayPal

جديد هنا؟ اطلع على ما تقيسه الاختبارات.

حول هذا المعيار

  • المحرك المستخدم هو CrucibleForge. وهو مفتوح المصدر، لذا يمكنك تنزيله واختبار النماذج بنفسك.
  • المعيار يتطور باستمرار؛ فعندما تبدأ النماذج في إجادة مجموعة من الأسئلة، نضيف أسئلة أصعب، وبالتالي لا يمكن لأي نموذج أن يحقق درجة مثالية على الإطلاق.
  • يختبر المعيار النماذج النصية في مهمتين: التعامل مع الكود والدردشة أو التفاعل كشريك. أما مولدات الصور والفيديوهات والصوتيات والنماذج ثلاثية الأبعاد والأدوات المتخصصة في مهمة واحدة فلا يتم اختبارها؛ ما الذي يختبره MakoBench وما لا يختبره.
  • تم تصميم الاختبار الرئيسي ليتم تنفيذه بسرعة وبتكلفة منخفضة، مما يسهل التمييز بين النماذج المختلفة.
  • يوجد أيضًا اختبار خاص بالمحتوى غير المناسب للأطفال؛ له صفحة خاصة به: +NSFW Bench.

اقرأ التالي

الذكاء الاصطناعي والنماذج المحلية

كيف يعمل MakoBench: شرح لمعيار تقييم النماذج اللغوية المفتوحة

كيف يحوّل MakoBench إجابات النموذج إلى درجة، خطوة بخطوة، مع رسم توضيحي لكل خطوة: كيف يتم تقييم الحالات، وكيف يعمل المحكم، والكود مع الدردشة، والهامش، وكيف يتم فتح مجموعات المكافآت. تستخدم الأمثلة التطبيقية نماذج حقيقية من اللوحة.

5 نوفمبر 2026 · تاريخ التحديث 8 نوفمبر 2026
الذكاء الاصطناعي والنماذج المحلية

تشغيل CrucibleForge على نماذجك الخاصة: دليل التثبيت

قم بتثبيت CrucibleForge، وهو المحرك مفتوح المصدر الذي يقف وراء MakoBench؛ ثم وجهه نحو أي نموذج متوافق مع OpenAI لتحصل على درجات في مجالي الكود والدردشة، حيث تبلغ كل منهما 10 درجات في حالة التنفيذ القياسي المثالي. هذه أوامر حقيقية ونتائج فعلية؛ بالإضافة إلى اختبار سريع يستغرق دقيقة و6 ثوانٍ فقط، وتكلفته سنتان فقط.

5 نوفمبر 2026 · تاريخ التحديث 5 نوفمبر 2026
الذكاء الاصطناعي والنماذج المحلية

٤ عيوب في النظام أدت إلى تشويه نتائج اختبارات الأداء للنموذج اللغوي الخاص بي

حقق النموذج المستضاف الجديد نتائج أقل من النموذج الأقدم في لوحة المقاييس لدينا، وكان الرقم صحيحًا إلى حد كبير؛ فما زال نظام الاختبار الخاص بنا يخصم منه ما يصل إلى 1.7 نقطة. فيما يلي العيوب الأربعة، وتكلفة كل منها، بالإضافة إلى ملف مضغوط مجاني لفحص نظام الاختبار الخاص بك.

2 نوفمبر 2026 · تاريخ التحديث 2 نوفمبر 2026

طلب نموذج هل تريد اختبار نموذج؟ ابحث في القائمة، أضف تصويتك (+1)، أو أرسل نموذجًا جديدًا.