مقاييس النماذج، حالات الاستخدام والإعداد: نوفمبر 2026

تاريخ النشر
11 نوفمبر 2026
تاريخ التحديث
11 نوفمبر 2026
بقلم
جاكوب لويد — كُتب بمساعدة الذكاء الاصطناعي بعد إنجاز المشروع
مدة القراءة
قراءة 6 دقيقة

بعبارة مبسطة: هذا دليل لشهر نوفمبر 2026. لقد اختبرنا أحد عشر نموذجًا لغويًا على منصة MakoBench 4.1. يوضح الدليل أي النماذج جيدة، وما الذي يبرع فيه كل نموذج، وكيفية إعداد بيئة البرمجة المناسبة، بالإضافة إلى تكاليف الاستخدام. النماذج الخمسة الأولى حققت نتائج متساوية. تبلغ تكلفة التشغيل الواحد لـ Claude Fable 5.2 مبلغ 14.87 دولارًا، بينما تبلغ تكلفة تشغيل DeepSeek V4.1-Flash-1017 مبلغ 0.14 دولارًا فقط. باستخدام الإعدادات الموصى بها، فإن تكلفة معالجة مشروع مكون من 5,000 سطر تبلغ حوالي 4.82 دولارات، بينما تبلغ تكلفة معالجة مشروع مكون من 60,000 سطر حوالي 57.86 دولارًا. الآن، يحقق Claude Fable 5.2 درجة 25.2. في ثلاثة من اختبارات الوكيل الخاصة به، كانت النتيجة صفرًا؛ وذلك لأن رصيد حساب الـ API الخاص بنا قد نفد، لكنه نجح في جميع الاختبارات عند إعادة تشغيلها.

انتقل إلى: CrucibleForge على GitHub

أي نموذج لغوي يجب استخدامه في نوفمبر 2026، ولأي غرض، وكيف يتم إعداده؟ يقدم هذا الدليل إجابات على هذه الأسئلة بناءً على اختبارات أُجريت على أحد عشر نموذجًا ضمن إطار MakoBench 4.1. توجد قائمة أوسع تشمل المزيد من النماذج؛ لكن هذه الأحد عشر هي التي قمنا بمقارنتها بعمق هذا الشهر. ستجد هنا التقييمات، والنموذج الأفضل للبرمجة وللدردشة، بالإضافة إلى إرشادات إعدادية مكونة من خمس خطوات لإنشاء نظام يجمع بين أداة تخطيط وبرمجة، كما ستعرف تكلفة تشغيل النموذج مرة واحدة أو في مشروع كامل.

في صفحة واحدة فقط

  • الأفضل عمومًا: هناك تعادل بين خمسة نماذج في المرتبة الأولى؛ حيث حقق كل من Kimi K3.1 Pro وClaude Fable 5.2 وGrok 4.7 وGPT-6 Astra وGPT-6.1 Sol درجات تتراوح بين 23.9 و25.2. تم تصنيف Claude Fable 5.2 في المرتبة الأولى، لكن جميع النماذج الخمسة متعادلة إحصائيًا.
  • الأفضل للبرمجة الآلية: Claude Fable 5.2 عندما لا يشكل المال عائقًا؛ فهو يحقق أعلى درجة في مجال العمل (12.5)، بالإضافة إلى أداء مثالي في جميع حالات البرمجة الآلية، وتحقيق نسبة 100% في الاختبارات القياسية. أما إذا كانت الميزانية محدودة، فإن GPT-6 Astra أو GPT-6.1 Sol هما الخياران الأفضل؛ حيث يحقق كل منهما أداءً مثاليًا في البرمجة الآلية، لكن نسبة النجاح في الاختبارات القياسية تبلغ 66.7%.
  • أفضل نموذج برمجي رخيص: DeepSeek V4.1-Flash-1017؛ حيث يحقق درجة كاملة (10.0) في اختبارات البرمجة، وتكلفة التشغيل تبلغ 0.14 دولار لكل مرة.
  • الأفضل للدردشة أو خط المساعدة: GPT-6.1 Terra عبر واجهة API (بدرجة 9.2 في الدردشة وتكلفة 0.63 دولار لكل مرة)، أو Swish 31B Final إذا كنت ترغب في تشغيله على أجهزتك الخاصة. أما أعلى درجة في الدردشة فهي من نصيب Claude Fable 5.2 بدرجة 12.7، بتكلفة 14.87 دولار لكل مرة.
  • الأفضل للتشغيل على الأجهزة الخاصة: Swish 31B Final؛ حيث يحقق درجة إجمالية تبلغ 16.3، ولا يتطلب أي رسوم واجهة API، وهو مثالي للدردشة أو أي مهمة أخرى يجب أن تُنفذ محليًا.
  • المزيج الموصى به: استخدم Claude Fable 5.2 للتخطيط ومراجعة الأفكار، بينما يقوم DeepSeek V4.1-Flash-1017 بكتابة الكود البرمجي. تُقدّر التكلفة بحوالي 4.82 دولار لبناء مشروع صغير مثل ChatForge، و57.86 دولار لمشروع أكبر مثل DisPatch.
  • تصحيح: في البداية، سجلت نتائج Claude Fable 5.2 في ثلاثة اختبارات برمجة آلية درجة صفر؛ وذلك لأن رصيد حساب واجهة API الخاص بنا نفد أثناء التشغيل. بعد إعادة التشغيل، نجح النموذج في جميع الاختبارات، وارتفعت درجته من 24.2 إلى 25.2.

اختر النموذج بناءً على سؤالين

ابدأ بتحديد المهمة، ثم اطرح سؤالاً واحداً. بالنسبة للمهام البرمجية، اسأل عن الميزانية: ميزانية كبيرة تعني استخدام Claude Fable 5.2، بينما ميزانية محدودة تعني استخدام DeepSeek V4.1-Flash-1017، بتكلفة 0.14 دولار لكل تشغيل. أما بالنسبة للدردشة، فاسأل عما إذا كان يجب تشغيل النموذج على الأجهزة الخاصة بك أم لا: في حالة استخدام واجهة برمجة التطبيقات، يكون الخيار هو GPT-6.1 Terra بتكلفة 0.63 دولار لكل تشغيل؛ أما إذا كان التشغيل على الأجهزة الخاصة بك، فالخيار هو Swish 31B Final. هذه هي الخيارات نفسها التي يدعمها الجزء المتبقي من هذا الدليل بالأرقام.

ما هي المهمة؟
البرمجة
الميزانية؟
ميزانية كبيرة
Claude Fable 5.2الأغلى ثمناً
ميزانية محدودة
DeepSeekV4.1-Flash-1017
الدردشة
هل يجب تشغيله على الأجهزة الخاصة بي؟
لا
GPT-6.1 Terraخيار دردشة رخيص
نعم
Swish 31B Finalلا توجد تكاليف واجهة برمجة التطبيقات
سؤالان بعد تحديد المهمة يساعدان في اختيار النموذج المناسب.

مجلس الإدارة لشهر نوفمبر 2026

النموذج المجموع الأداء في المهام العملية الأداء في الدردشة الأداء في كتابة المحتوى البالغ مشاركة النموذج في اختبارات البرمجة/الوكالة الذكية تكلفة التشغيل أعلى درجات ممكنة في الاختبارات
Claude Fable 5.225.212.512.712.0100 / 100$14.87الاستدلال #1، الوكالة الذكية #1، كتابة المحتوى البالغ #2
Kimi K3.1 Pro24.612.012.65.0100 / 100$4.07لا يوجد
Grok 4.724.111.712.411.5100 / 100$3.91الاستدلال #1، كتابة المحتوى البالغ #2
GPT-6 Astra24.011.512.61.393.8 / 66.7$5.70الوكالة الذكية #1
GPT-6.1 Sol23.911.512.41.5100 / 66.7$1.17الوكالة الذكية #1
GPT-6.1 Terra19.410.29.21.6100 / 66.7$0.63لا يوجد
DeepSeek V4.1-Flash-101719.211.67.610.0100 / 100$0.14لا يوجد
DeepSeek V4-Pro-081318.410.77.78.393.8 / 100$0.57لا يوجد
Swish 31B Final (أفضل نموذج محلي)16.38.48.011.862.5 / 33.3معالجة محليةلا يوجد
Grok Build 0.115.27.67.611.768.8 / 100$1.04لا يوجد
MiniMax M3.1 Flash13.68.05.67.562.5 / 100~$0.28لا يوجد

تصحيح: النسخة السابقة من هذا الدليل أعطت لـ Claude Fable 5.2 درجة 24.2 ووصفتها بأنها مؤقتة. كانت نتائج الاختبارات الثلاثة المتعلقة بالوكالة الذكية صفرًا، وذلك لأن رصيد حساب API الخاص بنا نفد أثناء التشغيل، وليس لأن النموذج فشل في تلك الاختبارات. أعدنا إجراء هذه الاختبارات عبر واجهة API الخاصة بشركة Anthropic مع استخدام خاصية تخزين الأوامر المؤقتة، بتكلفة 10.81 دولارًا؛ وقد نجح النموذج في جميعها، مما رفع درجة الأداء في المهام العملية من 11.5 إلى 12.5، ورفع الدرجة الإجمالية من 24.2 إلى 25.2.

الدرجة الإجمالية هي مجموع درجات الأداء في المهام العملية والدردشة؛ حيث تمثل “الأداء في المهام العملية” القيمة الموجودة في عمود البرمجة بالجدول. تشمل هذه القيمة أيضًا الحزم الإضافية التي فتحها النموذج، لذا فهي ليست درجة من أصل 20. تقتصر الاختبارات القياسية على حد أقصى 10 درجات لكل من الأداء في المهام العملية والدردشة، وبالتالي يبلغ الحد الأقصى للدرجة الإجمالية 20؛ بينما قد تصل الدرجة المنشورة إلى 28. أما اختبار المحتوى البالغ فهو منفصل ولا يدخل ضمن الحساب الإجمالي؛ حيث تشير القيمة الأعلى فيه إلى أن النموذج قدم أداءً أفضل في كتابة القصص البالغة، وليس بالضرورة أنه نموذج أفضل بشكل عام. تمثل “مشاركة النموذج في اختبارات البرمجة/الوكالة الذكية” نسبته في هاتين الفئتين من الاختبارات، وليست الدرجة الكلية للبرمجة. تُشير تكلفة التشغيل إلى تكلفة إجراء اختبار قياسي واحد في كل من فئتي البرمجة والدردشة وفقًا لأسعار مزود الخدمة، دون احتساب أي حزم إضافية أو اختبار المحتوى البالغ أو محاولات إعادة التشغيل. عبارة “معالجة محلية” تعني استخدام أجهزتنا الخاصة، وبالتالي لا توجد تكلفة API؛ بينما تشير “أعلى درجات ممكنة في الاختبارات” إلى الحد الأقصى للدرجات التي يمكن تحقيقها في كل اختبار. لا يوجد أي حزمة لم يتم تقييمها بعد ضمن هذه المجموعة. تحسب الصفوف التي انتهى رصيدها أو واجهت أخطاء على أنها فاشلة، وتظل ترتيبها كما هو؛ فـ DeepSeek V4-Pro-0813 حقق 11 درجة، وDeepSeek V4.1-Flash-1017 حقق 5 درجات، وMiniMax M3.1 Flash حقق 7 درجات بالإضافة إلى درجة إضافية بفضل الحزمة المخصصة للميزانية، بينما حقق Kimi K3.1 Pro درجتين، وClaude Fable 5.2 درجة واحدة؛ كما واجه Grok 4.7 خطأً في صف واحد من الاختبارات.

حزم المكافآتيمكن إضافتها إلى خاصية Work وChat
Workعمود الكود البرمجي
Chatاختبارات الدردشة
المجموع الكليمجموع نتائج Work وChat
لا يدخل ضمن المجموع الكلي
اختبار المحتوى البالغيُعطى درجة منفصلة
المجموع الكلي هو مجموع نتائج Work وChat؛ أما اختبار المحتوى البالغ فهو منفصل عن ذلك.

المرتبة الأولى في الترتيب هي تعادل، وليست تصنيفًا حقيقيًا. يحقق كل من Claude Fable 5.2، وKimi K3.1 Pro، وGrok 4.7، وGPT-6 Astra، وGPT-6.1 Sol نتائج تتراوح بين 23.9 و25.2. يُرتبهم الجدول من الأول إلى الخامس، حيث يحل Claude Fable 5.2 في المرتبة الأولى، لكن الفروق بينهم تقع ضمن هوامش الخطأ المسموح بها، وقواعد التقييم تعتبر النماذج التي تحقق نتائج متقاربة في حالة تعادل إحصائي. ترتيب الجدول لا يعني بالضرورة الفوز. أما المجموعة التالية، والتي تضم GPT-6.1 Terra، وDeepSeek V4.1-Flash-1017، وDeepSeek V4-Pro-0813، فتحقق نتائج تتراوح بين 18.4 و19.4. أما Swish 31B Final، وهو أفضل النماذج المحلية، فيحقق 16.3 نقطة. بالنسبة للاختبارات البرمجية القياسية، فقد وصلت النماذج الرائدة إلى الحد الأقصى الممكن، حيث تحقق Kimi K3.1 Pro، وClaude Fable 5.2، وGrok 4.7، وDeepSeek V4.1-Flash-1017 جميعًا درجة 10.0؛ لذا فإن الفئة التي تحقق من 24 إلى 25 نقطة تتعلق بحزم المكافآت واختبارات الدردشة، وليس بدرجات برمجية أعلى. ما يفصل هذه الفئة عن DeepSeek V4.1-Flash-1017 هو اختبارات الدردشة، حيث تحقق الأول 12.4 إلى 12.7 نقطة مقابل 7.6 نقطة للأخير.

هناك ثلاث نقاط بارزة في النتائج: أولًا، تختلف تكلفة التشغيل بشكل كبير؛ فتكلفة تشغيل كل نموذج مرة واحدة تبلغ 14.87 دولارًا لـ Claude Fable 5.2، و5.70 دولارات لـ GPT-6 Astra، و3.91 دولارات لـ Grok 4.7، بينما تبلغ فقط 0.14 دولارًا لـ DeepSeek V4.1-Flash-1017. ثانيًا، في اختبار المحتوى البالغ، تختلف النتائج؛ حيث لم يرفض Claude Fable 5.2 (12.0)، وSwish 31B Final (11.8)، وGrok Build 0.1 (11.7)، وGrok 4.7 (11.5)، وDeepSeek V4.1-Flash-1017 (10.0) أيًا من الحالات التسع المختبرة. أما النماذج الثلاثة من OpenAI فتوقفت عند درجة 1.3 إلى 1.6 في هذا الاختبار، بينما رفض Kimi K3.1 Pro أربعة من التسع حالات وحقق صفر نقاط في المحتوى البالغ. هذه هي النماذج التي تظهر ضعفًا، وليس بسبب أي فلتر محتوى؛ إذ لم يتم حظر أي ردود من قبل أنظمة الفلترة. ثالثًا، تختلف سرعة الاستجابة بين النماذج بشكل كبير؛ فجميع النماذج الثلاثة من OpenAI تحقق 66.7% في اختبارات الوكالة، بينما تحقق Kimi K3.1 Pro، وClaude Fable 5.2، وGrok 4.7، وDeepSeek V4.1-Flash-1017 نسبة 100%. أما GPT-6.1 Terra فهو النموذج الأسرع في المجموعة؛ حيث يولد Grok Build 0.1 8.4 رمزًا في الثانية، وهو أبطأ من Swish 31B Final الذي يولد 41.3 رمزًا في الثانية.

حالات الاستخدام: أي نموذج لأي مهمة؟

البرمجة الآلية لتطوير برمجيات جديدة

  • عندما لا يشكل المال عائقًا: Claude Fable 5.2. مميزاته: أفضل درجة في اختبارات الدردشة (12.7)، وأعلى درجة في اختبارات العمل (12.5)، ويُصنف في المرتبة الأولى من حيث إجمالي النقاط؛ كما أنه يمتلك قدرات آلية مثالية، ويحقق نسبة 100% في اختبارات البرمجة القياسية، ولا يرفض أي طلبات. عيوبه: تكلفة التشغيل تبلغ 14.87 دولارًا لكل عملية تشغيل، وهو أغلى نموذج في هذه المجموعة.
  • خيار مثالي بسعر أقل: GPT-6 Astra أو GPT-6.1 Sol. مميزاتهما: مثل Claude Fable 5.2، كلاهما يمتلك قدرات آلية مثالية؛ وتكلفة التشغيل تبلغ 5.70 دولارًا و1.17 دولارًا على التوالي. عيوبهما: يحققان نسبة 66.7% فقط في اختبارات البرمجة القياسية، كما يتوقفان عن العمل عند التعامل مع محتوى إباحي.
  • خيار وسطي: Grok 4.7. مميزاته: درجة العمل تبلغ 11.7، وهو في المرتبة الثالثة بعد Claude Fable 5.2 وKimi K3.1 Pro؛ كما أن درجة الدردشة تبلغ 12.4، وتكلفة التشغيل تبلغ 3.91 دولارًا لكل عملية، أي ربع تكلفة Claude Fable 5.2. عيوبه: يتم احتساب التكلفة بـ 2 دولارًا لكل مليون رمز مدخل و6 دولارات لكل مليون رمز مخرج؛ وقد استخدم النموذج 696,485 رمزًا في اختبارات السرعة، لذا فإن استخدامه في مهام آلية طويلة المدى قد يكون مكلفًا.
  • الخيار الأرخص: DeepSeek V4.1-Flash-1017. مميزاته: يحقق نسبة 10.0% في اختبارات البرمجة القياسية، وهي النسبة القصوى الممكنة؛ كما أن درجة العمل تبلغ 11.6، وهي قريبة من نسب القادة في هذه المجموعة التي تتراوح بين 11.5 و12.5؛ وتكلفة التشغيل تبلغ 0.14 دولارًا لكل عملية. عيوبه: درجة الدردشة تبلغ 7.6 فقط، لذا فإن أي مهمة تتطلب تفاعلًا مع المستخدم تحتاج إلى نموذج آخر؛ والرقم 0.14 دولارًا هو التكلفة الحالية وفقًا للأسعار القديمة؛ أما المهام الجديدة فتكلفتها أعلى وفقًا للأسعار المنشورة.

الروبوتات الدردشية أو خطوط خدمة العملاء

لا تحتاج خطوط المساعدة إلى درجات عالية في اختبارات المحتوى الإباحي. لذا يجب الاختيار بناءً على قدرات الدردشة والسعر، بالإضافة إلى ما إذا كان يجب أن يعمل النموذج على الأجهزة الخاصة بك أم لا.

  • GPT-6.1 Terra. مميزاته: درجة الدردشة تبلغ 9.2، وتكلفة التشغيل 0.63 دولارًا لكل عملية، بالإضافة إلى تكلفة مدخلات تبلغ دولارًا واحدًا لكل مليون رمز ومخرجات بـ5 دولارات لكل مليون رمز؛ وهو الخيار الأرخص القادر على التعامل مع الدردشة، كما أنه أسرع نموذج في هذه المجموعة. عيوبه: يحقق نسبة 66.7% فقط في اختبارات البرمجة الآلية؛ وكلا من برامجه ومكتبة الكود الخاصة به تحقق نسبة 100%، لذا فإن ضعفه يكمن في القدرات الآلية وليس في البرمجة؛ كما أن سرعته تختلف بشكل كبير بين العينات، حيث تراوحت من 72 إلى 1,044 رمزًا في الثانية.
  • Grok 4.7. مميزاته: درجة الدردشة تبلغ 12.4، وهي قريبة من أعلى درجات هذه المجموعة؛ وتكلفة التشغيل تبلغ 3.91 دولارًا لكل عملية؛ كما أن درجتي الأداء في اختبارات التمثيل الدرامي تبلغان 0.945 و0.951 على التوالي. عيوبه: درجة الأداء في اختبارات الحوار تبلغ 0.814، بينما درجة الأداء في اختبارات الشخصيات تبلغ 0.483؛ لذا فإن القدرة على تمثيل شخصية معينة بشكل جيد هي نقطة ضعفه؛ ويتم احتساب التكلفة بـ2 دولارًا و6 دولارات لكل مليون رمز؛ وهناك خطة تشغيلية بسعر 15 ضعف السعر العادي، لكن سعر 3.91 دولارًا هو السعر القياسي وليس سعر الخطة المذكورة.
  • Claude Fable 5.2. مميزاته: أفضل درجة في اختبارات الدردشة (12.7)، وأفضل درجة في اختبارات البرمجة الآلية تبلغ 0.964؛ ولا يرفض أي طلبات، كما أنه لا يتم احتساب أي رسوم على استخدام الرموز المنطقية في هذا النظام. عيوبه: تكلفة التشغيل تبلغ 10 دولارات و50 دولارًا لكل مليون رمز؛ وهو بذلك يشارك GPT-6 Astra في كونه أغلى نموذج من حيث تكلفة الرموز في هذه المجموعة.
  • إذا كان يجب أن يعمل النموذج على الأجهزة الخاصة بك: Swish 31B Final. مميزاته: درجة الأداء الإجمالية تبلغ 16.3، ولا يرفض أي طلبات، كما أنه لا يتطلب دفع أي رسوم عبر واجهة برمجة التطبيقات. عيوبه: درجة الأداء في اختبارات البرمجة الآلية تبلغ 33.3% فقط، بينما درجة العمل تبلغ 8.4؛ كما أن سرعته تبلغ 41.3 رمزًا في الثانية.

الإعداد: النظام الأساسي، الوكيل الرئيسي، والمبرمج

للقيام بأعمال حقيقية، يجب استخدام نظام أساسي، بالإضافة إلى نموذج قوي يقوم بالتخطيط والمراجعة، ونموذج أقل تكلفة يقوم بكتابة الكود. يُعد DeepSeek Harness (dsh) هو النظام الأساسي المستخدم؛ بينما يُعد Claude Fable 5.2 هو الوكيل الرئيسي المسؤول عن التخطيط والمراجعة. أما DeepSeek V4.1-Flash-1017 فهو المبرمج: حيث أن قدراته في كتابة الكود وصلت بالفعل إلى الحد الأقصى، وتكلفة تشغيله هي 0.14 دولار فقط لكل عملية تنفيذ. كما يمكن لنموذج MiniMax M3.1 Flash التعامل مع كميات كبيرة من البيانات ضمن حدود النطاق المسموح به، مع إمكانية مراجعة النتائج بواسطة Claude Fable 5.2. أما نموذج Grok 4.7 فهو الخيار البديل عند الرغبة في استخدام نموذج واحد للقيام بكل المهام. إجمالاً، هناك خمس خطوات يجب اتباعها.

dshيقوم بتشغيل الدورة البرمجية
الوكيل الرئيسي: Claude Fable 5.2يقوم بالتخطيط والمراجعة
المبرمجDeepSeek V4.1-Flash-1017يقوم بكتابة الكود
خيارات أخرى
MiniMax M3.1 Flashيتعامل مع كميات كبيرة من البيانات ضمن حدود النطاق المسموح به
Grok 4.7نموذج واحد يقوم بكل المهام
النظام الأساسي (dsh) يقوم بتشغيل الوكيل الرئيسي الذي يخطط للعمل، بالإضافة إلى المبرمج الذي يكتب الكود.

الخطوة 1: تحقق من اللوحة واختر المعرفات

/makobench/تحقق من اللوحة
أربعة معرفاتموجودة في أعلى السكريبت
LEAD_MODEL
CODER_MODEL
BULK_MODEL
ONE_MODEL
اقرأ محتويات اللوحة، ثم غيّر فقط المعرفات الأربعة.

معرفات النماذج موجودة في أعلى السكريبت؛ قم بتغييرها فقط، ولا تغيّر أي نسخة أخرى منه في الأسفل. يُنصح بالتحقق من اللوحة على /makobench/ قبل القيام بأي تغييرات.

الخطوة 2: تعيين مفاتيح الـ API

ANTHROPIC_API_KEYإلزامي
DEEPSEEK_API_KEYإلزامي
MINIMAX_API_KEYإلزامي
XAI_API_KEYاختياري
قم بإعداد المفاتيح أولاً؛ فغياب أي مفتاح إلزامي سيؤدي إلى توقف البرنامج عن العمل.

يحتاج البرنامج إلى مفاتيح ANTHROPIC_API_KEY و DEEPSEEK_API_KEY و MINIMAX_API_KEY. أما مفتاح XAI_API_KEY فهو اختياري ويُستخدم فقط في حالة استخدام نموذج واحد فقط. يجب تعيين هذه المفاتيح في بيئة الشل قبل تشغيل البرنامج؛ فإذا غاب أي مفتاح إلزامي، سيتوقف البرنامج عن العمل.

الخطوة 3: تشغيل السكريبت

setup.shبالإضافة إلى مسار المشروع الخاص بك
models.ymlيتم كتابته في دليل مؤقت
لا يتم بدء أي تشغيلالسكريبت يقوم فقط بكتابة المعرفات
السكريبت يكتب ملفًا واحدًا ثم يتوقف.

يقوم السكريبت بكتابة المعرفات في ملف models.yml داخل دليل مؤقت. ولا يقوم ببدء أي عملية تشغيل. يجب تمرير مسار المشروع الخاص بك إلى السكريبت.

#!/usr/bin/env bash
# Do-it-all coding setup: harness, lead agent, sub-agents.
# Check /makobench/ for the current leaders before changing any id below.
set -euo pipefail

# Board labels. dsh may show a different provider string for the same model.
LEAD_MODEL="claude-fable-5-2"        # Claude Fable 5.2, plans and reviews
CODER_MODEL="deepseek-flash"         # DeepSeek V4.1-Flash-1017, writes the code
BULK_MODEL="MiniMax-M3.1-Flash"      # MiniMax M3.1 Flash, window-limited bulk
ONE_MODEL="grok-4.7"                 # Grok 4.7, optional, one model for all

: "${ANTHROPIC_API_KEY:?set ANTHROPIC_API_KEY}"
: "${DEEPSEEK_API_KEY:?set DEEPSEEK_API_KEY}"
: "${MINIMAX_API_KEY:?set MINIMAX_API_KEY}"
: "${XAI_API_KEY:=}"                  # optional, only for ONE_MODEL

# Set this to the DeepSeek provider id your dsh lists. Do not guess it.
DSH_PROVIDER="${DSH_PROVIDER:?set DSH_PROVIDER}"

PROJECT="${1:?usage: setup.sh /path/to/project}"
JOB="$(mktemp -d)"

cat > "$JOB/models.yml" <<YAML
lead: ${LEAD_MODEL}
coder:
  provider: ${DSH_PROVIDER}
  model: ${CODER_MODEL}
bulk: ${BULK_MODEL}
one_model: ${ONE_MODEL}
YAML

echo "Lead: ${LEAD_MODEL}"
echo "Coder: ${CODER_MODEL} via ${DSH_PROVIDER}"
echo "Bulk, inside the plan window: ${BULK_MODEL}"
echo "One-model alternative: ${ONE_MODEL}"
echo "Id file: ${JOB}/models.yml"
echo "Project: ${PROJECT}"
# Point dsh at CODER_MODEL. Do not hardcode a second model id here.

الخطوة الرابعة: توجيه dsh نحو معرف المبرمج

dshأداة التشغيل الخاصة بك
DSH_PROVIDERأي قيمة يُظهرها dsh ضمن قائمة مزودي الخدمة
deepseek-flashمعرف المبرمج المطلوب
يحتاج dsh إلى سلسلة نصية تحدد مزود الخدمة بالإضافة إلى معرف المبرمج.

يجب توجيه dsh نحو معرف المبرمج المطلوب. سلسلة النص المستخدمة كمزود خدمة في dsh هي أي قيمة يُظهرها البرنامج ضمن قائمة مزودي خدمات DeepSeek. أما معرف المبرمج في واجهة برمجة التطبيقات فهو deepseek-flash.

الخطوة 5: جدولة المهام وفقًا للقيود

أوقات الذروة لـ DeepSeek، بتوقيت UTC
00:0012:0024:00
من الاثنين إلى الجمعة
من الساعة 01:00 إلى 04:00
من الساعة 06:00 إلى 10:00
أوقات غير ذرويةبسعر نصف القيمة
يجب جدولة المهام الثقيلة خارج أوقات الذروة.

يكون سعر استخدام DeepSeek نصف القيمة في الأوقات غير الذروية. أوقات الذروة هي من الاثنين إلى الجمعة، من الساعة 01:00 إلى 04:00 ومن الساعة 06:00 إلى 10:00 بتوقيت UTC؛ لذا يجب جدولة المهام الثقيلة خارج هذه الأوقات.

خطة MiniMaxلمدة 5 ساعات أو أسبوعياً
402تم استهلاك الفترة المحددة
يجب تغيير النموذج المستخدمDeepSeek V4.1-Flash-1017
الرقم 402 يعني أن الفترة المحددة قد تم استهلاكها، وليس أن الخطة انتهت.

خطة MiniMax ثابتة التكلفة؛ فلا توجد تكاليف إضافية حتى يتم استهلاك الفترة المحددة (5 ساعات أو أسبوعياً). الرقم 402 يعني أن الفترة المحددة قد انتهت، وليس أن الخطة قد انتهت أيضاً؛ لذا يجب تغيير النموذج المستخدم إلى DeepSeek V4.1-Flash-1017 لإكمال العملية. عملية بناء تتضمن 60,000 سطر من الكود ستستهلك الفترة المحددة بالكامل، لذا فإن هذه الخطة تُعد قيداً على الاستخدام وليست تصريحاً مجانياً.

تكلفة المشروع

هذه تقديرات مبنية على أسعار اللوحات الإلكترونية، وليست نتائج قياسات من مشروع حقيقي. لم تتوفر بيانات حول استهلاك التوكنات لمشروع بهذا الحجم. الافتراضات المستخدمة هي: تكلفة كل سطر من الكود النهائي هي 15 توكن، وبالتالي فإن مشروعًا بحجم ChatForge المكون من 5,000 سطر يستهلك 75,000 توكن، بينما مشروع DisPatch المكون من 60,000 سطر يستهلك 900,000 توكن. يقوم الوكيل بإعادة قراءة الكود الخاص به، لذا فإن النطاق المتوسط يحسب 12 مرة كمية التوكنات الداخلة و3 مرات كمية التوكنات الخارجة؛ أما برنامج التفكير المُستخدم فهو يستخدم النطاق العالي الذي يحسب 20 مرة للتوكنات الداخلة و5 مرات للتوكنات الخارجة. أي مشروع جديد يعني عدم وجود بيانات سابقة في الذاكرة المؤقتة. يتم تسعير DeepSeek وفقًا لأسعار الذروة خارج أوقات الت peak. هذه التكلفة تخص عملية بناء واحدة فقط، ولا تشمل الصيانة أو استخدام أداة التقييم أو توليد الصور.

عدد أسطر الكود5,000 أو 60,000
توكنات الكود المصدري15 توكن لكل سطر
إعادة قراءة الكود من قبل الوكيلالنطاق المتوسط: 12 مرة للتوكنات الداخلة، و3 مرات للخارجةالنطاق العالي: 20 مرة للتوكنات الداخلة، و5 مرات للخارجة
التكلفة لكل مليون توكنأسعار اللوحات الإلكترونية
تكلفة المشروععملية بناء واحدة، تقدير تقريبي
عدد الأسطر يتحول إلى توكنات، وتكلفة كل مليون توكن تُحسب وفقًا لأسعار اللوحات الإلكترونية.
الإعدادات مشروع بحجم ChatForge، النطاق المتوسط مشروع بحجم DisPatch، النطاق المتوسط
Claude Fable 5.2 فقط20.25 دولارًا243 دولارًا
Grok 4.7 فقط (حسب الاستهلاك)3.15 دولارات37.80 دولارًا
GPT-6.1 Terra فقط2.03 دولارات24.30 دولارًا
DeepSeek V4.1-Flash-1017 فقط (خارج أوقات الذروة)0.27 دولارًا3.24 دولارات
مزيج: خطط Fable مع استخدام DeepSeek V4.1-Flash-10174.82 دولارات57.86 دولارًا
مزيج: خطط Fable مع استخدام MiniMaxحوالي 4.61 دولاراتحوالي 55.35 دولارًا

لم يستهلك Claude Fable 5.2 أي توكنات تفكير في هذه الحالة، لذا فإن النطاق المتوسط هو الرقم الصحيح بالنسبة له. أما إذا قام الوكيل بالتفكير بشكل كامل، فإن التكلفة ستكون 33.75 دولارًا و405 دولارات على التوالي. بالنسبة لـ DeepSeek V4.1-Flash-1017، فإن تكلفة النطاق العالي هي 0.45 دولارًا و5.40 دولارات. أما في أوقات الذروة، فإن التكلفة تضاعف ما هي عليه خارج أوقات الذروة، لذا فإن التكلفة في النطاق المتوسط خلال الذروة تصبح 0.54 دولارًا و6.48 دولارات؛ وهذه ليست التكلفة الخاصة بالنطاق العالي. في الإعداد المختلط، يتحمل Claude Fable 5.2 20% من كمية التوكنات الداخلة و25% من التوكنات الخارجة، بينما يتولى DeepSeek V4.1-Flash-1017 باقي العملية، مما يؤدي إلى تكلفة قدرها 4.82 دولارات و57.86 دولارات خارج أوقات الذروة. إذا استخدمنا MiniMax M3.1 Flash كبرنامج مُبرمج بدلاً من ذلك، فإن التكلفة تهبط إلى صفر دولارات ضمن نطاق الخطة المحددة، لكن قيمة “Work” الخاصة به تبلغ 8.0 مقابل 11.6، مما يعني الحاجة إلى دورات مراجعة إضافية؛ وهذه الدورات غير محسوبة ضمن التكلفة البالغة 4.61 دولارات أو 55.35 دولارات.

التوصية

بالنسبة لمشاريع مثل DisPatch أو ChatForge، يُفضل استخدام المزيج المتعدد من النماذج. يقوم Claude Fable 5.2 بوضع الخطط ومراجعتها، بينما يقوم DeepSeek V4.1-Flash-1017 بكتابة الكود، ويقوم DeepSeek Harness بتنفيذ العمليات المطلوبة. أما GPT-6.1 Terra فيجيب على استفسارات المستخدمين. التكلفة التقديرية لإنشاء مشروع بحجم ChatForge هي 4.82 دولار، بينما تبلغ تكلفة مشروع بحجم DisPatch 57.86 دولار؛ مقارنةً بـ 20.25 دولار و243 دولاراً في حال استخدام Claude Fable 5.2 وحده، أو 0.27 دولار و3.24 دولاراً إذا قام DeepSeek V4.1-Flash-1017 بإنجاز المهمة كاملةً. نظراً لتساوي النماذج من حيث الأداء، فاختر النموذج الأرخص الذي يؤدي المهمة، واحتفظ بالنموذج الأغلى للتخطيط والمراجعة. تُعد قيمة 4.82 دولار هي التكلفة الإجمالية للبناء، وليست تكلفة المحادثات فقط. أما استخدام Terra وحده، فتبلغ التكلفة 2.03 دولار لمشروع بحجم ChatForge و24.30 دولار لمشروع بحجم DisPatch؛ وهذه خيارات بديلة للاستخدام بدلاً من المزيج المذكور أعلاه، حيث يتم دفع تكلفة أحد الخيارين فقط ولا يمكن دمجهما معاً. يُفضل استخدام خطة MiniMax Token للأعمال الكبيرة ضمن النطاق المسموح به، واعتبارها نوعاً من محددات السرعة في التنفيذ. لا ينصح باختيار DeepSeek V4-Pro-0813 بدلاً من DeepSeek V4.1-Flash-1017؛ إذ يحقق الأخير أداءً أفضل (19.2 مقابل 18.4) ويكون أقل تكلفة. وإذا كنت ترغب في استخدام نموذج واحد فقط بدلاً من المزيج، فإن Grok 4.7 هو الخيار الأمثل: حيث يبلغ التقييم الإجمالي له 24.1، وتكلفة المحادثات 12.4، بينما تبلغ تقديرات التكلفة لمشاريع بحجم ChatForge وDisPatch على التوالي 3.15 دولار و37.80 دولار؛ أما تكلفة تشغيله فتبلغ 3.91 دولار فقط، أي ربع تكلفة استخدام Claude Fable 5.2 التي تبلغ 14.87 دولار.

الحزم التي حققت الدرجة القصوى، وما الذي يأتي بعد ذلك

هناك أربعة نماذج في هذه المجموعة حققت درجة كاملة 1.000 في الحزمة المخصصة للعمل/التفكير:

  • Claude Fable 5.2: الدرجة الأولى في فئة العمل/التفكير، والدرجة الأولى في فئة العمل/القدرة على التصرف، والدرجة الثانية في كتابة المحتوى للبالغين.
  • Grok 4.7: الدرجة الأولى في فئة العمل/التفكير، والدرجة الثانية في كتابة المحتوى للبالغين.
  • GPT-6 Astra: الدرجة الأولى في فئة العمل/القدرة على التصرف.
  • GPT-6.1 Sol: الدرجة الأولى في فئة العمل/القدرة على التصرف.

لم يحقق أي نموذج درجة 1.000 في الحزمة المخصصة للبرمجة؛ أفضل نتيجة كانت من GPT-6 Astra بدرجة 0.917. كما أنه لم تحقق أي حزمة درجة 1.000 في فئة الدردشة؛ أفضل نتيجة كانت من Claude Fable 5.2 بدرجة 0.964. لكن علامة “MAX” على اللوحة تشير إلى أن جزءًا معينًا من الحزمة وصل إلى القمة، وليس أن الحزمة بأكملها كانت مثالية. لهذا السبب يحمل GPT-6 Astra علامة MAX رغم أن درجته في الحزمة البرمجية هي 0.917 فقط. تحقيق الدرجة القصوى لا يعني انتهاء دور الحزمة؛ فاختبارات MakoBench 4.5 جارية حالياً وإضافة حزم أصعب للاختبار، لذا فإن نتائج 4.1 هي الحد الأقصى الحالي، وليست النتيجة النهائية.

جميع الدرجات وقائمة الاختبارات وتكلفة تشغيل كل نموذج متاحة على لوحة MakoBench.


← المزيد من الذكاء الاصطناعي والنماذج المحلية