وكيل الذكاء الاصطناعي الخاص بي بنى أداة قياس أداء لوكلاء الذكاء الاصطناعي التابعين لي
- تاريخ النشر
- 11 أغسطس 2026
- تاريخ التحديث
- 9 نوفمبر 2026
- بقلم
- جاكوب لويد — كُتب بمساعدة الذكاء الاصطناعي بعد إنجاز المشروع
- مدة القراءة
- قراءة 7 دقيقة
بعبارة مبسطة: كتب وكيل البرمجة الذكي لدينا bench-llm، وهو ملف بايثون واحد يختبر مدى سرعة النموذج المحلي وما إذا كان قادرًا على أداء مهام بسيطة. لا يزال يعمل وهو مجاني للتحميل. أصبح سهلًا جدًا خلال أسبوعين، فاستبدلناه بـ CrucibleForge، أداة مجانية أكبر تطرح 276 سؤالًا وتشغّل الكود الذي يكتبه النموذج للتحقق منه.
في 2026-08-11 طلبنا من وكيل البرمجة لدينا أداة تقيس أداء النماذج المحلية في مجموعة وكلائنا. فجاءنا بـ bench-llm: 1,660 سطرًا من بايثون تقيس السرعة في LM Studio، وتشغّل الكود الذي يكتبه النموذج، وتتحقق مما إذا كان النموذج قادرًا على أداء مهمة وكيل صغيرة. خلال أسبوعين حصلت كل النماذج التي تهمنا على 5/5 فيه، فأعدنا بناءه باسم CrucibleForge: 276 حالة حتى أكتوبر 2026، منها 166 صعبة، مفتوحة المصدر على GitHub. تغطي هذه الصفحة كليهما. استخدم bench-llm للحصول على رقم أولي من نموذج في خمس دقائق. واستخدم CrucibleForge عندما تحتاج إلى ترتيب نماذج تجتاز جميعها الاختبارات السهلة.
خلاصة مختصرة
- bench-llm: ملف بايثون واحد، مجاني للتحميل. يختبر السرعة (الوقت حتى أول رمز، والرموز في الثانية)، والقدرة (5 اختبارات: البرمجة، والمنطق، وJSON، والتعليمات، والتلخيص)، وملاءمة الوكيل (3 فحوص على مهمة syslog واحدة). يتطلب بايثون 3.8+، و
pip install openai requests، وLM Studio. - سبب التوقف عن استخدامه: 5 اختبارات قدرة و3 فحوص وكيل لم تعد تميّز بين النماذج بعد أن تجتازها جميعًا النماذج الجيدة.
- CrucibleForge 3.6: 276 حالة، منها 166 صعبة. يُشغَّل الكود في بيئة معزولة ويُقيَّم على النتيجة. يعمل مع أي نقطة نهاية متوافقة مع OpenAI، وله واجهة ويب، ويعمل الآن في Docker وعلى ويندوز. ترخيص MIT، github.com/LaserLloyd/CrucibleForge.
- ما تعرضه اللوحة: Kimi K3.1 Pro صاحب أعلى درجة في لوحة 2026-11-08 بـ 19.3 من 20، رغم أن اختبار الاقتران الخاص باللوحة نفسها يعتبر النماذج الـ26 كلها متعادلة؛ وحصل MiniMax M3 على درجة تقييمية لأول مرة (14.6، و15.5 عند احتساب إعادات تشغيله) بتكلفة نحو 0.57 دولار للتشغيل، وكلّفت اللوحة بأكملها 68.21 دولارًا.
سجل التغييرات: 2026-08-26، سُحب bench-llm ونُقلت نتائجه إلى المجموعات اللاحقة. 2026-09-16، أُعيد كتابة قسم CrucibleForge، وأُعيد بناء لوحة الترتيب من ملفات التشغيل المحفوظة، وأُعيد رسم الغلاف. 2026-10-19، حُدّث قسم CrucibleForge للإصدار 3.6.0 (ما الجديد): التثبيت الحالي، والقياس بأمر واحد، وDocker. 2026-11-02، أُعيد بناء لوحة النماذج من تشغيل 2026-11-02 (المجموعة 4.0.0). 2026-11-09، أُعيد بناء لوحة الفئة الصعبة من تشغيل 2026-11-08 (المجموعة 4.1.0): 26 نموذجًا مُقيَّمًا، وتكلفة التشغيل عادت إلى اللوحة، وMiniMax M3 مُقيَّم لأول مرة.
ما الذي ستحصل عليه في النهاية
أمر واحد يتم تنفيذه على نموذج واحد ينتج عنه ما يلي (مثال على التشغيل، مختصر):
$ bench-llm gemma-4-31b-it
bench-llm — Benchmarking: gemma-4-31b-it
GGUF Size: 16.5 GB Quant: Q4_K_M
⚡ SPEED BENCHMARKS
short_50 TPS: mean=84.2 TTFT: mean=0.231s
medium_200 TPS: mean=85.7 TTFT: mean=0.312s
long_800 TPS: mean=82.1 TTFT: mean=0.541s
🔍 Validating speed plausibility... Confidence: HIGH
🧠 ABILITY TESTS
Code Generation (median_of_list)... PASS
Logic Puzzle (Pet Ownership)....... PASS
JSON Compliance.................... PASS
Instruction Following.............. PASS
Summarization (Key Facts).......... FAIL
Ability Score: 4/5
🤖 AGENT FITNESS TESTS
Task Acknowledgment / Format Adherence / Conciseness: PASS
Agent Fitness Score: 3/3
📄 Results saved: ~/benchmarks/gemma-4-31b-it-2026-08-11.json
يحتوي ملف JSON على جميع بيانات التوقيت الخام، وكل ردود النموذج، بالإضافة إلى ملخص لها. يمكنك إعطاء هذا الملف لوكيلك والسؤال: "أي من نماذجنا يجب أن يتولى معالجة ملفات JSON بكميات كبيرة؟"
ما الذي تختبره أداة bench-llm؟
السرعة
ترسل الأداة ثلاثة طولات مختلفة للنصوص (حوالي 50 و200 و800 حرف)، وتقوم بتشغيل عمليات تجريبية أولية، ثم تقيس ثلاثة مقاييس. TTFT (الوقت اللازم لظهور أول رمز نصي) هو المدة التي تنتظرها حتى يظهر النص؛ إذا تجاوزت 500 مللي ثانية، فإن الأداء يبدو بطيئًا في الدردشة. Throughput (معدل إنتاج الرموز في الثانية) هو مدى سرعة كتابة النص بعد بدء العملية. أما Prefill T/s فهو معدل قراءة النص المدخل من قِبل النموذج.
كما تقوم الأداة بإجراء فحص مصداقية مقارنةً بالحدود التقنية المعروفة للأجهزة. فإذا ادعى نموذج بحجم 30 جيجابايت أنه يستطيع إنتاج 200 رمز في الثانية على بطاقة رسوميات من نوع 7900 XTX، فإن أداة bench-llm تُشير إلى أن هذا الرقم غير دقيق، لأن عمليات فك التشفير التخميني أو وجود ذاكرة مؤقتة قد أثرت على النتيجة.
القدرات
- توليد الكود: كتابة سطر برمجي من نوع
median_of_list(numbers)مع التعامل مع جميع الحالات الحدية. تقوم أداة bench-llm بتنفيذ هذا السطر مقابل ست حالات اختبار بدلاً من مجرد قراءة النص. - حل الألغاز المنطقية: لغز يتعلق بملكية الحيوانات الأليفة بين أربعة أشخاص؛ يقوم نظام الفحص باستخراج جميع الإجابات من الرد.
- التوافق مع تنسيق JSON: إرجاع كائن يحتوي على المفاتيح المطلوبة بالضبط؛ هذا هو الحد الأدنى الذي يجب أن يمتلكه أي نموذج لكي يتمكن من التفاعل مع الأدوات.
- اتباع التعليمات: تحديد الأرقام من 1 إلى 10، وتمييز الأرقام الزوجية، ثم حساب مجموعها؛ الحسابات بسيطة للغاية، لكن التنسيق هو ما يُختبر.
- التلخيص: تلخيص فقرة طويلة مع الاحتفاظ بستة حقائق محددة؛ معظم النماذج تفشل في الحفاظ على جميع هذه الحقائق.
ملاءمة النموذج للعمل كوكيل ذكي
يُعطى النموذج مهمة واقعية: البحث في سجلات النظام عن أسطر تحتوي على رسائل خطأ، تجميعها حسب الخدمة، ثم إرجاع تقرير بصيغة JSON. يتم تقييم هذا الرد عبر ثلاثة معايير:
- الإدراك بالمهمة: هل يوضح النموذج الخطوات التي سيتبعها ويذكر ما لا يستطيع فعله؟ أي نموذج يختلق أسطرًا في سجلات النظام يُعتبر غير مؤهل.
- الالتزام بالتنسيق: هل يحتوي الرد على مصفوفة باسم
services، وعدد صحيح باسمtotal_errors، ونص باسمscan_period؟ - الإيجاز: نسبة طول الناتج إلى طول المدخل؛ أي رد يتجاوز 20,000 حرف كرد على نص مدخل بطول 1,300 حرف يُعتبر مفرطًا في الطول، لأن ذلك قد يؤدي إلى استهلاك مساحة الذاكرة الخاصة بالوكيل في كل مرة.
كيف تم بناؤه
كانت تعليماتنا للوكيل البرمجي عبارة عن جملة واحدة: "نحتاج إلى أداة تقوم بقياس أداء النماذج المحلية في LM Studio، وتختبر سرعتها وقدراتها الذكية، ثم تُخرج النتائج بصيغة JSON وجدول." فقام الوكيل ببناء الأداة في أربع خطوات خلال فترة ما بعد الظهر: اختبارات السرعة عبر واجهة البرمجة الخاصة بـ LM Studio المتوافقة مع OpenAI، ثم اختبارات القدرات الذكية، ثم تنفيذ المهام المطلوبة، وأخيرًا التحسينات النهائية (مثل العثور على ملف GGUF على القرص الصلب، والتحقق من صحة النتائج، بالإضافة إلى خيارات مثل --quick و--list و--check). كتب الوكيل كل سطر من الكود؛ أما دورنا فكان تشغيل الأداة على نماذج حقيقية وإبلاغه بأي ملاحظات. يوجد اختبار التحقق من صحة النتائج لأننا أخبرنا الوكيل أن قيمة معينة للسرعة غير ممكنة بالنسبة لنموذج بحجم 123 مليار معلمة.
هنا بعض الخيارات التصميمية التي تستحق أن تُقلد في أدواتكم الخاصة:
- استخدم التدفق المستمر بدلاً من الاستطلاع المتكرر. قياس الوقت لكل رمز هو الطريقة الوحيدة للحصول على قيمة دقيقة لمؤشر TTFT.
- شغّل الكود فعليًا. الكود الذي يبدو جيدًا لكنه لا يعمل يُعد فشلاً وليس نجاحًا.
- استخرج الإجابة قبل التحقق منها. تقوم أدوات التحقق بإزالة العبارات الافتتاحية مثل "بالتأكيد! هذه هي إجابتك:"؛ وبذلك يقيم الاختبار المحتوى نفسه وليس المقدمة.
- ابدأ كل تشغيل من حالة GPU فارغة. وإلا فإن ذاكرة التخزين المؤقت للنموذج السابق قد تُشوه قيمة TTFT. طريقة برنامج bench-llm في تحقيق ذلك هي النقطة الأولى التي يجب الانتباه إليها.
الإعداد
# 1. Install both dependencies (requests reads LM Studio's model metadata;
# without it every model shows as "not found")
pip install openai requests
# 2. Start LM Studio with at least one model; it listens on localhost:1234
# 3. Run it
./bench-llm --list # what's available
./bench-llm gemma-4-31b-it --quick # smoke test
./bench-llm gemma-4-31b-it # full benchmark
لا توجد ملفات إعداد ولا قاعدة بيانات. يقبل LM Studio أي سلسلة نصية كمفتاح API. تظهر النتائج في ~/benchmarks/. انسخ السكريبت إلى مجلد موجود في مسار PATH إذا أردت تشغيله من أي مكان.
نقاط يجب الانتباه إليها
- يؤدي ذلك إلى إيقاف تشغيل llama-server. عند بدء التشغيل، يقوم البرنامج بتنفيذ الأمر
pkill -f llama-serverثم ينتظر حتى تُبلغ LM Studio عن عدم وجود أي نماذج محملة. أي نسخة أخرى من llama-server على الجهاز ستتوقف أيضًا عن العمل. لا تقم بتشغيل هذا البرنامج على جهاز يُستخدم لخدمة أغراض أخرى، أو قم بحذف تلك الخطوة. - اختبار البرمجة يقوم بتشغيل مخرجات النموذج باستخدام
exec(). يستخدم هذا الاختبار مساحة تسمية جديدة، وهي ليست بيئة معزولة. قم بتشغيله كمستخدم لا يملك شيئًا يخسره، أو تجاوز اختبارات القدرات باستخدام--speed-only. - نماذج التفكير تبدو بطيئة في الأداء. يقيس مؤشر TTFT أول رمز يتم إخراجه، بما في ذلك الرموز المتعلقة بالتفكير. يقوم تنسيق JSON بتقسيم هذه القيمة إلى
ttft_reasoning_sوttft_content_s. - الحصول على تقييم 4 من أصل 5، مع فشل النموذج فقط في مهمة التلخيص، هو نتيجة جيدة جدًا. تقريبًا كل النماذج تفشل في تذكر حقيقة واحدة على الأقل.
- يستغرق التشغيل الكامل دقيقتين إلى 5 دقائق لكل نموذج. استخدم الخيار
--quickلمقارنة العديد من النماذج، ثم قم بتشغيل الاختبارات الكاملة على النماذج الفائزة. - يجب أن يكون LM Studio قيد التشغيل مسبقًا. يقوم برنامج bench-llm بالاتصال بعنوان localhost:1234 دون أن يبدأ أي عمليات جديدة.
النتائج: النماذج الأساسية على جهاز “Rig” والكمبيوتر المصغر
هذه الأرقام مأخوذة من مجموعة الاختبارات التي أعقبت اختبارات bench-llm (نفس طريقة القياس، المزيد من الاختبارات؛ التقرير بتاريخ 2026-08-18). “Rig” هو جهاز يحتوي على بطاقتي رسومات RTX 5090 وRTX 3090. أما “APU” فهو معالج الرسومات المدمج في الكمبيوتر المصغر (عندما كان لا يزال يعمل كخادم للنماذج المحلية). يجب مقارنة السرعات فقط داخل نفس الجهاز. “Code” و“Tools” و“Instruct” و“Reason” تمثل نسب النجاح في الأداء.
| النموذج | الجهاز | سرعة توليد الرموز/ثانية | زمن استجابة أول رمز | Code | Tools | Instruct | Reason |
|---|---|---|---|---|---|---|---|
| Gemma 4 26B-A4B (QAT، Q4) | Rig | 229.0 | 110 مللي ثانية | 88% | 100% | 50% | 95% |
| Nemotron 3 Nano 4B (Q8) | APU | 18.5 | 175 مللي ثانية | 92% | 70% | 94% | 95% |
| Gemma 4 12B | APU | 10.1 | 633 مللي ثانية | — | — | — | — |
نموذج Gemma 4 26B من نوع “Mixture-of-Experts” (مع تفعيل 4 مليارات معلمة فقط) هو النموذج الأساسي المستخدم على جهاز “Rig”: سرعة توليد الرموز 229 رمز/ثانية، وزمن استجابة أول رمز 110 مللي ثانية، بالإضافة إلى أداء ممتاز في تنفيذ الأوامر. إلا أن نقطة ضعفه تكمن في اتباع التعليمات، وهو ما يعتمد عليه بشكل أساسي أي نظام ذكاء اصطناعي غير مشرف. أما نموذج Nemotron 4B على الكمبيوتر المصغر فهو يتفوق في اتباع التعليمات (94% مقابل 50%). لكن سرعته أبطأ بحوالي 12 مرة (18.5 مقابل 229 رمز/ثانية)، وهو يعمل على جهاز مختلف. لذا يجب اختيار النموذج بناءً على متطلبات عملك، وليس فقط على أساس أعلى سرعة.
ما حل محله: CrucibleForge
لقد "مات" برنامج bench-llm بسبب نجاحه؛ فخمسة اختبارات كفاءة تكفي لصنع جهاز إنذار دخان جيد، لكنها لا توفر أي معلومات تصنيفية ذات قيمة. فعندما يحقق كل نموذج درجة 5/5 و3/3، لا يتبقى للأداة ما تقوله. CrucibleForge هو الإصدار المُعاد كتابته؛ يتكون الآن من حوالي 12,000 سطر من كود بايثون، وقاعدته الأساسية هي أن الأسئلة الصعبة يجب أن تظل سهلة التقييم.
- 166 حالة صعبة. مسائل رياضية تنافسية ذات إجابات عددية، ألغاز منطقية لها حل واحد فقط، بالإضافة إلى مسائل برمجة تتطلب مستوى تعقيد محدد (فمثلاً، خوارزمية حساب التباديل بتعقيد O(n²) تُعتبر غير مقبولة). كما تشمل الحالات فخوخ استخدام الأدوات، وحالات حقن التعليمات، بالإضافة إلى اختبارات استرجاع المعلومات من نصوص طويلة تصل إلى 12k–24k رمز، وتعليمات متعددة القيود.
- تقييم الكود يتم بتشغيله في بيئة معزولة
bwrapبدون شبكة، مع نظام قراءة فقط ومدة تشغيل محدودة بـ15 ثانية. للنجاح، يجب أن يحتوي مخرج النظام على سلسلة نصية محددة؛ لذا لا يمكن للبرنامج التظاهر بالنجاح عبر الخروج بقيمة صفر فقط. بدونbwrap(وهو الحال دائمًا على أنظمة macOS وWindows)، يرفض البرنامج تشغيل كود النموذج إلا إذا استخدمت الخيار--allow-unsandboxed. - الإجابات النصية تُقيّم مقابل إجابة مرجعية. يرى نموذج الحكم الإجابة الصحيحة، ثم يقرر فقط ما إذا كانت الإجابة المقدمة تعني نفس المعنى. أي نموذج توجيهي جيد يمكنه القيام بذلك؛ وبالتالي لم يعد نموذج الحكم نقطة ضعف في النظام.
- أي واجهة برمجة API متوافقة مع OpenAI. سواء كان ذلك عبر LM Studio أو Ollama أو llama.cpp أو vLLM أو DeepSeek أو OpenRouter وغيرها. تقوم النماذج المستضافة بمعالجة الحالات بشكل متزامن، وتُبلغ عن تكلفة استهلاك الرموز. تُستخدم مفاتيح الوصول فقط من متغيرات البيئة.
- يمكنه استرجاع الإجابات التي تفقدها النماذج التفكيرية. إذا أنفق نموذج التفكير كل موارده في التفكير دون إعطاء إجابة، يلاحظ ذلك البرنامج ويطلب الإجابة مرة أخرى مع إيقاف وضع التفكير، ثم يحسب عدد المرات التي حدث فيها ذلك.
recoverيعيد تشغيل تلك الحالات فقط من الجولة السابقة. - يتشارك بأدب مع وحدات معالجة الرسومات. على جهاز StudioForge الخاص بنا، يحجز البرنامج الوحدات التي يحتاجها ثم يعيدها عند انتهاء عمله. أما برنامج bench-llm فقد حل المشكلة باستخدام
pkillلقتل جميع النماذج. - واجهة ويب تفاعلية متاحة على
127.0.0.1:8777تسمح باختيار النماذج والفئات، ومتابعة سجل العمليات، بالإضافة إلى فتح أي حالة فاشلة لعرض المدخلات والإجابة والمنطق المستخدم وملاحظات نموذج الحكم. يتطلب استخدام الواجهة وجود رمز وصول؛ وإلا فإنها تقبل الاتصالات من العنوان المحلي فقط.
جربه بنفسك
أسهل طريقة هي استخدام Docker، لأن الحاوية تعمل أيضًا كبيئة عزل للكود الذي تكتبه النماذج. على نظام لينكس، بعد تثبيت Docker:
git clone https://github.com/LaserLloyd/CrucibleForge.git && cd CrucibleForge
cp deploy/compose/.env.example deploy/compose/.env # LLM_BASE_URL defaults to port 1234 on the Docker host
docker compose -f deploy/compose/compose.yml up -d
docker compose -f deploy/compose/compose.yml logs app | grep "GUI:" # open the printed http://127.0.0.1:8777/?token=... URL
أو يمكن تشغيله بشكل أصلي؛ حيث يوفر لينكس عزلًا من خلال bwrap للحالات البرمجية المختلفة:
sudo apt-get install -y bubblewrap
git clone https://github.com/LaserLloyd/CrucibleForge.git && cd CrucibleForge
uv sync --python 3.13
uv run crucibleforge config --init # writes models.yaml; set base_url to your server's /v1
uv run crucibleforge status # is the provider up? how many cases?
uv run crucibleforge all --models my-model --fresh --yes
uv run crucibleforge gui # http://127.0.0.1:8777
مرر المعامل --python 3.13: فعلى جهاز نظيف، يمكن لأمر uv sync أن يختار إصدارًا أحدث من بايثون مما تدعمه المشاريع. على macOS وWindows لا يتوفر bwrap، لذا يجب استخدام المعامل --allow-unsandboxed قبل تنفيذ الأوامر (حتى يعمل الكود المكتوب بواسطة النماذج بشكل طبيعي)، أو يمكنك استخدام Docker Desktop. إذا كان خادم النموذج يحتاج إلى مفتاح API، فضع اسم المتغير في api_key_env ضمن إعدادات المزود في ملف models.yaml؛ أما المفتاح نفسه فيبقى في بيئة التشغيل.
all يقوم بتشغيل مجموعة الاختبارات القياسية، وهي profiles/bench.yaml: وتضم 49 حالة اختبار تم اختيارها كأصغر مجموعة تستطيع التمييز بين النماذج المختلفة؛ ثم يتم التقييم، وبعد ذلك عرض النتائج. يحصل كل نموذج على درجتين تتراوحان من 0 إلى 100. تُقاس مهارة البرمجة باستخدام أدوات تقييم حتمية (البرامج، استخدام الأدوات، اتباع التعليمات، التفكير المنطقي والرياضيات). أما مهارة الدردشة فيتم تقييمها من حيث الكتابة والتفاعل وتوجيه النموذج؛ وتشمل أيضًا فئات المحتوى المناسب للبالغين التي لا يتم ذكرها في هذه الصفحة. أما الـ 276 حالة اختبار المتبقية فتظل متاحة للتشغيل المستهدف باستخدام المعاملات --cases أو --categories. الأوامر الأخرى المتاحة هي run، judge، recover، report، pairwise، models، bench-all، import-openclaw وcases.

models.yaml الافتراضي وبدون أي نتائج: يظهر أي المزودين متاحون، وأي مقيّم يقوم بالتقييم، بالإضافة إلى مجموعة الحالات الاختبارية (276 حالة، منها 166 صعبة). لم يكن هناك أي تشغيل محلي، لذا ظهرت علامات “غير متاح” على المزودين.الأمر الذي نثق به أكثر هو ذلك الذي يتحقق من صحة الأسئلة نفسها؛ فهو يقوم بتشغيل كل الحلول المرجعية في بيئة العزل، ويُعيد حساب كل إجابة رياضية بالطرق الحتمية، كما يعيد بناء كل سيناريوهات السياق الطويلة. هذه هي نتائجه على نسخة نظيفة من الإصدار 3.6.0 بتاريخ 19 أكتوبر 2026:
$ uv run crucibleforge cases verify
276 cases checked, 0 with problems (36 reference solutions executed, 37 answers re-derived)
وتقوم مجموعة الاختبارات أيضًا بتشغيل نفس التحقق؛ لذا فإن أي سؤال معيب لا يمكنه أن يفشل بصمت مع جميع النماذج، ولا يمكنه أن يُعتبر ناجحًا في الفئات الصعبة.
ما الجديد في الإصدار 3.6
تغيّر إصدار CrucibleForge 3.6.0 (18 أكتوبر 2026) طريقة تثبيت المشروع وتشغيله، وليس ما يقوم بقياسه. لم يتغير أي من الحالات أو معايير التقييم، والنتائج المسجلة تحت الإصدار 3.5.1 تُعتبر جزءًا من نفس مجموعة الحالات؛ لذا لن تتأثر أي بيانات موجودة حاليًا.
- Docker. صورة للقراءة فقط ولا تتطلب صلاحيات الجذر، بحجم حوالي 190 ميجابايت؛ تحتوي على واجهة المستخدم الرسومية على العنوان
127.0.0.1:8777، بالإضافة إلى ملفmodels.yamlوالنتائج في وحدة تخزين تظل قائمة حتى بعد التحديثات. داخل الحاوية، تُنفذ حالات البرمجة دون استخدامbwrap، لأن الحاوية نفسها تعتبر بيئة معزولة؛ ومع ذلك يمكن للحاوية الوصول إلى الشبكة، لذا يجب اعتبارها مكانًا لتشغيل أكواد غير موثوقة. - نظام ويندوز. تمر مجموعة الاختبارات بنجاح على نظام ويندوز، كما أن أنظمة التكامل المستمر تحتوي على خطوة تنفيذية لويندوز. القيد الوحيد هو أن آلية منع تشغيل عمليتي قياس في نفس الوقت لا تعمل على ويندوز؛ لذا يجب تشغيل عملية واحدة فقط في كل مرة.
- اختبار بيئة العزل الذاتي. إذا كان برنامج
bwrapمثبتًا ولكنه غير قادر على عزل العمليات فعليًا (سواء داخل حاوية أو عند تعطيل أسماء المستخدمين)، يتم اكتشاف ذلك قبل بدء التنفيذ؛ في هذه الحالة يُرفض التشغيل (أو، باستخدام الخيار--allow-unsandboxed، يتم تشغيل البرنامج دون عزل ويتم الإعلان عن ذلك مسبقًا) بدلًا من فشل جميع حالات البرمجة. - مفاتيح واجهة برمجة التطبيقات ورسائل الخطأ الأوضح. يُوضح
statusمتى يرد الخادم برموز الخطأ 401 أو 403، ويذكر المتغير الذي يجب تعيينه؛ وهذا ما تحتاجه بوابة StudioForge 2.0 للتعامل مع المفاتيح. - تم التصحيح في تاريخ 19 أكتوبر 2026: كان زر “Judge pending rows” في واجهة المستخدم يقوم بتقييم الحالات باستخدام أداة تقييم احتياطية لا تُؤخذ نتائجها في الاعتبار؛ الآن يتم استخدام أداة التقييم الخاصة بالمعيار، تمامًا كما كان يحدث عبر سطر الأوامر، ويتم ذكر اسم هذه الأداة في لوحة التحكم.
طريقة التحديث. بشكل افتراضي، استخدم الأمر git pull && uv sync --python 3.13. إذا كان ملف models.yaml يوجه StudioForge إلى المنفذ 8080، فعليك تغييره إلى 1234؛ حيث أن المنفذ 8080 مخصص لواجهة StudioForge الإدارية، بينما واجهة برمجة التطبيقات موجودة على المنفذ 1234. لن يتم تعديل ملف models.yaml الحالي تلقائيًا. في بيئة Docker، استخدم الأمر git pull ثم docker compose -f deploy/compose/compose.yml up -d --build؛ حيث تظل وحدة التخزين قائمة، والأمر down -v هو الأمر الوحيد الذي يقوم بحذفها.
كيف يبدو التقرير؟
report يقوم بإنشاء ملف Markdown وملف JSON. يحصل كل نموذج على صف تلخيصي بالإضافة إلى صف لكل فئة يوضح العدد الفعلي للنتائج. فيما يلي الصف الخاص بفئة معينة في نموذج DeepSeek V4 Pro:
| Model | Coding | Math | Tool use | Instruction | Reasoning | Long-context |
| deepseek-pro | 89% (54/61) | 95% (21/22) | 94% (31/33) | 100% (31/31) | 100% (37/37) | 97% (29/30) |
يتم سرد كل حالة فشل مع سببها؛ جميع حالات الفشل السبع المتعلقة بالبرمجة تشبه السطر الأول أدناه. أما السطر الثاني فهو أحد حالتين من حالات عدم استخدام الأدوات بشكل صحيح:
- deepseek-pro [coding] CZ01-prime-census: TRUNCATED at 32768 tokens (32768 reasoning tokens); no code in response
- deepseek-pro [tooluse] TZ06-three-parallel-one-turn: 1 calls, expected 3
هذا هو الجزء المفيد في التقرير؛ النموذج لم يكتب كودًا سيئًا، بل فكر حتى نفدت ميزانية الـ 32,768 رمزًا ولم يكتب أي شيء أبدًا. استخدام ميزانية أكبر أو تقليل مستوى الجهد المنطقي سيغير هذه النتيجة؛ معدل النجاح وحده لا يمكن أن يخبرنا بذلك.
بالنسبة للنماذج المضيفة، يحتوي التقرير أيضًا على قيمة تكلفة التشغيل، وهي تكلفة تنفيذ الاختبارات القياسية مرة واحدة (انظر وثائق MakoBench).
نتائج المستوى الصعب
هذه هي اللوحة كما كانت في تاريخ 2026-11-09، وقد أُعيد بناؤها من نتائج تشغيل تاريخ 2026-11-08 باستخدام الإصدار 4.1.0، وقام بتقييمها نموذج gemma-4-31B. طريقة التقييم هي كما وُصفت أعلاه: كل فئة تُقيّم على مقياس من 10 درجات في الاختبار القياسي، بينما يكون التقييم الإجمالي على مقياس من 20 درجة (مجموع تقييم البرمجة والمحادثة). ولا يمكن لأي فئة أن تتجاوز 10 درجات إلا بعد فتح حزمة التحديات الإضافية؛ وهي ثلاثة أسئلة أصعب، كل منها يمنح نقطة واحدة، ويُمنح ذلك فقط بعد تحقيق نسبة 90% في جميع الفئات الأخرى. قسم البرمجة هو الجزء الذي يعتمد على المنطق الحسابي (الدوال، التنبؤ، كشف الأخطاء، استخدام الأدوات)؛ بينما قسم المحادثة يُقيّم من خلال التفاعلات والشخصية والإبداع. الرمز “±” بعد كل درجة يمثل نصف فترة الثقة بنسبة 90% المحسوبة باستخدام طريقة Bootstrap، لذا إذا تداخلت فترتي الثقة بين نموذجين، فهذا يعني تعادلهما وليس وجود ترتيب بينهما.
التصنيف هو الفئة العامة التي تقع فيها الدرجة؛ حيث تُصنف الدرجات من 16 فما فوق كفئة S، ومن 13 إلى 15 كفئة A، ومن 10 إلى 12 كفئة B. نسبة الصفوف المكتملة هي النسبة المئوية للصفوف التي أجابت ضمن حدود الميزانية المسموح بها؛ أما الصفوف التي نفدت ميزانيتها فتُعتبر فاشلة، وهناك بعض الصفوف التي لا تزال في انتظار إعادة التشغيل، لذا قد تتغير بعض الدرجات لاحقًا. تكلفة التشغيل هي تكلفة تشغيل نموذج واحد وفقًا لأسعار مزود الخدمة، وتقتصر على عملية التوليد فقط؛ أما عملية التقييم فتتم باستخدام أجهزتنا الخاصة. يُظهر التقرير أيضًا متوسط سرعة التوليد، لكن هذه القيمة لا يمكن مقارنتها إلا بين النماذج التي تُشغّل على نفس الجهاز، وبما أن النماذج هنا تستخدم أجهزة مختلفة من مزودين مختلفين، فقد تم استبعاد هذه القيمة.
تم التقييم حديثًا — وتعادل بين جميع النماذج في اللوحة
- تشغيل واحد، مُقيّم واحد، يوم واحد. تم تشغيل جميع الـ26 صفًا أدناه وتقييمهم في تاريخ 2026-11-08 باستخدام الإصدار 4.1.0، وقام بتقييمهم نموذج gemma-4-31B.
- اختبارات التقييم لا تمكن من التفريق بين أي نموذجين. فترات الثقة بنسبة 90% لكل زوج متجاور تحتوي على الصفر، وهذا التعادل يمتد لجميع النماذج، لذا يُعطي التقرير لجميع الـ26 نموذجًا نفس التصنيف. يمكن اعتبار القيم من 19.3 إلى 11.3 مجرد تقديرات تقريبية وليست ترتيبًا فعليًا.
- MiniMax M3 حصل أخيرًا على درجة تقييم. اللوحة السابقة منحته درجة في البرمجة دون درجة إجمالية؛ أما هنا فقد حصل على 14.6 ± 1.7، ويُظهر عمود “Room” أنه سيحصل على 15.5 بعد إعادة تشغيل الصفوف التي نفدت ميزانيتها باستخدام ميزانية أكبر؛ ولا يزال هناك محاولة إعادة تشغيل واحدة قيد الانتظار. بتكلفة تبلغ حوالي 0.57 دولار لكل تشغيل، فإن تكلفته تعادل سابع أغلى نموذج في اللوحة.
المستوى الصعب — اللوحة الكاملة المكونة من 26 نموذجًا
| النموذج | التقييم الإجمالي | البرمجة | المحادثة | التصنيف | نسبة الصفوف المكتملة | تكلفة التشغيل |
|---|---|---|---|---|---|---|
| Kimi K3.1 Pro | 19.3 ± 0.5 | 10.0 ± 0.1 | 9.3 ± 0.5 | S | 100% | $4.07 |
| Grok 4.7 | 19.2 ± 0.3 | 10.0 ± 0.1 | 9.2 ± 0.3 | S | 100% | $3.91 |
| Claude Opus 5.5 | 19.2 ± 0.5 | 10.0 ± 0.1 | 9.2 ± 0.5 | S | 100% | $4.50 |
| DeepSeek V4 Flash | 18.8 ± 0.8 | 11.2 ± 0.4 | 7.6 ± 0.6 | S | 92% (4 نفدت ميزانيتهم) | $0.14 |
| Claude Sonnet 5.5 | 18.6 ± 0.4 | 10.0 ± 0.1 | 8.6 ± 0.4 | S | 100% | $2.36 |
| GPT-6.1 Terra | 17.9 ± 1.0 | 9.4 ± 0.6 | 8.5 ± 0.7 | S | 100% | $0.63 |
| DeepSeek V4 Pro | 17.8 ± 0.7 | 10.1 ± 0.5 | 7.7 ± 0.4 | S | 89% (5 نفدت ميزانيتهم) | $0.57 |
| GPT-6 Luna | 17.7 ± 0.6 | 9.7 ± 0.2 | 8.0 ± 0.5 | S | 100% | $0.08 |
| Claude Opus 5 | 16.7 ± 1.4 | 8.3 ± 1.2 | 8.4 ± 0.4 | S | 100% | $5.07 |
| Claude Opus 4.8 | 16.3 ± 0.6 | 9.2 ± 0.5 | 7.1 ± 0.4 | S | 100% | $4.37 |
| Claude Fable 5.1 | 16.1 ± 0.9 | 7.7 ± 0.5 | 8.4 ± 0.7 | S | 100% | $10.23 |
| Claude Opus 4.7 | 16.1 ± 0.8 | 9.3 ± 0.6 | 6.8 ± 0.5 | S | 100% | $4.75 |
| Claude Fable 5 | 16.0 ± 1.9 | 7.5 ± 1.9 | 8.5 ± 0.6 | S | 100% | $9.70 |
| Claude Haiku 5.5 | 15.3 ± 1.1 | 9.2 ± 0.7 | 6.1 ± 0.9 | A | 100% | $0.11 |
| Claude Opus 4.6 | 15.3 ± 1.3 | 8.0 ± 1.3 | 7.3 ± 0.3 | A | 100% | $3.38 |
| Claude Sonnet 5 | 15.3 ± 0.9 | 8.8 ± 0.8 | 6.4 ± 0.4 | A | 100% | $2.81 |
| Claude Sonnet 4.6 | 14.6 ± 1.6 | 7.6 ± 1.4 | 7.0 ± 0.7 | A | 97% (نفدت ميزانية صف واحد) | $2.98 |
| MiniMax M2.5 Highspeed | 14.6 ± 0.8 | 8.3 ± 0.7 | 6.3 ± 0.4 | A | 100% | ~$0.63 |
| MiniMax M3 | 14.6 ± 1.7 | 8.5 ± 0.8 | 6.0 ± 1.4 | A | 94% (نفدت ميزانية صفين) | ~$0.57 |
| Claude Opus 4.5 | 13.8 ± 1.4 | 7.1 ± 1.2 | 6.7 ± 0.7 | A | 100% | $3.27* |
| MiniMax M3.1 Flash | 13.6 ± 1.7 | 8.0 ± 0.9 | 5.6 ± 1.4 | A | 94% (نفدت ميزانية صفين) | ~$0.28 |
| MiniMax M2.7 | 13.4 ± 1.7 | 6.7 ± 1.6 | 6.7 ± 0.5 | A | 100% | ~$0.30 |
| MiniMax M2.7 Highspeed | 13.2 ± 1.2 | 7.6 ± 0.9 | 5.6 ± 0.8 | A | 100% | ~$0.62 |
| Claude Sonnet 4.5 | 13.2 ± 1.1 | 6.4 ± 1.1 | 6.8 ± 0.4 | A | 100% | $1.94* |
| MiniMax M2.5 | 12.2 ± 1.8 | 6.4 ± 1.6 | 5.8 ± 0.8 | B | 100% | ~$0.31 |
| Claude Haiku 4.5 | 11.3 ± 1.2 | 5.7 ± 1.0 | 5.6 ± 0.6 | B | 100% | $0.63* |
ملخص التكاليف: تكلفة تشغيل جميع الـ26 صفًا مرة واحدة وفقًا للمعايير القياسية بلغت 68.21 دولارًا، وهذا يشمل فقط تكلفة استخدام رموز المزود للتوليد؛ أما عملية التقييم فتتم باستخدام أجهزتنا الخاصة، كما أن فئة المحتوى المناسب للبالغين غير مدرجة هنا وتُسعر بشكل منفصل. اثنا عشر من الـ26 صفًا كلفت أقل من دولار واحد، بمجموع 4.87 دولار؛ بينما شكلت الـ14 صفًا الأخرى 63.34 دولارًا، وكان النموذجان الأغلى تكلفة وهما Claude Fable 5.1 وClaude Fable 5 مسؤولين عن 19.93 دولارًا من ذلك المبلغ. ست قيم من التكاليف تم تقديرها بناءً على عدد الرموز المستخدمة وليس بناءً على الفواتير الفعلية، بينما تحمل ثلاث قيم علامة النجمة لأن بعض الطلبات لم تُرجع بيانات استخدام، لذا فإن التكلفة الإجمالية الحقيقية قد تكون أعلى قليلاً.
ما الذي لا يظهر في اللوحة: هناك 32 صفًا تم تدريبها خصيصًا ونُشغّلت على أجهزتنا الخاصة، وقد وُصفت جميعها في التقرير بأنها غير مكتملة؛ إذ لم تغطِ الاختبارات القياسية كاملةً، لذا لا تحمل أي درجة إجمالية ولا تصنيفًا. فشل أربعة من هذه الصفوف تمامًا: ثلاثة منها رُفضت طلبات استئجار وحدات معالجة الرسومات الخاصة بها، بينما توقف تشغيل صف واحد في منتصف العملية. كما أن هناك ثمانية نماذج مضيفة لا تزال قيد الانتظار: ثلاثة منها لديها عشرون صفًا لم يُقيّمها المُقيّم بعد، بينما رفض مزودو الخدمة خمسة نماذج قبل أن يتم تشغيلها. جميع الصفوف المذكورة أعلاه لا تزال تحمل بعض التقييمات التي أُعطيت وفقًا للنظام السابق، وهي قيد إعادة التقييم، لذا قد تتغير الأرقام قليلاً.
تحمل الصفوف المضيفة أسماء المنتجات الخاصة بها. أربعة وعشرون صفًا تجمع بين نتائج الإصدار 4.0.1 ونتائج تشغيل الإصدار 4.1.0 الحالي؛ كما يدمج كل من DeepSeek V4 Flash وDeepSeek V4 Pro نتائجًا من الإصدار 3.9.0 أيضًا. علامة “~” بجانب التكلفة تعني أن القيمة تم تقديرها بناءً على عدد الرموز بسعر القائمة، بينما تشير علامة النجمة إلى أن بعض الطلبات لم تُرجع بيانات استخدام، لذا قد تكون القيمة أقل من الواقع. أربعة صفوف قيد الانتظار تحمل أسماء نماذج تم إيقافها ولا يتم عرضها في هذا الموقع.
الاستنتاجات المستخلصة من ذلك:
- لا يوجد متفوق واضح. فترات الثقة بنسبة 90% لكل زوج متجاور تحتوي على الصفر، وهذا التعادل يمتد من أعلى صف إلى أسفله، لذا يُعطي التقرير لجميع الـ26 نموذجًا نفس التصنيف. فالفارق بين 19.3 لـ Kimi K3.1 Pro و11.3 لـ Claude Haiku 4.5 هو ثماني نقاط على الورق، لكنه لا يُظهر أي تفاوت في هذا التشغيل؛ لذا يجب اعتبار الترتيب مجرد تقدير تقريبي.
- التكلفة هي المحور الذي يفصل بينهم. تكلفة تشغيل الـ26 صفًا مرة واحدة بلغت 68.21 دولارًا؛ حيث يحصل DeepSeek V4 Flash على 18.8 نقطة مقابل 0.14 دولار فقط، بينما يحصل Claude Fable 5.1 على 16.1 نقطة مقابل 10.23 دولار، أي أنه يحصل على قيمة أقل بـ 85 مرة لكل دولار. اثنا عشر صفًا كلفت أقل من دولار واحد، وأربعة منها حققت درجات تزيد عن 16.
- البرمجة هي التي تحكم القمة، بينما المحادثة لا تفعل ذلك. فقط DeepSeek V4 Flash (11.2) وDeepSeek V4 Pro (10.1) تجاوزتا عتبة الـ10 في قسم البرمجة، وحصل كلاهما على حزمة التحديات الإضافية؛ بينما لم يحقق أي نموذج درجة تزيد عن 10 في قسم المحادثة، حيث كان أفضل درجة هي 9.3 لـ Kimi K3.1 Pro. إذا كنت تنوي دمج النموذج في وكيل ذكاء اصطناعي، فإن عمود البرمجة هو الأهم.
- ميزانية التوليد هي الفلتر الصامت. نفدت ميزانية خمسة صفوف — DeepSeek V4 Pro (5 صفوف)، وDeepSeek V4 Flash (4 صفوف)، وMiniMax M3 وMiniMax M3.1 Flash (صفين لكل منهما)، وClaude Sonnet 4.6 (صف واحد) — ويُعتبر أي صف نفدت ميزانيته فاشلاً في اللوحة. أما الصفوف التي لا تزال قيد إعادة التشغيل، فإن عمود “Room” يضيف درجاتها إلى الحساب: فـ MiniMax M3 حقق 15.5 وMiniMax M3.1 Flash حقق 14.5، وهما أعلى بـ 0.9 من درجاتهما الأصلية؛ بينما لا تزال النتائج الخاصة بـ DeepSeek V4 Flash وClaude Sonnet 4.6 قيد الانتظار.
- فلاتر المزود تؤثر على الدرجات بشكل مباشر. رفضت فلاتر المحتوى لدى المزود إجابات أربعة صفوف — Claude Fable 5 (6 إجابات)، وClaude Opus 5 (2 إجابات)، وClaude Fable 5.1 (2 إجابات)، وClaude Opus 5.5 (إجابة واحدة) — وأي إجابة مُحظرة تُقيّم بـ صفر درجة. كما لم يتمكن المُقيّم من فهم نتيجة واحدة لخمسة صفوف أخرى.
التنزيل
الملف القابل للتنزيل هو bench-llm، وهو الإصدار الأصلي الذي تم التخلي عنه الآن؛ وليس CrucibleForge (الذي يتوفر على GitHub). يحتوي ملف الضغط على ملفين: bench-llm، وهو سكريبت مكون من 1,660 سطرًا، وREADME.md الذي يحتوي على ملاحظات توضيحية حول كيفية الإعداد. لا يوجد شيء يحتاج إلى تجميع أو تثبيت سوى هذين الملفين؛ فقط قم بفك الضغط ثم تشغيلهما. كتب الذكاء الاصطناعي كلا الملفين، وهما مرخصان بموجب رخصة MIT. التبعيات المطلوبة هي openai وrequests. يرجى قراءة القسم الملاحظات الهامة قبل تشغيله على أي جهاز يستضيف خدمات أخرى.
ذات صلة: StudioForge (الخادم المزود ببطاقات الرسوميات الذي تستعير هذه النماذج منه مواردها)، ما هي التكاليف الفعلية لاستخدام وكالات الذكاء الاصطناعي (لماذا يعد سرعة المعالجة المحلية أمرًا مهمًا)، DeepSeek Harness (وكيل البرمجة الذي تدعمه هذه النماذج)، ومجموعة وكالات الذكاء الاصطناعي المحلية التي تعمل بها هذه النماذج.
التنزيلات
مجاني للاستخدام الشخصي. إذا وفّر لك عصرًا كاملًا من الوقت، فزر القهوة قريب منك.
← المزيد من الذكاء الاصطناعي والنماذج المحلية More MakoBench articles →