مدعوم بـ CrucibleForge
أخبار وتحديثات
ما الذي تغير بين الحزم، وما الجديد في اللوحة، وما الذي تعلمناه أثناء بنائها. توجد صفحات الإرشادات تحت قسم التوثيق.
٤ عيوب في النظام أدت إلى تشويه نتائج اختبارات الأداء للنموذج اللغوي الخاص بي
حقق النموذج المستضاف الجديد نتائج أقل من النموذج الأقدم في لوحة المقاييس لدينا، وكان الرقم صحيحًا إلى حد كبير؛ فما زال نظام الاختبار الخاص بنا يخصم منه ما يصل إلى 1.7 نقطة. فيما يلي العيوب الأربعة، وتكلفة كل منها، بالإضافة إلى ملف مضغوط مجاني لفحص نظام الاختبار الخاص بك.
مقاييس النماذج، حالات الاستخدام والإعداد: نوفمبر 2026
مقاييس أداء النماذج، حالات الاستخدام وإعداداتها لشهر نوفمبر 2026: أي من بين الأنماط الأحد عشر يجب اختياره للبرمجة أو الدردشة أو استخدامه على الأجهزة الخاصة بك؛ بالإضافة إلى إرشادات لإعداد بيئة البرمجة في خمس خطوات، وتكلفة تنفيذ المشاريع. تبلغ تكلفة التشغيل العادي للنموذج Claude Fable 5.2 مقدار 14.87 دولارًا، بينما تبلغ تكلفة تشغيل نموذج DeepSeek V4.1-Flash-1017 حوالي 0.14 دولارًا.
معيار Claude Fable 5.2: في أي المجالات يتفوق، وما هي تكاليفه
يحقق كلود فابل 5.2 نتيجة 25.2 في اختبار MakoBench 4.1، وهو في المرتبة الأولى ضمن مجموعة من النماذج التي حققت نفس النتيجة إحصائيًا. يحظى هذا النموذج بأفضل درجة في مجال الدردشة (12.7)، كما أنه يتميز بأداء مثالي كوكيل ذكي؛ لم يرفض أي طلبات على الإطلاق، وتكلفة تشغيله تبلغ 14.87 دولار لكل مرة.
ماكوبنش 4.1: ما الذي تغيّر
الإصدار 4.1 هو إصدار تصحيحي لا يحتوي على حالات جديدة. قام مراجعان مستقلان للنماذج بمراجعة كل مفاتيح الإجابات العامة؛ تم التأكد من صحة حوالي 190 مسألة، وتم إعادة تشغيل اللوحتين: ارتفعت درجات 31 نموذجًا من أصل 38 تم تقييمها على كلا اللوحتين، في كل من قسمي الدردشة والكود.
حزمة MakoBench 4.0: القياسي 20، الفئة والخفيف
يُعطي إصدار Suite 4.0 درجتين 10 لكل من “الكود” و“الدردشة” بدلاً من النسب المئوية، كما يستبعد أبطأ الاختبارات وأكثرها ضجيجًا، ويضيف خياري “Class” و“Lean”. فيما يلي التغييرات التي طرأت في الإصدار العام، وما يوجد في نسختنا الخاصة من الأداة ولكن لم يُطرح بعد في الإصدار.
أطلق وكيل الذكاء الاصطناعي الخاص بي أداة للمقارنة لأجل وكلات الذكاء الاصطناعي التابعة لي.
كتب وكيل البرمجة لدينا برنامج “bench-llm”؛ وهو عبارة عن 1,660 سطرًا من كود بايثون يُستخدم لقياس أداء النماذج المحلية في برنامج LM Studio. خلال أسبوعين، حققت جميع نماذجنا درجة 5/5، لذا استبدلنا ذلك البرنامج ببرنامج CrucibleForge الذي يحتوي على 276 حالة اختبار، منها 166 حالة صعبة؛ وهو متاح مجانًا على GitHub.
يضيف MakoBench عمود تكلفة التشغيل
تُظهر النماذج المضيفة على لوحة MakoBench الآن تكلفة تشغيل واحد من اختبارات Code وChat القياسية. يتم تمييز حالات حظر مرشح المحتوى من قبل مزود الخدمة في الصف ويكون التقييم صفرًا.
فتح المنصة الرئيسية الأرقام خلف كل صفحة هنا.