التوثيق

كيف يعمل المعيار، وكيفية تشغيل نفس الاختبارات على نماذجك الخاصة، وكيف تغيرت مجموعة الاختبارات.

كيف يتزايد المستوى الصعوبة

كل نموذج يخضع لنفس الاختبار القياسي، ويحصل النموذج الذي يجتازه بشكل مثالي على درجة 10 في كل فئة. أما النموذج الذي يحقق نسبة 90% على الأقل في جزء معين من الاختبارات، فيحصل على حزمة مكافآت أصعب، مما يضيف له نقاطًا إضافية. لكل إصدار من المعيار حد أقصى للنقاط؛ وعندما تبدأ النماذج الأفضل في اجتياز هذه الحدود، نضيف حزمة اختبارات أصعب. هذا يضمن وجود اختبار موحد لكل النماذج، بدءًا من النماذج المحلية الصغيرة وصولاً إلى أحدث واجهات برمجة التطبيقات، دون أن يتمكن أي نموذج من الوصول إلى الحد الأقصى.

تكلفة التشغيل

النماذج المستضافة لها تكلفة تشغيل (معطلة بشكل افتراضي؛ يمكن تفعيلها من خلال خانات العرض): وهي التكلفة اللازمة لتشغيل اختبارات الكود والدردشة القياسية وفقًا للأسعار المعلنة من قبل مزود الخدمة، مع احتساب إجمالي عدد الرموز المرسلة والمستلمة في كل طلب. لا تشمل هذه التكلفة حزم المكافآت، أو عمليات إعادة المحاولة، أو نظام التقييم (الذي يعمل على أجهزتنا الخاصة)، أو أي خصومات متعلقة بالتخزين المؤقت أو ساعات العمل غير الذروية. الرمز "~" يعني أن مزود الخدمة لا يفرض رسومًا حسب عدد الرموز، لذا قمنا بتحديد التكلفة بناءً على السعر القياسي؛ أما الرمز "*" فيشير إلى أن بعض الطلبات لم تُرجع بيانات استخدام؛ والشرطة "-" تعني أن النموذج يعمل على أجهزتنا الخاصة.

النماذج المبنية عليه والإصدارات الأقدم

لكل نموذج علامة "النموذج المبني عليه". بالنسبة للنماذج المستضافة، فهي تشير إلى خط المنتجات، مثل Claude Opus؛ أما بالنسبة للنماذج المحلية، فهي تشير إلى أوزان التدريب الأساسية التي تم استخدامها، مثل Gemma 4 31B، بحيث يظهر النموذج المُعدّل بجانب النموذج الأصلي. كما أن مربع التصفية يتطابق مع هذه العلامة وكذلك مع اسم النموذج.

خيار "الإصدارات الأحدث فقط" يخفي الإصدارات القديمة من النماذج عند وجود إصدار أحدث من نفس الخط وله تصنيف؛ يتم تفعيل هذا الخيار بشكل افتراضي، لذا تظل الإصدارات القديمة مخفية؛ يمكنك إلغاء التفعيل لرؤيتها (يحفظ النظام اختيارك، ويربط الرابط الصف المخفي أيضًا). عند عرضه، يُشار إلى الإصدار القديم بعبارة "إصدار أقدم"؛ ولا يتم إخفاء النماذج المُعدّلة أبدًا بواسطة هذا الخيار، حيث تحتفظ باسم النموذج الأصلي في عمود "النموذج المبني عليه".

MAX

يمكن لنموذج ما أن يحقق المرتبة الأولى في جميع مجموعات الاختبارات ضمن جزء معين؛ ويُشار إلى ذلك بعلامة MAX. لا تستطيع الاختبارات التمييز بين النماذج التي تتجاوز هذا المستوى، لذا يتم إعداد مجموعة اختبارات أصعب لهذا الجزء، ويظهر اسمها في تفاصيل الصف الخاص بالنموذج.

الردود المحظورة

يمكن لمرشح المحتوى الخاص بمزود الخدمة أن يحظر بعض الردود؛ يُظهر صف النموذج عدد هذه الردود المحظورة مع ملاحظة في تفاصيله، وتُعطى كل رد محظور درجة صفر، تمامًا كالإجابة الفاشلة. يقوم نظام CrucibleForge بالكشف عن هذه الحالات في كل عملية تحديث للبيانات، لذا يتم تسجيلها تلقائيًا دون الحاجة إلى تدخل يدوي.

لماذا MakoBench؟

يُعتبر قرش الماكو ذو الزعانف القصيرة أسرع أنواع القروش في المحيط: تشير ويكيبيديا إلى أن سرعته القصوى تصل إلى حوالي 74 كم/ساعة، رغم اختلاف التقديرات وصعوبة قياس هذه الأرقام بدقة. لذا صممنا مجموعة الاختبارات لتعمل بسرعة فائقة، ويقوم المحرك مفتوح المصدر CrucibleForge بالمهام التقنية في الخلفية.