يضيف MakoBench عمود تكلفة التشغيل

لقد أضيف عمود جديد إلى اللوحة، وهو تكلفة التشغيل. بالنسبة للنماذج المضيفة لدى مزودي الخدمات، فإن هذه التكلفة تمثل ثمن تشغيل اختبارات “الكود” و“الدردشة” القياسية كاملةً، وفقًا للأسعار المنشورة من قبل المزود، مع احتساب عدد الرموز المرسلة والمستلمة أيضًا.

• ما الذي لم يتم احتسابه: مجموعات الاختبارات الإضافية، عمليات إعادة التشغيل، نظام التقييم (الذي يعمل على أجهزتنا الخاصة)، بالإضافة إلى أي خصومات متعلقة بالتخزين المؤقت أو ساعات العمل خارج أوقات الذروة. الرقم الموضح قريب جدًا من التكلفة التي ستدفعها وفقًا للسعر الأساسي.
• الرمز “~” قبل الرقم: لم يقم المزود بفوترة الخدمات حسب عدد الرموز المستخدمة (بل وفق خطة ثابتة)، لذا قمنا بتحديد التكلفة بناءً على السعر الأساسي.
• الرمز “*” بعد الرقم: بعض الطلبات لم تتضمن بيانات استخدام، لذا قد يكون الرقم الموضح أقل من الواقع.
• علامة الشرطة (-): النموذج تم تشغيله على أجهزتنا الخاصة؛ لذلك لا توجد أي فواتير.

كما يشير هذا الإصدار إلى مفهوم الردود المحظورة. بعض مزودي الخدمات يستخدمون فلترًا لمحتوى الردود، وقد يرفض هذا الفلتر إرسال رد في بعض الحالات. الصفوف التي حدث فيها ذلك تحمل علامة “محظور” صغيرة بالإضافة إلى ملاحظة توضيحية. الردود المحظورة تحصل على درجة صفر، تمامًا مثل الإجابات الفاشلة. يقوم CrucibleForge باكتشاف هذه الردود في سجلات المحادثات في كل عملية تحديث، لذا يتم وسمها تلقائيًا في العمليات المستقبلية.

تحديثان للمجلس

• الإصدارات الأحدث فقط. هناك مربع تحديد، مفعّل بشكل افتراضي، يقوم بإخفاء النموذج عندما يكون هناك إصدار أحدث منه على المجلس؛ لذا يتم إخفاء Claude Opus 5 لصالح الإصدار 5.5. ولا يتم إخفاء أي نماذج تم تدريبها بشكل مخصص. كما يحتوي كل صف على علامة “مُبني على”، وهي تشير إلى سلسلة المنتجات الخاصة بالنماذج المستضافة وأوزان النماذج التي يمكن استخدامها محليًا؛ ويقوم الفلتر أيضًا بمطابقة هذه المعلومات.
• MAX. تظهر علامة “MAX” الصغيرة عندما يصل نموذج ما إلى المرتبة الأولى في جميع مجموعات الاختبارات ضمن جزء معين. ولا يمكن للاختبارات التمييز بين هذه النماذج، لذا من الضروري إعداد مجموعة اختبارات أصعب لهذا الجزء.

أصبحت الجدولة أسهل في القراءة على الهواتف أيضًا؛ حيث تُعرض أسماء النماذج بشكل كامل، مع استخدام الأسماء المختصرة بدلاً من أسماء الملفات الطويلة، ويظهر تلميح عندما يتطلب الأمر التمرير الجانبي للجدول.

تفاصيل أكثر في الوثائق وفي صفحة كيفية عمل MakoBench.