ما الذي تختبره أداة MakoBench، وما الذي لا تختبره؟

انتقل إلى: CrucibleForge على GitHub

مهمة MakoBench واحدة فقط: أن تخبرك بمدى جودة أي نموذج نصي في أداء مهمتين نستخدم النماذج من أجلهما. نوضح ببساطة ما الذي يقيسه الاختبار، لأن الدرجة لا تعني شيئًا إلا بالنسبة للنموذج الذي صُمم الاختبار لقياس أدائه.

ما الذي نختبره

نحن نختبر نموذجًا يكون مدخله نصًا، ومخرجه الرئيسي أيضًا نصًا، ويستجيب لتعليمات أو محادثات من نوع الدردشة. ويشمل ذلك:

• نماذج الدردشة والتوجيه بأي حجم، سواء كانت تعمل محليًا أو عبر واجهة برمجة تطبيقات مضيفة؛
• نماذج التفكير، التي يتم تشغيلها بالطريقة التي يحددها مطوروها، مع نفس حدود الإخراج المتاحة للأنواع الأخرى من النماذج؛
• نماذج البرمجة التي تقوم أيضًا بعمليات الدردشة؛ فهي تخضع لاختبارات الكود واختبارات الدردشة، وإذا كانت درجتها في الدردشة منخفضة، فهذا نتيجة طبيعية وليس سببًا لاستبعادها؛
• النسخ المعدلة من النماذج المذكورة أعلاه والتي تخلو من الرقابة أو تم تعديلها للعب الأدوار؛
• نماذج الدردشة التي تعمل على النصوص والصور، لكننا نختبرها فقط على اختبارات النصوص؛ ويظهر في صفوف هذه النماذج عبارة “اختبارات النصوص فقط” لأننا لم نقيس أداءها مع الصور.

المهمتان الرئيسيتان هما البرمجة والدردشة، حيث يحصل كل منهما على 10 نقاط في الاختبارات القياسية، والمجموع هو مجموع النقطتين. تتضمن مهمة البرمجة كتابة دوال Python تعمل بشكل صحيح، والتنبؤ بما ستطبعه الأكواد، بالإضافة إلى البحث عن الأخطاء واستخدام الأدوات المناسبة بشكل صحيح. أما مهمة الدردشة فهي تتعلق بالتمثيل الدرامي والمحادثات: تذكر الحقائق، والحفاظ على شخصية معينة، والالتزام بقواعد الكتابة. وهذا ليس اختبارًا للإجابة على الأسئلة العادية أو تنفيذ التعليمات بشكل منفرد؛ لذلك يمكن لنموذج أن يكون مساعدًا ممتازًا لكن درجته في الدردشة متوسطة. يوجد اختبار خاص بالقصص الإباحية له صفحة منفصلة، وهو لا يُضاف أبدًا إلى المجموع الكلي.

ما لا نختبره

• النماذج التي لا تخرج نصًا. مولدات الصور والفيديو والصوت والموسيقى، بالإضافة إلى مولدات النماذج ثلاثية الأبعاد والتصميمات الهندسية. لا يمكن للاختبارات تقييم صورة أو نموذج ثلاثي الأبعاد، لذا فإن أي درجة ستكون غير ذات معنى.
• النماذج التي تخرج متجهًا أو تسمية فقط. نماذج التضمين، ونماذج إعادة الترتيب، ونماذج التصنيف، بالإضافة إلى نماذج الأمان والحماية أو المكافآت.
• أدوات النصوص المخصصة لمهمة واحدة فقط. نماذج الترجمة، وأدوات إنشاء التعليقات التوضيحية، وأدوات تحويل الصوت إلى نص ومعالجة النصوص، بالإضافة إلى النماذج المُعدّلة خصيصًا للتلخيص أو استخراج المعلومات. هذه النماذج تتفوق في مهمة واحدة محددة لا تقيسها أدوات Code وChat.
• النقاط المرجعية الأساسية للنماذج. النموذج الذي لا يحتوي على قالب حواري لا يستطيع الاستجابة للطلبات التي ترسلها مجموعة الاختبارات.
• النماذج التي لا يمكن لـ CrucibleForge تشغيلها. يقوم المحرك بالتحقق من قدرته على التواصل مع النموذج بشكل صحيح قبل منحه درجة؛ إذا فشل هذا التحقق، يتم رفض النموذج.

عندما يقع طلب ما ضمن هذه الفئات، نرفضه مع إرفاق ملاحظة قصيرة في صفحة التصويت، ولا يصل النموذج أبدًا إلى اللجنة المختصة. لا نرفض أي نموذج لمجرد كبر حجمه؛ يتم التعامل مع ذلك فيما يلي. كما يجب أن تكون النماذج التي نختارها تلقائيًا مرخصة بشروط مرنة وغير مقيدة؛ ومع ذلك، يمكننا إضافة نموذج بنفسنا.

ما الذي يجب أن يتحقق قبل تصنيف أي صف

• يجب أن يكون قد تم تشغيل الاختبارات بالكامل. النموذج الذي لم يتم اختباره بالكامل يعرض أرقامه، لكن لا يوجد له إجمالي ولا تصنيف.
• يجب أن تجتاز عملية التحقق من التوافق. في حال فشلها، فمن المحتمل أن تكون إعدادات CrucibleForge تقيس النموذج بشكل خاطئ. يظل الصف مرئيًا مع علامة تحذير وعبارة “مؤقت”، ولا يحصل على تصنيف؛ ونقوم بإعادة تشغيل الاختبارات عليه.
• يوجد صف واحد لكل نموج. المعيار القياسي لتقييم النماذج المحلية هو Q8_0؛ وإذا لم يناسب هذا المعيار أجهزتنا، فنستخدم Q6 ثم Q5، ويتم ذكر ذلك في الصف. لا نستخدم أي معيار أقل من Q5 أبدًا. أما المعايير الأخرى أو مستويات الخدمة الأسرع لنفس النموذج المضيف، فتظهر كبدائل تحت الصف الرئيسي ولا يتم تصنيفها.
• الصفوف التي تستخدم معايير أقل من Q5 تظل مرئية. يُعرض المعيار المستخدم في هذه الصفوف، مع ملاحظة “أقل من Q5” في تفاصيل الصف. نقوم بإعادة اختبار هذه الصفوف فقط عندما تحتل المرتبة الأولى: إما على لوحتها الخاصة (Main Bench أو adult-fiction bench)، أو في عمود الترتيب الرئيسي، أو ضمن فئة الحجم الخاصة بها.
• الصفوف المتعلقة بالنماذج المضيفة تحمل تاريخ إجراء الاختبارات. قد يقوم مزود الخدمة بتغيير أو سحب نموذج ما تحت نفس الاسم، لذا فإن الصف المتعلق به يُعتبر لقطة للوضع في ذلك التاريخ.

ما الذي يمكن لجهازنا اختباره، وما الذي يحتاج إلى تمويل

يعمل برنامج MakoBench على جهاز منزلي واحد مزود بأربع بطاقات رسومية: اثنتان من نوع RTX 5090 واثنتان من نوع RTX 3090، بإجمالي 112 جيجابايت من ذاكرة الفيديو. نختبر كل نموذج عند دقة Q8_0، وننزل إلى دقة Q6 ثم Q5 فقط إذا لم يتناسب النموذج مع دقة Q8_0. في الواقع، هذا يعني أننا نستطيع اختبار النماذج التي تحتوي على ما يصل إلى 135 مليار بارامتر، باستخدام 32,000 رمز كسياق للاختبار.

النماذج الأكبر حجمًا تُصنف على أنها لا يمكن اختبارها محليًا، لكن ذلك لا يعني رفضها أبدًا. إذا كان هناك خدمة استضافة تقوم بتشغيل النموذج بدقة 8 بت أو أفضل، فيمكن للناس تمويل الاختبار. الهدف من التمويل هو مبلغ يساوي تقريبًا أربعة أضعاف التكلفة المتوقعة للاختبار، لأن الاختبار عن بُعد يتطلب أيضًا الإعدادات اللازمة، واحتمال إجراء محاولة ثانية، بالإضافة إلى التحقق والتقييم على جهازنا، كما أن رسوم الخدمة تُخصم من هذا المبلغ. إذا لم تتوفر أي خدمة استضافة للنموذج، فإن الصف المخصص له يظهر عبارة “حجم النموذج كبير جدًا لاختباره حاليًا” ولا يوجد هدف تمويلي؛ لكن الأصوات لا تزال محتسبة، وسنقوم باختباره إذا تغير الوضع. إذا لم يمكن إجراء الاختبار الممول، أو إذا اتضح أن النموذج يتناسب مع إمكانيات جهازنا، فإن المال يُستخدم لتشغيل الاختبار. المال لا يؤثر أبدًا على الدرجة النهائية للنموذج؛ أما التبرعات المرتبطة بنموذج معين فتساعده على الصعود في ترتيبه ضمن مجموعته دون تغيير درجته.

لماذا كل هذا الاهتمام؟

المقياس الذي يصنف كل شيء في النهاية يقوم بتصنيف أشياء لا يمكن للاختبارات قياسها، والدرجة التي لا تحمل أي معنى أسوأ من عدم وجود درجة على الإطلاق. الحفاظ على قائمة التصنيف مقتصرة على النماذج التي تتناسب مع الاختبارات، وتصنيف القياسات العادلة فقط، هو ما يسمح بمقارنة رقمين فيها. لمعرفة كيفية حساب الدرجات وقراءتها، راجع كيف يعمل MakoBench، وإذا أردت اختبار نموذج ما، فاستخدم صفحة التصويت.