ماكوبنش 4.1: ما الذي تغيّر

انتقل إلى: CrucibleForge على GitHub

الحزمة 4.1 هي إصدار تصحيحي؛ فهي لا تضيف أي حالات اختبار جديدة، بل تقوم فقط بتصحيح مفاتيح الإجابات الخاصة بالحالات الموجودة. قام مراجعان مستقلان بمراجعة كل مفتاح إجابة عام؛ ثم تم التحقق من صحة كل مزاعمهما مقارنةً بالإجابات المسجلة مسبقاً، وتم تأكيد وجود حوالي 190 مشكلة تحتاج إلى تصحيح. قمنا بتصحيح هذه المشكلات التي تؤثر على الدرجات، باستثناء حالتين صغيرتين مذكورتين ضمن القيود المعروفة؛ أما المجموعة الأخرى التي لا تؤثر على الدرجات فهي مسجلة لإجراء تعديلات عليها في التحديث القادم. الآن، تم تطبيق الحزمة 4.1: من بين 38 نموذجاً تم تقييمها في كل من الإصدارين 4.0 و4.1، ارتفعت درجات 31 نموذجاً، بينما انخفضت درجات 5 نماذج ولم تتغير درجات نموذجين آخرين. وقد شهدت نماذج Chat وCode تغيرات مماثلة في درجاتها. في الإصدار 4.1، يتعادل من الناحية الإحصائية كل من GPT-6.1 Terra وClaude Fable 5.1 وDeepSeek V4 Flash وGPT-6 Luna وDeepSeek V4 Pro في المرتبة الأولى. أما نماذج Kimi K3.1 Pro وGrok 4.7 وClaude Opus 5.5 وClaude Sonnet 5.5 وGrok 4.6 وKimi K3 وClaude Opus 5 وClaude Sonnet 5 فهي غير مصنفة حالياً لأن رصيد الـ API الخاص بمزوديها قد نفد؛ إلا أن نتائج اختباراتهم القياسية متاحة ومُدرجة في الجدول. كما أن أربعة من بين أفضل ثمانية نماذج في الإصدار 4.0 لم يتم تصنيفهم في الإصدار 4.1 لذات السبب؛ وتسعة نماذج لا تحتوي على درجات كاملة في الإصدار 4.1، وهي مُدرجة كـ “جزئية”؛ ويمكن الاطلاع على أسباب ذلك في القائمة الموجودة أسفل جدول الدرجات.

لماذا قمنا بمراجعة مفاتيح الإجابات؟

إن معيار التقييم لا يكون جيدًا إلا إذا كانت مفاتيح الإجابات الخاصة به دقيقة. كل حالة في MakoBench تأتي مع مفتاح إجابة: اختبارات وحدات برمجية مخفية، وإجابات متوقعة لاستخدام الأدوات، وفي حالة الدردشة فهناك مجموعة من الفحوصات النصية بالإضافة إلى أسئلة يجيب عليها نموذج التقييم بخصوص كل رد. يمكن أن تكون مفاتيح الإجابات خاطئة في اتجاهين: إما أن تقبل إجابة سيئة، أو أن ترفض إجابة جيدة لأنها تطلب شيئًا لم يُطلب أصلًا في المهمة.

بعد إصدار الإصدار 4.0، لاحظنا وجود حالات من النوع الثاني في النصوص المسجلة: نماذج ذكية تفشل في الاختبارات رغم أنها تنفذ بالضبط ما طلبه المستخدم في المحادثة. وبدلاً من إصلاح كل حالة على حدة عند ظهورها، قمنا بمراجعة جميع مفاتيح الإجابات دفعة واحدة وفقًا لقاعدة واحدة:

يجب أن تكافئ مفاتيح الإجابات ما يطلبه النص التوجيهي أو الوصفة؛ لا يجوز وجود متطلبات خفية، ولا يجوز أن تكون الشروط أشد صرامة من المطلوب، ولا يمكن أن تكون أسهل مما يستدعيه الوصف. كما أن رفض الإجابة لا يُعد إنجازًا أبدًا؛ فالصعوبة تظل صعوبة.

كيف تمت المراجعة

• نطاق المراجعة. جميع الحالات في المجموعة الرئيسية (الخاصة بالكود واستخدام الأدوات والمحادثات)، بالإضافة إلى جميع حالات اختبار اللعب الدوري للبالغين، وكل مجموعات المكافآت العامة: أي ما مجموعه 63 حالة.
• قارئان مستقلان. تلقى كل من نموذج OpenAI gpt-6.1-sol ونموذج DeepSeek V4 Flash الحالة بأكملها ومفتاحها ووصفها، ثم قاما بإدراج كل مشكلة لوحظت. تمت عملية المراجعة بشكل منفصل، ولم يرفض أي من القارئين أي حالة. نفدت مساحة الإخراج لدى DeepSeek في 13 حالة طويلة؛ فتم إرسال تلك الحالات مرة أخرى مع إيقاف تشغيل خاصية التبرير، وعادت جميعها.
• التحكيم. قامت نماذج Claude من شركة Anthropic بالبت في كل ادعاء. تم حل الادعاءات المتعلقة بالكود عن طريق تشغيل الحلول المرجعية والاختبارات المخفية. أما الادعاءات المتعلقة بالمحادثات واستخدام الأدوات، فتم البت فيها بناءً على الإجابات المخزنة مسبقًا لكل نموذج؛ وبالتالي يوضح كل تصحيح الصفوف التي سيغيرها. بعد ذلك، قامت نماذج Claude Fable بمراجعة كل تغيير مقابل القواعد المذكورة أعلاه.
• التكلفة. بلغت تكلفة العمليتين حوالي 3.90 دولارات كرسوم لواجهات برمجة التطبيقات.
• التوقيت. تمت المراجعة في 7 و8 نوفمبر 2026. يُشير تاريخ الحزمة رقم 4.1 إلى يوم 8 نوفمبر؛ حيث يظهر في السجل: 4.1.0+04da7abe.

تم تأكيد حوالي 190 ادعاءً: واحد منها خطير، وحوالي 90 ادعاءً كبير الأهمية، والبقية إما ثانوية أو غير واضحة الأثر (التصنيف حسب درجة الخطورة تقريبي). رُفض حوالي 95 ادعاءً، مع تقديم سبب مكتوب لرفض كل منها. كما أغفل القارئان بعض الأمور؛ فالمشكلة الموجودة في حالة استخدام الأدوات TZ20 التي سيتم شرحها لاحقًا، لم يلاحظها أي من القارئين بل تم اكتشافها خلال مرحلة التحكيم.

ما الذي تم إصلاحه

<pالإصلاحات الرئيسية، مع مثال لكل نوع منها:

• تدقيقات أكثر صرامة من المطلوب. في حالة CC4، يطلب بطاقة الشخصية من النموذج أن يرد في جولة واحدة بالنص التالي: "Rope up." وهناك تدقيقان يتوقعان وجود وعود معينة في نفس الجولة، وهو ما لا يمكن أن يحتويه النص المطلوب. في 35 من أصل 60 تشغيلة، كتب جميع النماذج الرئيسية النص كما هو مطلوب؛ لذا لم يعد هذان التدقيقان يُحتسبان. تم إجراء إصلاحات مشابهة لإزالة قيود على استخدام الأحرف الكبيرة لم يطلبها المستخدم، وكذلك حدود على عدد الكلمات لم تُذكر في التعليمات.
• مفاتيح الإجابة البرمجية الخاطئة. في حالتي "توقع ما سيطبعه هذا البرنامج"، CB-C5 وCB-C6، تم مقارنة النتائج المتوقعة دون مراعاة حالة الأحرف. فالنموذج الذي كتب \uD83D بينما يفترض أن يطبع البرنامج \ud83d اعتُبر صحيحاً. خمس إجابات مخزنة، كلها في حالة CB-C6، اجتازت الاختبارات بهذه الطريقة. الآن يتم مقارنة النتائج المتوقعة مع مراعاة حالة الأحرف؛ فقط تسمية السؤال لا تزال غير حساسة لحالة الأحرف.
• ثغرات في الاختبارات المخفية. في CL3 (تنسيق النص)، كانت الحلول التي تعتمد على دالة str.split في بايثون تعتبر أي حرف غير مذكور في التعليمات كمسافة بيضاء، ومع ذلك اجتازت جميع الاختبارات القديمة. مجموعة اختبارات جديدة تكتشف هذه الحالات الآن. أما في CL4، فإن مدخلات تحتوي على صفر أيام عطلة لم تخضع للتحقق؛ خمسة نماذج حصلت على درجة 1.0 كاملة في الاختبارات السابقة، لكنها حصلت على 0.94 فقط في الاختبارات الجديدة.
• أسئلة التقييم التي طلبت أكثر مما هو مطلوب. في حالة WR1، طلب الكاتب نهاية "صورة ملموسة وليست درساً"، لكن سؤال التقييم ذكر نوعاً معيناً من الأشياء. النهايات التي استخدمت صوراً مختلفة اعتُبرت خاطئة. الآن يطلب السؤال ما طلبه الكاتب فعلاً.
• رسالة مستخدم غامضة. في TZ20، رفض المساعد حجزاً واحداً واقترح آخر؛ لكن الرسالة التالية من المستخدم كانت تبدأ بـ "حسناً."، وفي 17 من أصل 55 تشغيلة، اعتبرتها معظم النماذج القوية إجابة إيجابية فقامت بالحجز، وهو ما اعتُبر خطأً في التقييم. الآن ترفض الرسالة العرض صراحةً، لذا يختبر السيناريو ما كان يفترض اختباره أصلاً.

<pكما تم إغلاق ثغرة في مجموعة الكودات المكافئة؛ فحل مكون من ثلاثة أسطر كان يمكنه تفويض المهمة لوحدات بايثون نفسها والحصول على درجة كاملة. لم يستخدم أي حل مخزّن هذه الطريقة، لذا لم تتغير أي درجات، لكن تم إعادة تشغيل الاختبارات على المجموعة وفقاً للقواعد المعدلة.

الرفض لم يعد يُعتبر إيجابية

يقيس مقياس MakoBench ما يفعله النموذج عند طلب تنفيذ مهمة ما. لكن هناك خمسة اختبارات أمان في المجموعة تعمل بطريقة معكوسة؛ فهي تمنح درجات إيجابية للنموذج عندما يرفض تنفيذ الطلب. تم إزالة هذه الاختبارات في الإصدار 4.1، بالإضافة إلى مسار التقييم المرتبط بها. ولم تكن أي من هذه الحالات ضمن الحالات التي يقوم المجلس بتقييمها، لذا لم يتغير شيء في نتائج التقييم.

أما عمود “Willing” في اختبار البالغين المنفصل، فهو يقيس ما سيكتبه النموذج عند طلبه ذلك. وبعد إزالة هذه الاختبارات ومسار التقييم المرتبط بها، لم يعد هناك أي مسار تقييم يمنح درجات إيجابية للرفض.

ماذا يعني ذلك بالنسبة للدرجات

الدرجة الإجمالية هي مجموع درجتي “الكود” و“الدردشة”. كل منهما يُقيّم على مقياس من 10 نقاط في الاختبارات القياسية، ويمكن لمجموعات المكافآت أن تضيف المزيد من النقاط. لكل إصدار من الاختبارات حد أقصى ثابت، بما في ذلك مجموعات المكافآت؛ وإضافة مجموعة مكافآت جديدة يرفع هذا الحد الأقصى، وتصل شريط التقييم إلى ذلك الحد. أما اختبار البالغين المنفصل فلا يُضاف أبدًا إلى الدرجة الإجمالية.

تقديرنا، قبل إعادة التقييم: قمنا بإعادة تقييم نسخة من الإجابات المخزنة باستخدام الفحوصات الجديدة فقط. وفقًا لهذا التقدير، ارتفعت درجة 52 من أصل 65 نموذجًا لدينا بمقدار 0.05 نقطة أو أكثر في الدرجة الإجمالية؛ وكانت جميع هذه الزيادات في تقييم “الدردشة”، بمعدل يتراوح بين +0.2 و+0.5 تقريبًا. أما تقييم “الكود” فظل ثابتًا لدى معظم النماذج. من بين النماذج التي شهدت انخفاضًا، ثلاثة نماذج لم تنجح في إتمام خطوة استخدام الأدوات حيث أطاعت تعليمات وردت في نتائج الأدوات أو وافقت على تغييرات في الحجوزات تخالف القواعد؛ وهناك نموذجان لم يتم تقييمهما بعد في مجموعات المكافآت (يرد ذلك أدناه). ظلت هذه النماذج الثمانية هي الأفضل كما كانت سابقًا.

كنّا قد ذكرنا أن الترتيب قد يتغير. نموذج DeepSeek V4 Flash، الذي احتل المرتبة الأولى في الإصدار 4.0، هو النموذج الوحيد من الطليعة الذي حصل على نقاط مكافآت؛ وكان لا بد من إعادة تقييم مجموعتين من مجموعات المكافآت الخاصة به. خلال فترة انتظار ذلك، قُدّر أن درجته الإجمالية ستنخفض من 19.19 إلى 18.66، مما يجعله يحتل المرتبة الرابعة بدلاً من الأولى. أما الترتيب النهائي بعد إعادة التقييم الكاملة فهو موضح في الجدول أدناه.

<pيقارن الجدول أدناه بين درجة كل نموذج في الإصدار 4.0 ودرجته في الإصدار 4.1، كما تظهر على لوحة التقييم.

<pمن أصل 49 نموذجًا تمت مقارنتها: ارتفعت درجات 31 نموذجًا، وانخفضت درجات 5 نماذج، بينما بقيت درجات نموذجين دون تغيير. تُعرض الدرجات إلى منزلة عشرية واحدة، تمامًا كما في لوحة التقييم. الدرجة الخاصة بـ “الكود” هي الفرق بين الدرجة الإجمالية ودرجة “الدردشة”؛ وتُقرب كل قيمة على حدة، لذا قد يختلف التغير في درجتي “الدردشة” و“الكود” عن التغير في الدرجة الإجمالية بمقدار 0.1 نقطة. علامة الشرطة في عمود الترتيب تعني أن النموذج لم يحصل على ترتيب في تلك اللوحة.

<pتسعة من أصل 49 نموذجًا لا تملك درجة إجمالية في الإصدار 4.1 بعد، ولذلك تظهر على اللوحة كنماذج غير مكتملة:

• Grok 4.7 — مجموعات المكافآت لا تزال في انتظار إعادة التقييم؛ فقد نفد رصيد واجهة برمجة التطبيقات الخاصة بالمزود قبل إجراء التقييم. الاختبارات القياسية قد اكتملت.
• Kimi K3.1 Pro — مجموعات المكافآت لا تزال في انتظار إعادة التقييم؛ فقد نفد رصيد واجهة برمجة التطبيقات الخاصة بالمزود قبل إجراء التقييم. الاختبارات القياسية قد اكتملت.
• Claude Opus 5.5 — مجموعات المكافآت لا تزال في انتظار إعادة التقييم؛ فقد نفد رصيد واجهة برمجة التطبيقات الخاصة بالمزود قبل إجراء التقييم. الاختبارات القياسية قد اكتملت.
• Claude Sonnet 5.5 — مجموعات المكافآت لا تزال في انتظار إعادة التقييم؛ فقد نفد رصيد واجهة برمجة التطبيقات الخاصة بالمزود قبل إجراء التقييم. الاختبارات القياسية قد اكتملت.
• Claude Opus 5 — مجموعات المكافآت لا تزال في انتظار إعادة التقييم؛ فقد نفد رصيد واجهة برمجة التطبيقات الخاصة بالمزود قبل إجراء التقييم. الاختبارات القياسية قد اكتملت.
• Claude Sonnet 5 — مجموعات المكافآت لا تزال في انتظار إعادة التقييم؛ فقد نفد رصيد واجهة برمجة التطبيقات الخاصة بالمزود قبل إجراء التقييم. الاختبارات القياسية قد اكتملت.
• Qwen2.5 1.5B — لم يتمكن النموذج من إجراء سوى 30 اختبارًا من أصل 33، لذا لا يملك درجة إجمالية.
• Qwen2.5 0.5B — لم يتمكن النموذج من إجراء سوى 30 اختبارًا من أصل 33، لذا لا يملك درجة إجمالية.
• Gemma 2 2B Abliterated — لم يتمكن النموذج من إجراء سوى 30 اختبارًا من أصل 33، لذا لا يملك درجة إجمالية.

<pيحمل كل من نموذج Qwen3.8 27B (#24) ونموذج Grok Build 0.1 (#13) درجة إجمالية في الإصدار 4.1، لكنهما لم يملكا أي درجة في الإصدار 4.0؛ ولذلك لا يظهران في المقارنة أعلاه (والترتيب المذكور هو ترتيب الإصدار 4.1).

كيفية فهم هذا الإصدار

• مجموعات المكافآت لا تزال في انتظار إعادة التقييم بالنسبة لكل من Kimi K3.1 Pro وGrok 4.7 وClaude Opus 5.5 وClaude Sonnet 5.5 وGrok 4.6 وKimi K3 وClaude Opus 5 وClaude Sonnet 5؛ فقد نفد رصيد واجهة برمجة التطبيقات الخاصة بالمزودين قبل إجراء التقييم. الاختبارات القياسية قد اكتملت لهذه النماذج.

<pظهرت في اللوحة مع الإصدار 4.1 نماذج جديدة (ولا تملك درجة مقارنة في الإصدار 4.0): Grok 4.6 (إصدار أقدم من Grok 4.7، ويظهر عند إيقاف خيار “الإصدارات الأحدث فقط”)، وKimi K3 (إصدار أقدم من Kimi K3.1 Pro، ويظهر عند إيقاف خيار “الإصدارات الأحدث فقط”)، بالإضافة إلى Noromaid 7B v0.1.1.

ما الذي تم إعادة تشغيله، وكيف؟

• إجابات جديدة (5 حالات في الاختبار الرئيسي): تغير محتوى حالات CL3 وCL4 وCB-C5 وCB-C6 وTZ20، لذا قام كل نموذج لا يزال بإمكاننا تشغيله بالإجابة عليها مرة أخرى.
• إعادة تقييم (5 حالات): تمت إعادة صياغة أسئلة التقييم في حالة WR1 ضمن الاختبار الرئيسي، بالإضافة إلى أربع حالات في اختبار البالغين المنفصل. قامت جيما 4 31B (النسخة غير المقيدة “heretic”، Q8) على أجهزة GPU الخاصة بنا بإعادة قراءة الإجابات المحفوظة؛ لم يتم إعادة توليد أي إجابات.
• الحالات التي لم تتغير: تظل الإجابات المتعلقة بالحالات التي لم تتغير صالحة وفقًا للمجموعة 4.1، ولم يتم تشغيلها مرة أخرى.
• إعادة التقييم (كل ما تغير آخر): تم تطبيق عمليات فحص النصوص والإجابات المتوقعة مرة أخرى على الإجابات المحفوظة عند إعداد التقرير؛ لم يتم استدعاء أي نموذج أو جيما للتقييم.
• مجموعات المكافآت: مجموعات المكافآت هي حزم اختبارية أصعب واختيارية، يمكن للنموذج فتحها عبر تحقيق درجات جيدة في الاختبارات القياسية. تم إعادة تشغيل كل نموذج فتح مجموعة المكافآت التي تغير محتواها (مجموعة الكود ومجموعة الكتابة)؛ أما مجموعات المكافآت التي تغيرت فيها أسئلة التقييم، فقد تم إعادة تقييمها.
• النماذج التي لم نعد ندعمها: لا يمكن إعادة تشغيل أي نموذج إلا إذا كان محملًا على أجهزتنا. تم استعادة اثني عشر نموذجًا تم إزالتها من الأجهزة وإعادة تشغيلها؛ لم يضطر أي منها للبقاء خارج القائمة. الصفوف الوحيدة التي لا تحتوي على قيمة “المجموع” هي تلك المتعلقة بالنماذج المستضافة التي لم يتم بعد تشغيل مجموعات المكافآت الخاصة بها، بالإضافة إلى النماذج الصغيرة غير القادرة على إجراء ثلاثة اختبارات كودية طويلة؛ كل هذه مدرجة ضمن جدول الدرجات.

انتقل الاختبار الرئيسي إلى المجموعة 4.1 في 10 نوفمبر 2026. أما مجموعة الاختبارات 4.0 فلا تزال كما هي في سجل التغييرات.

ما الذي تغير، حالة بحالة

تحت كل حالة، يُوضح كيف تم تحديثها. "إجابات جديدة" تعني أن جميع النماذج أجابت على الحالة مرة أخرى. "أعيد التقييم" تعني أن المقيم قرأ الردود المخزنة مرة أخرى مع الأسئلة الجديدة. "أُعيد التقييم بالنقاط" تعني أن التغييرات اقتصرت على فحوصات النص أو الإجابات المتوقعة، وبالتالي تم تقييم الإجابات المخزنة مرة أخرى.

الكود (على اللوح)

الدردشة (على اللوح)

اختبار منفصل للتمثيل التمثيلي للبالغين (لا يدخل ضمن التقييم الكلي)

مجموعات المكافآت (يتم فتحها بواسطة النماذج القوية؛ غير موجودة على اللوح القياسي)

الحالات المزالة

القيود المعروفة

• المقيمون كانوا نماذج ذكاء اصطناعي. اثنان من القارئين المستقلين بالإضافة إلى عملية التحكيم مقابل الإجابات المخزنة تساعد في اكتشاف الكثير من الأخطاء، لكن ليس كلها. كلا القارئين فاتهما مشكلة TZ20 المذكورة أعلاه. نتوقع العثور على المزيد من الأخطاء، وسنصلحها بنفس الطريقة.
• بعض المشاكل المؤكدة تُركت عمدًا دون تصحيح. هناك بعض الحالات الخاصة في المستويات من CL5 إلى CL7؛ حيث تكون الإجابات المرجعية خاطئة في حالات إدخال لا يتم اختبارها أبدًا، كما أن بعض عمليات التحقق من استخدام الأدوات تعتمد على مطابقة جزء من النص فقط. لا يؤثر أي من ذلك على الدرجات المخزنة حاليًا، وإصلاحهما سيستلزم إعادة التقييم دون فائدة تذكر؛ لذا تم تسجيلهما للتصحيح في التحديث القادم.
• قيود زمنية على عملية التقييم. ثلاثة عشر إجابة برمجية مخزنة فشلت بسبب تجاوز الوقت المسموح به في الاختبارات؛ سبع منها في اختبار سرعة ضمن المستوى CL8. بعض هذه الإجابات بطيئة بالفعل؛ لتمييزها يتطلب إعادة التقييم على جهاز خالٍ من الأعباء، وهو ما يتطلب الإصدار 4.5. تكلفة إعادة التقييم تبلغ حوالي 0.06 نقطة كحد أقصى لكل إجابة، باستثناء إجابة واحدة من المستوى CL7 من نموذج Qwen3.8 27B Twin Turbo Fable التي قد تكلف حتى 0.6 نقطة.
• خطأ في التقييم لم يتم تصحيحه بعد. في حالة TZ16، سمحت خطوة التقييم المتعلقة باستخدام الأدوات بنجاح إجابة غير مترابطة من نموذج صغير. هذا يؤثر على سجل تقييم واحد فقط؛ لكن تصحيحه يتطلب إعادة التقييم لكل النماذج، لذا سيتم ذلك في التحديث القادم.
• مُقيّم واحد فقط. لا يزال اختبار الدردشة والاختبارات المتعلقة بالمحتوى للبالغين يعتمد على نموذج تقييم واحد فقط. إعادة صياغة الأسئلة تغير ما يُطلب من المُقيّم، لكنها لا تؤثر على مدى دقته في الإجابة.
• أين يمكن الحصول عليه؟ يتم شحن حزمة الأدوات 4.1 ضمن إصدار CrucibleForge 4.1.0 الذي تم إطلاقه معها؛ حيث يُعد CrucibleForge المحرك مفتوح المصدر الذي يقف خلف منصة MakoBench.

ما الذي يأتي بعد ذلك

الإصدار التالي من برنامج Bench هو 4.5. يتم حالياً تطوير حكم أقوى، بالإضافة إلى إصلاحات للحزمة الرئيسية وحزم مكافآت جديدة لهذا الإصدار. كما يتم أيضاً تطوير حزم جديدة للاختبار الخاص بالبالغين.

جربه بنفسك

يعمل MakoBench على منصة CrucibleForge، وهي منصة مفتوحة المصدر. يشرح المقال كيفية تشغيل CrucibleForge على نماذجك الخاصة طريقة اختبار النماذج على الأجهزة الخاصة بك. النسخة الجديدة من البرنامج تقوم بتشغيل مجموعة الاختبارات 4.1. أما كيفية فهم نتائج الاختبارات، فيشرحه المقال كيف يعمل MakoBench. كما تم نشر البيانات المستخدمة كـ مجموعة بيانات على Hugging Face.

الشكر والتواصل

تم تشغيل اختباري القراءة باستخدام واجهات برمجة التطبيقات من OpenAI وDeepSeek، بينما استُخدمت نماذج Claude من Anthropic في عملية التقييم. أما أداة التحكيم فتعمل على أجهزتنا الخاصة.

إذا كنت تعتقد أن هناك خطأ ما في تقييم أي حالة، فأخبرنا بذلك. يمكنك استخدام نموذج التعليقات الموجود في صفحة التصويت، أو مراسلتنا على البريد الإلكتروني makobench@laserlloyd.com. يرجى تزويدنا بتفاصيل الحالة والإجراء الذي قام به النموذج، وسنقوم بالتحقق منه وفقاً لنفس القاعدة.

فريق MakoBench