MakoBench Suite 4.0: Nominal 20, Clase y Lean

En palabras simples: MakoBench es nuestro panel público de modelos de lenguaje. La Suite 4.0 constituye el conjunto actual de pruebas. El principal cambio es que ahora “Total” representa la suma de las puntuaciones en las categorías “Código” y “Chat” (10 puntos en cada una para una ejecución estándar perfecta; por lo tanto, 20 es la puntuación máxima posible, a la que se pueden añadir puntos adicionales mediante conjuntos de pruebas especiales). Además, todos los modelos fueron sometidos nuevamente a las pruebas. Esta página detalla qué ha cambiado desde la Suite 3.0 y por qué, para que sepan qué valores antiguos siguen siendo relevantes. También describe los lanzamientos públicos de CrucibleForge y marca el resto de modelos.

Ir a: CrucibleForge en GitHub

La Suite 4.1 reemplazó a esta suite el 10 de noviembre de 2026. Consulte MakoBench 4.1: qué cambió. El conjunto de pruebas de la Suite 4.0 se mantiene en el historial de suites.

La Suite 4.0 fue el conjunto de pruebas actual de MakoBench hasta la aparición de la 4.1; fue producida por CrucibleForge 4.0.0, y la versión 4.0.1 corrigió problemas relacionados con el entorno y la plataforma; ambas son versiones públicas. El cambio más importante es que el puntaje Total ahora es de 20 puntos en total, y todas las pruebas se ejecutaron bajo este nuevo sistema. Las puntuaciones de la Suite 3.0, que se medían sobre 100 puntos, también se conservan en el historial de suites, aunque no son comparables.

En resumen:

El puntaje Total es de 20 puntos. Un resultado perfecto en las pruebas estándar implica 10 puntos en Código y 10 en Chat. Los conjuntos de pruebas adicionales otorgan puntos extra, por lo que los puntajes de Código, Chat y Total pueden superar esos valores. Cada versión de las pruebas tiene un máximo fijo; un nuevo paquete puede aumentarlo.
Más rápido y con menos ruido. Las pruebas más lentas y ruidosas se eliminaron del conjunto, y las sesiones de chat largas se acortaron sin perder información alguna.
Dos columnas nuevas: Clase (S, A, B, C) y Tendencia (orientado al chat, orientado al código o equilibrado).
Las pruebas NSFW ahora aparecen aparte. Se muestran junto al tablero de resultados y nunca se incluyen en el puntaje Total.
Algunos desarrollos aún no se han lanzado. Están listados al final, con la indicación correspondiente.

¿Qué hay en la suite 4.0?

En la línea correspondiente a la suite del tablero se indica “4.0.1”, además de un hash de contenido (e3d1c6fb). El hash cambia únicamente cuando el contenido del caso afecta las puntuaciones; esto es lo que permite al tablero saber si una fila está desactualizada. De los 37 modelos que había en el tablero el 4 de noviembre de 2026, 32 cuentan con una puntuación completa; cinco modelos pequeños aún están incompletos y no tienen un valor “Total”. Las puntuaciones se asignaron bajo las versiones 4.0.0 o 4.0.1, que solo difieren en la infraestructura de pruebas; cinco filas todavía muestran una puntuación parcial de 3.9 y así se indica en el tablero. Los cambios más antiguos aparecen primero.

4.0.0: “lite”, lanzado el 31 de octubre de 2026

Total es Código más Chat. El componente “Código” incluye Funciones (5 puntos), Predicción y detección de errores (2,5) y Uso de herramientas (2,5). El conjunto de pruebas de razonamiento, así como algunas pruebas lentas o ruidosas, fueron eliminadas; además, la puntuación separada de razonamiento ya no existe. El componente “Chat” mantiene las mismas pruebas, pero en sesiones más cortas.
Las puntuaciones NSFW permanecen aparte y nunca se suman al total. Tienen su propia pestaña: +NSFW Bench.
Clase y Lean. La “Clase” es una categoría general basada en la puntuación Total: S para 16 o más puntos, A para 13, B para 10, y C para menos de eso. “Lean” compara cuán lejos están las puntuaciones de Chat y Código de los valores medios del conjunto de pruebas; si la diferencia es de 1,5 puntos o más, se marca como anomalía.
Regla de desbordamiento. Una fila que agote el presupuesto de tokens se considera fallida, incluso tras un nuevo intento.
Un único intento de reintento. En lugar de realizar múltiples intentos por modelo, las filas que agotaron el presupuesto se vuelven a probar una sola vez, con un límite de 65,536 tokens, después de que todos los modelos hayan completado su ejecución.
Ejecuciones más cortas. Las pruebas de programación se realizan una sola vez por pregunta; además, varias sesiones de chat multipaso se acortaron fusionando turnos consecutivos del usuario, sin perder ninguna pregunta ni criterio de evaluación. El planificador ahora estima el tiempo de ejecución de un modelo basándose en sus propias filas anteriores.
Licencia: MIT-0. Las versiones hasta la 3.7.0 usaban la licencia MIT.
Primeros conjuntos de bonificación. Un paquete más difícil por cada subpuntuación; es la única forma de superar los 10 puntos.

4.0.1: correcciones en el contenedor y la plataforma (2026-11-01)

La versión 4.0.1 (etiqueta v4.0.1) corrige el test de fumado de la imagen del contenedor: cases verify ya no se bloquea cuando falta el nodo, tal como ocurre en la imagen publicada, y en su lugar reporta esos casos como omitidos. En el registro de cambios también se enumeran correcciones para macOS y Windows, además de un contacto en SECURITY.md. Dichos commits posteriores se encuentran en la rama principal pública, por lo que una clonación nueva los incluye, pero la etiqueta 4.0.1 no. No hubo cambios ni en el contenido de los casos ni en el hash del conjunto de pruebas; por eso las puntuaciones de las versiones 4.0.0 y 4.0.1 aparecen en el mismo tablero.

El juez utilizado para este conjunto de pruebas es Gemma 4 31B (versión “heretica” sin censura, Q8) en nuestro propio equipo con GPU. DeepSeek Flash es un candidato alternativo como juez en CrucibleForge, pero no es el que se emplea aquí. El nombre del juez varía según cada conjunto de pruebas; esta página se actualiza cuando dicho nombre cambia.

Aún no lanzado

Lo siguiente se encuentra en nuestra propia copia de CrucibleForge. No forma parte de un lanzamiento público; por lo tanto, un clon nuevo de la herramienta no lo incluirá, y el registro de cambios público tampoco lo menciona.

Una pregunta de evaluación más justa. En una sesión de role-play para adultos, una pregunta planteaba cuatro cosas a la vez; por eso, una respuesta que incluía todo excepto un detalle se consideraba un error total. Dividimos esa pregunta en varias preguntas separadas y reevaluamos las respuestas almacenadas sin volver a generarlas. Esto no forma parte de la versión 4.0.1; el registro de cambios público no lo menciona.
Repetición del razonamiento del modelo. Algunos proveedores necesitan que el razonamiento del modelo se envíe de vuelta junto con la conversación. Existe un interruptor por proveedor para esto; está activado por defecto únicamente para el proveedor que utiliza la API de MiniMax.
Un requisito por cada pregunta de evaluación. Se trata de una comprobación que rechaza cualquier pregunta de evaluación compuesta si incumple alguno de los criterios establecidos.
Comprobación de conformidad. Es un comando que verifica la configuración solicitada por el modelo mediante unas pocas llamadas sencillas antes de someterlo a pruebas; además, registra qué configuraciones se utilizaron en cada evaluación.
Menú de filtros en cada columna del tablero propio de CrucibleForge. La tabla de MakoBench cuenta con su propia versión de este menú.

Hasta que sean lanzados oficialmente, considere estos elementos como parte de nuestras pruebas, no como funcionalidades que pueda utilizar.

¿Qué significa esto para las cifras?

Comparen las puntuaciones únicamente dentro de la suite 4.0. La versión 3.0 del conjunto de pruebas (que incluye 32 modelos de un total de 100) se encuentra en el historial de suites.
El número de la suite no cambió entre las versiones 4.0.0 y 4.0.1, ya que no hubo modificaciones en el contenido de los casos de prueba.
Lean el margen antes de proceder con el orden establecido. Cómo hacerlo se explica en Cómo funciona MakoBench.

El registro público de cambios se encuentra en el repositorio de CrucibleForge.