MakoBench 4.1: ¿Qué cambió?

Ir a: CrucibleForge en GitHub

La Suite 4.1 es una versión de corrección. No añade nuevos casos; simplemente corrige las claves de respuesta de los ya existentes. Dos revisores independientes examinaron cada clave de respuesta pública; verificamos cada una de sus afirmaciones comparándolas con las respuestas ya registradas, y se confirmaron alrededor de 190 problemas. Corregimos esos problemas confirmados que afectan las puntuaciones, salvo dos pequeñas excepciones que se detallan en las limitaciones conocidas; otro grupo de problemas que hoy no modifican ninguna puntuación quedará registrado para el próximo cambio de contenido. Actualmente, la Suite 4.1 ya está vigente: de los 38 modelos evaluados tanto en la versión 4.0 como en la 4.1, 31 mejoraron sus puntuaciones, 5 las redujeron y 2 no experimentaron cambios. Los modelos Chat y Code mostraron variaciones similares. En la versión 4.1, GPT-6.1 Terra, Claude Fable 5.1, DeepSeek V4 Flash, GPT-6 Luna y DeepSeek V4 Pro están estadísticamente empatados en el primer puesto de la clasificación. Kimi K3.1 Pro, Grok 4.7, Claude Opus 5.5, Claude Sonnet 5.5, Grok 4.6, Kimi K3, Claude Opus 5 y Claude Sonnet 5 permanecen sin clasificar hasta que puedan ejecutarse sus paquetes de bonificación; el crédito de API de sus proveedores se agotó. Sus resultados en las pruebas estándar ya están completos y se muestran en sus respectivas filas. Cuatro de los ocho modelos mejor clasificados en la versión 4.0 tampoco tienen clasificación en la 4.1, hasta que se puedan ejecutar sus paquetes de bonificación. Nueve modelos no tienen una puntuación total en la versión 4.1 y se muestran como “parciales”; la lista debajo de la tabla de puntuaciones explica el motivo.

¿Por qué revisamos las claves de respuestas?

Un benchmark solo es tan bueno como sus claves de respuestas. Cada caso de MakoBench incluye una clave: pruebas unitarias ocultas para el código, respuestas esperadas para el uso de herramientas; en el caso del chat, un conjunto de verificaciones textuales y preguntas que un modelo evaluador debe responder respecto a cada respuesta. Una clave puede ser incorrecta de dos maneras: puede aprobar una respuesta errónea, o puede rechazar una respuesta correcta al exigir algo que la tarea nunca pidió.

Después del lanzamiento de la suite 4.0, observamos indicios del segundo caso en las transcripciones almacenadas: modelos potentes que fallaban en las verificaciones a pesar de cumplir exactamente con lo que el usuario solicitaba en la conversación. En lugar de corregir cada caso individualmente a medida que aparecían, revisamos todas las claves a la vez bajo una única regla:

Una clave debe premiar aquello que la descripción de la tarea exige: sin requisitos ocultos, sin exigir más de lo estipulado en la descripción, sin permitir menos de lo necesario; además, el rechazo nunca debe ser considerado una respuesta válida. Lo difícil sigue siendo difícil.

Cómo se realizó la revisión

• Alcance. Todos los casos del Conjunto Principal (código, uso de herramientas y chat), todos los casos de la prueba separada de role-play para adultos, y todo el conjunto adicional público: 63 casos en total.
• Dos lectores independientes. El modelo gpt-6.1-sol de OpenAI y DeepSeek V4 Flash recibieron cada uno el caso completo, sus claves correspondientes y la descripción breve; luego enumeraron todos los problemas que encontraron. Las dos revisiones se realizaron por separado, y ninguno de los lectores rechazó ningún caso. En 13 casos bastante largos, DeepSeek agotó el espacio disponible para la salida; esos 13 casos se enviaron nuevamente con el razonamiento desactivado, y todos fueron procesados correctamente.
• Adjudicación. Los modelos Claude de Anthropic se encargaron de evaluar cada reclamación. Las reclamaciones relacionadas con código se resolvieron ejecutando las soluciones de referencia y las pruebas ocultas. En cuanto a las reclamaciones sobre chat y uso de herramientas, se compararon con las respuestas ya almacenadas para cada modelo; por eso, cada corrección indica qué entradas almacenadas modificaría. Posteriormente, una segunda pasada del modelo Claude Fable verificó nuevamente cada cambio según la regla mencionada.
• Costo. El costo total de las dos lecturas fue de aproximadamente $3.90 en concepto de tarifas de API.
• Fecha. La revisión se realizó los días 7 y 8 de noviembre de 2026. El conjunto de pruebas 4.1 lleva fecha del 8 de noviembre; su línea correspondiente en el tablero indica 4.1.0+04da7abe.

Se confirmaron alrededor de 190 reclamaciones: una crítica, unas 90 importantes y el resto menores o latentes (la distribución por gravedad es aproximada). Unas 95 fueron rechazadas, cada una con su motivo escrito. Ambos revisores también pasaron por alto algunos problemas: el problema en el caso de uso de herramientas TZ20, descrito más abajo, se detectó durante la adjudicación y no fue hallado por ninguno de los dos lectores.

Lo que hemos corregido

Las principales correcciones, con un ejemplo de cada tipo:

• Comprobaciones más estrictas de lo indicado en las instrucciones. En el caso de chat CC4, la ficha del personaje indica al modelo que responda en una sola vuelta con la frase exacta “Rope up.” Se esperaban dos comprobaciones en esa misma vuelta, pero dichas frases no podían contener esa línea. En 35 de las 60 ejecuciones, todos los modelos principales escribieron la línea tal como se indicaba. Esas dos comprobaciones ya no se tienen en cuenta. Correcciones similares eliminaron el límite de palabras que el usuario nunca estableció y las cuotas de vocabulario que las instrucciones nunca solicitaban.
• Claves de respuesta incorrectas respecto al código. En los dos casos de “predecir qué imprime este programa”, CB-C5 y CB-C6, la salida esperada se comparaba sin tener en cuenta mayúsculas y minúsculas. Un modelo que escribió \uD83D cuando el programa imprimía \ud83d fue considerado correcto. Cinco respuestas almacenadas, todas en CB-C6, pasaron de esa manera. Ahora la salida predicha se compara teniendo en cuenta el caso; solo la etiqueta de la pregunta sigue siendo tolerante al respecto.
• Deficiencias en las pruebas ocultas. En CL3 (envoltura de texto), las soluciones basadas en str.split de Python trataban como espacios en blanco a caracteres que las instrucciones no consideraban como tales, y superaban todas las pruebas antiguas. Un nuevo grupo de pruebas ahora detecta este problema. En CL4, una entrada con cero días festivos omitía la validación; cinco modelos que obtuvieron una puntuación perfecta de 1.0 en sus respuestas almacenadas ahora obtienen 0,94 según las nuevas pruebas.
• Preguntas del evaluador que solicitaban algo distinto. En el caso de redacción WR1, el autor pedía un cierre que fuera “una imagen concreta, no una lección”, pero la pregunta del evaluador mencionaba un tipo específico de objeto. Las respuestas basadas en otra imagen concreta se consideraban incorrectas. Ahora la pregunta refleja lo que pidió el autor.
• Un turno del usuario ambiguo. En TZ20, el asistente rechaza correctamente una reserva y ofrece otra. Antes, el siguiente mensaje del usuario comenzaba con “Alright.”; en 17 de las 55 ejecuciones, la mayoría realizadas por modelos potentes, esto se interpretó como un “sí” y se realizó la reserva, lo cual la clave de evaluación marcaba como error. Ahora el mensaje rechaza explícitamente la oferta, de modo que el caso pone a prueba exactamente lo que debía poner a prueba.

También se cerró una laguna en el conjunto de código de bonificación. Una solución de tres líneas podía delegar el trabajo en los propios módulos de Python y obtener la puntuación máxima. Ninguna respuesta almacenada utilizaba este método, por lo que no hubo cambios en las puntuaciones; sin embargo, el conjunto se vuelve a ejecutar bajo las pruebas corregidas.

El rechazo ya no otorga puntos

MakoBench mide lo que hace un modelo cuando se le pide que realice una tarea. Cinco pruebas de seguridad dentro del conjunto de pruebas funcionaban al revés: otorgaban puntos por rechazar una solicitud. Estas han sido eliminadas en la versión 4.1, junto con el mecanismo de puntuación asociado. Ninguna de ellas formaba parte de los casos que evalúa el panel, por lo que no hay cambios en las puntuaciones del mismo.

“Willing”, una columna de la prueba independiente para adultos, mide lo que el modelo escribe cuando se le pide algo. Con la eliminación de estas pruebas y de su mecanismo de puntuación, ahora ningún sistema otorga puntos por rechazar una solicitud.

¿Qué significa esto para las puntuaciones?

El total se calcula sumando las puntuaciones de “Código” y “Chat”. Cada una de ellas se puntúa sobre 10 en las pruebas estándar; además, los paquetes de bonificación pueden añadir más puntos. Cada versión de la batería de pruebas tiene un máximo fijo, incluyendo los paquetes de bonificación; al introducir un nuevo paquete, ese máximo aumenta. Las barras en el tablero reflejan dicho máximo. La prueba específica para adultos nunca se suma al total.

Nuestra estimación, antes de la nueva ejecución: volvimos a puntuar una copia de las respuestas almacenadas aplicando únicamente las nuevas comprobaciones. Según esa estimación, 52 de los 65 modelos para los que tenemos resultados experimentaron un cambio de 0,05 puntos o más en su total; casi todos tuvieron un aumento en la puntuación de Chat, entre +0,2 y +0,5 aproximadamente. En cuanto a “Código”, prácticamente no hubo variaciones en ningún modelo. Entre los pocos casos con disminución, tres corresponden a modelos que ahora incumplen un paso relacionado con el uso de herramientas: obedecieron instrucciones incluidas en los resultados de dichas herramientas o aceptaron cambios en reservas prohibidos por las reglas; otros dos son modelos cuyos puntos de los paquetes de bonificación aún esperan ser evaluados (ver más abajo). Los mismos ocho modelos siguieron ocupando los primeros lugares.

Ya habíamos señalado que el orden podría cambiar. DeepSeek V4 Flash, que quedó primero en la suite 4.0, es el único modelo de alto rendimiento que cuenta con puntos de paquetes de bonificación; además, hubo que volver a ejecutar dos de dichos paquetes. Mientras tanto, nuestra estimación indicaba que su puntuación total bajaría de 19,19 a 18,66, pasando del primer al cuarto puesto. El orden final, tras la ejecución completa, se muestra en la tabla siguiente.

La tabla inferior compara la puntuación de cada modelo en la suite 4.0 con la obtenida en la suite 4.1, tal como aparece en el tablero.

De los 49 modelos comparados: 31 subieron de puntuación, 5 bajaron y 2 permanecieron igual. Las puntuaciones se muestran con un decimal, al igual que en el tablero. “Código” es el total menos “Chat”; cada cifra se redondea por separado, por lo que los cambios en Chat y Código pueden diferir del cambio en el Total en 0,1 puntos. Un guion en la columna de rango significa que el modelo no obtuvo posición alguna en ese tablero.

Nueve de los 49 modelos aún no tienen puntuación total para la versión 4.1; en el tablero aparecen como “parciales”:

• Grok 4.7 — Los paquetes de bonificación esperan ser ejecutados; se agotaron los créditos de API del proveedor antes de que pudieran ejecutarse. Las pruebas estándar ya se completaron.
• Kimi K3.1 Pro — Los paquetes de bonificación esperan ser ejecutados; se agotaron los créditos de API del proveedor antes de que pudieran ejecutarse. Las pruebas estándar ya se completaron.
• Claude Opus 5.5 — Los paquetes de bonificación esperan ser ejecutados; se agotaron los créditos de API del proveedor antes de que pudieran ejecutarse. Las pruebas estándar ya se completaron.
• Claude Sonnet 5.5 — Los paquetes de bonificación esperan ser ejecutados; se agotaron los créditos de API del proveedor antes de que pudieran ejecutarse. Las pruebas estándar ya se completaron.
• Claude Opus 5 — Los paquetes de bonificación esperan ser ejecutados; se agotaron los créditos de API del proveedor antes de que pudieran ejecutarse. Las pruebas estándar ya se completaron.
• Claude Sonnet 5 — Los paquetes de bonificación esperan ser ejecutados; se agotaron los créditos de API del proveedor antes de que pudieran ejecutarse. Las pruebas estándar ya se completaron.
• Qwen2.5 1.5B — Solo se pudieron ejecutar 30 de las 33 pruebas en este modelo, por lo que no tiene puntuación total.
• Qwen2.5 0.5B — Solo se pudieron ejecutar 30 de las 33 pruebas en este modelo, por lo que no tiene puntuación total.
• Gemma 2 2B Abliterated — Solo se pudieron ejecutar 30 de las 33 pruebas en este modelo, por lo que no tiene puntuación total.

Qwen3.8 27B (#24) y Grok Build 0.1 (#13) sí tienen puntuación total para la versión 4.1, pero no la tenían en la 4.0; por eso no aparecen en la comparación anterior (las posiciones indicadas son las de la versión 4.1).

Cómo interpretar esta versión

• Los paquetes de bonificación para Kimi K3.1 Pro, Grok 4.7, Claude Opus 5.5, Claude Sonnet 5.5, Grok 4.6, Kimi K3, Claude Opus 5 y Claude Sonnet 5 aún esperan ser ejecutados; se agotaron los créditos de API de sus proveedores antes de que pudieran ejecutarse. Por ello, estos modelos aparecen sin posición hasta que se vuelva a evaluarlos. Sus pruebas estándar ya se completaron.
• Como esos paquetes no se han ejecutado, en esta versión no aparecen puntos de bonificación para los modelos Grok, Kimi ni Claude 5.x; sus filas muestran únicamente las puntuaciones de las pruebas estándar.
• El evaluador razona antes de emitir su respuesta. En la prueba específica para adultos, aproximadamente la mitad de los fallos provienen del modo de reserva, que responde sin paso de razonamiento cuando este último se queda sin espacio o no devuelve resultado alguno. Este porcentaje es similar en todos los modelos. La Batería Principal no se ve afectada: en “Chat” el razonamiento se desactiva por diseño, y en “Código” la evaluación se realiza mediante pruebas. A partir de la versión 4.5, cada fallo registra qué vía generó dicha respuesta.
• Trece respuestas de código almacenadas resultaron incorrectas únicamente porque alguna prueba superó su límite de tiempo; siete de ellas correspondían a una sola prueba de velocidad CL8. Algunos modelos son verdaderamente lentos; para distinguirlos se requiere una nueva evaluación en una máquina libre, proceso que se incluye en la versión 4.5. Cada error supone como máximo 0,06 puntos de penalización, excepto un caso en Qwen3.8 27B Twin Turbo Fable donde el descuento llega hasta 0,6 puntos.
• Para Celeste 12B v1.6 y Cydonia 22B v1 se volvieron a ejecutar las pruebas con archivos de pesos distintos a los usados en la versión 4.0; por eso su cambio respecto a dicha versión no obedece únicamente a la revisión de claves de respuesta.
• Noromaid 7B v0.1.1 es nuevo en la versión 4.1; aparece como “parcial” (solo se pudieron ejecutar 30 de las 33 pruebas), por lo que no tiene puntuación total.
• Algunos modelos pequeños no muestran puntuación total porque tres pruebas largas de código requieren más contexto del que el modelo puede gestionar. Estas pruebas se marcan como “n/a” en lugar de fallidas; las demás puntuaciones del modelo sí aparecen en su fila.

En el tablero aparecen nuevos modelos en la versión 4.1 (sin puntuación 4.0 para comparar): Grok 4.6 (versión anterior a Grok 4.7, que se muestra cuando está desactivada la opción “Solo versiones más recientes”), Kimi K3 (versión anterior a Kimi K3.1 Pro, también visible con dicha opción desactivada) y Noromaid 7B v0.1.1.

¿Qué se volvió a ejecutar y cómo?

• Nuevas respuestas (5 casos del Banco de Pruebas Principal): CL3, CL4, CB-C5, CB-C6 y TZ20 cambiaron en su contenido; por eso, todos los modelos que aún podíamos ejecutar respondieron a ellos nuevamente.
• Reevaluados (5 casos): En WR1 del Banco de Pruebas Principal y en cuatro casos de la prueba para adultos, se reformularon las preguntas. El juez, Gemma 4 31B (versión “hereje” sin censura, Q8), ejecutado en nuestro propio equipo con GPU, volvió a leer las respuestas almacenadas. No se generó nada nuevo.
• Casos sin cambios: Las respuestas a los casos que no variaron siguen siendo válidas según la versión 4.1 y no se volvieron a ejecutar.
• Repuntuados (todo lo demás que cambió): Al elaborar el informe, se aplicaron nuevamente las verificaciones de texto y las respuestas esperadas a las respuestas ya almacenadas. No hubo llamadas a modelos ni a jueces.
• Conjuntos bonificados: Los conjuntos bonificados son paquetes opcionales más difíciles que un modelo desbloquea al obtener una buena puntuación en los conjuntos estándar. Un conjunto cuyo contenido cambió se volvió a ejecutar para todos los modelos que lo habían desbloqueado (el conjunto de código bonificado y un conjunto de escritura); los conjuntos bonificados cuyas preguntas del juez cambiaron fueron reevaluados.
• Modelos que ya no ofrecemos: Un modelo solo puede volver a ejecutarse si está cargado en nuestro equipo. Doce modelos que habían sido retirados del sistema se restauraron y volvieron a ejecutarse; ninguno tuvo que quedar excluido. Las únicas filas sin un valor total son las de los modelos alojados cuyos paquetes bonificados aún deben ejecutarse, así como los modelos pequeños incapaces de realizar tres pruebas largas de código; ambos aparecen en la tabla de puntuaciones.

El Banco de Pruebas Principal pasó a utilizar la suite 4.1 el 10 de noviembre de 2026. La versión 4.0 se mantiene sin cambios en el historial de suites.

Qué cambió, caso por caso

Debajo de cada caso se explica cómo se actualizó. “Nuevas respuestas” significa que todos los modelos responden al caso nuevamente. “Reevaluado” significa que el juez vuelve a leer las respuestas guardadas junto con las nuevas preguntas. “Repuntuado” significa que solo cambiaron las comprobaciones de texto o las respuestas esperadas, y las respuestas guardadas se puntúan de nuevo.

Código (en el tablero)

Chat (en el tablero)

Prueba separada de juego de rol para adultos (no forma parte del Total)

Conjuntos adicionales (desbloqueados por modelos potentes; no forman parte del tablero estándar)

Eliminados

Limitaciones conocidas

• Los revisores eran modelos. Dos lectores independientes, además de la comparación con respuestas previamente almacenadas, detectan muchos errores, pero no todos. Ambos lectores pasaron por alto el problema TZ20 mencionado anteriormente. Esperamos encontrar más errores y los corregiremos de la misma manera.
• Algunos problemas confirmados se dejaron intencionadamente sin corregir. Existen algunos casos límite en las soluciones de referencia desde el CL5 hasta el CL7 que generan resultados incorrectos con entradas a las que ninguna prueba accede. Además, algunas verificaciones relacionadas con el uso de herramientas se basan en coincidencias de subcadenas de texto. Ninguno de estos problemas afecta actualmente las puntuaciones almacenadas; además, corregirlos implicaría volver a ejecutar todas las pruebas sin beneficio alguno. Se han registrado para ser corregidos en el próximo cambio de contenido.
• Límites de tiempo en la corrección automática. Trece respuestas codificadas almacenadas fueron calificadas como incorrectas simplemente porque una prueba superó su límite de tiempo; siete de ellas correspondían a una prueba de velocidad del CL8. Algunas respuestas son realmente lentas; para distinguirlas se necesitaría una nueva corrección en una máquina ociosa, algo que solo será posible a partir de la versión 4.5. Cada error de este tipo supone un descuento máximo de unos 0,06 puntos, excepto en el caso de una respuesta del modelo Qwen3.8 27B Twin Turbo Fable en el CL7, donde el descuento puede llegar a 0,6 puntos.
• Un error de puntuación conocido que se mantiene sin corregir. En el caso TZ16, un paso relacionado con el uso de herramientas permitió que una respuesta incoherente generada por un modelo pequeño fuera considerada correcta. Esto afecta a un único registro almacenado; sin embargo, corregirlo implicaría volver a ejecutar esa prueba para todos los modelos, por lo que se ha decidido esperar al próximo cambio de contenido.
• Un único modelo evaluador. Las pruebas de chat y las pruebas para adultos siguen dependiendo de un único modelo evaluador. Aunque se puedan reformular las preguntas, esto no influye en la fiabilidad de las respuestas que da dicho modelo.
• ¿Dónde obtenerlo? El paquete 4.1 se incluye en CrucibleForge 4.1.0, lanzado junto con este. CrucibleForge es el motor de código abierto que sustenta a MakoBench.

¿Qué viene después?

La próxima versión del banco de pruebas será la 4.5. Se está desarrollando un evaluador más robusto, además de correcciones para el paquete principal y nuevos paquetes de bonificación. También se están desarrollando nuevos paquetes para la prueba específica para adultos.

Pruébelo usted mismo

MakoBench se ejecuta en CrucibleForge, que es de código abierto. En el artículo Ejecutar CrucibleForge con sus propios modelos se explica cómo realizar pruebas de rendimiento en su propo hardware. Al clonar el repositorio, se ejecuta automáticamente la suite 4.1. La forma de interpretar los resultados se detalla en Cómo funciona MakoBench. El conjunto de datos también está disponible como conjunto de datos en Hugging Face.

Agradecimientos y contacto

Los dos pasos de lectura se ejecutaron mediante las API de OpenAI y DeepSeek; la evaluación, por su parte, utilizó los modelos Claude de Anthropic. El juez funciona en nuestro propio hardware.

Si cree que alguna clave sigue siendo incorrecta, háganoslo saber. Utilice el formulario de comentarios en la página Votar, o escríbanos a makobench@laserlloyd.com. Indíquenos el caso y qué hizo el modelo; lo verificaremos conforme a la misma regla.

El equipo de MakoBench