Desarrollado por CrucibleForge
Noticias y actualizaciones
¿Qué cambió entre las suites? ¿Qué hay de nuevo en la placa? ¿Y qué aprendimos al desarrollarla? Las páginas de instrucciones se encuentran en Documentación.
4 Defectos en el entrenamiento que distorsionaron mis puntuaciones de referencia para el LLM
Un nuevo modelo alojado obtuvo una puntuación inferior a la de su predecesor en nuestra tabla de referencia; esa cifra es en su mayoría real, ya que nuestro harness le restó hasta 1,7 puntos. A continuación se detallan los cuatro defectos, cuánto les costa cada uno, y un archivo zip gratuito para que usted pueda probar su propio harness.
Puntos de referencia de los modelos, casos de uso y configuración: noviembre de 2026
Parámetros de referencia de los modelos, casos de uso y configuración para noviembre de 2026: qué modelo elegir entre los once disponibles para programación, chat o uso en hardware propio; una guía de configuración en cinco pasos para la programación; y cuál es el costo de cada proyecto. Una ejecución estándar cuesta $14,87 para Claude Fable 5.2 y $0,14 para DeepSeek V4.1-Flash-1017.
Prueba de referencia de Claude Fable 5.2: en qué destaca, cuánto cuesta
Claude Fable 5.2 obtiene una puntuación de 25.2 en MakoBench 4.1; ocupa el primer lugar en un empate estadístico. Presenta la mejor puntuación en la categoría de chat (12.7), cuenta con un paquete de funciones autónomas impecable, no rechazó ninguna solicitud y su costo por ejecución es de $14.87.
MakoBench 4.1: ¿Qué cambió?
La Suite 4.1 es una versión de corrección sin casos nuevos. Dos revisores de modelos independientes analizaron todas las soluciones públicas; se confirmaron unos 190 problemas. El proceso de evaluación se repitió: de los 38 modelos evaluados, 31 mejoraron su puntuación tanto en Chat como en Code.
MakoBench Suite 4.0: Nominal 20, Clase y Lean
Suite 4.0 puntúa Code y Chat con un 10 cada uno, en lugar de usar porcentajes; elimina las pruebas más lentas y ruidosas, y añade Class y Lean. A continuación se detallan los cambios introducidos en la versión pública, así como lo que existe en nuestra propia copia de la herramienta pero aún no se ha incluido en ninguna versión oficial.
Mi agente de IA creó una herramienta de evaluación para mis otros agentes de IA.
Nuestro agente de programación creó bench-llm: un código de 1,660 líneas en Python que sirve para evaluar modelos locales en LM Studio. En el transcurso de dos semanas, todos nuestros modelos obtuvieron una puntuación de 5/5; por eso lo reemplazamos por CrucibleForge: un conjunto de 276 casos de prueba, de los cuales 166 son considerados difíciles. CrucibleForge está disponible gratuitamente en GitHub.
MakoBench añade una columna de coste de ejecución
Los modelos alojados en la placa MakoBench ahora muestran cuánto cuesta una ejecución de las pruebas estándar de Código y Chat. Las respuestas bloqueadas por el filtro de contenido del proveedor se marcan en la fila correspondiente y obtienen una puntuación de cero.
Abrir el banco principal Los números detrás de cada página aquí.