Qué pruebas realiza MakoBench, y qué no

Ir a: CrucibleForge en GitHub

MakoBench tiene una única función: indicar qué tan buen desempeño tiene un modelo de texto general en dos tareas para las cuales utilizamos dichos modelos. Explicamos claramente qué abarca cada prueba, porque una puntuación solo tiene sentido para aquellos modelos que fueron diseñados para ser evaluados mediante esas pruebas.

¿Qué probamos?

Probamos modelos cuya entrada es texto, cuya salida principal también es texto, y que responden a instrucciones o conversaciones de tipo chat. Esto incluye:

• modelos de chat e instrucción de cualquier tamaño, ya sea ejecutándose localmente o mediante una API alojada;
• modelos de razonamiento, ejecutados tal como sus creadores indican, con el mismo presupuesto de salida que los demás modelos;
• modelos de programación que también pueden conversar. Estos realizan tanto las pruebas de código como las de chat; una puntuación baja en chat es simplemente un resultado, no motivo para descartarlos;
• versiones sin censura, “abliteradas” o ajustadas mediante role-play de los modelos mencionados anteriormente;
• modelos de chat visión-lenguaje, pero solo en las pruebas de texto. En su fila aparece “solo suite de texto”, ya que no medimos qué hacen con imágenes.

Las dos tareas principales son Código y Chat; cada una otorga 10 puntos en las pruebas estándar. El total es la suma de ambas puntuaciones. La tarea “Código” consiste en escribir funciones Python que funcionen, predecir el resultado de fragmentos de código, detectar errores con ayuda de herramientas y utilizar dichas herramientas correctamente. La tarea “Chat” implica role-play y conversaciones: recordar datos, mantener un personaje definido y seguir reglas de escritura. No se trata de una prueba de simple respuesta a preguntas o cumplimiento de instrucciones aisladas; por eso, un modelo puede ser un asistente excelente pero obtener una puntuación media en la categoría Chat. Existe además una prueba independiente de ficción para adultos, que cuenta con su propia pestaña y nunca se incluye en el total.

Lo que no probamos

• Modelos que no generan texto. Generadores de imágenes, videos, voz y música, así como generadores 3D, CAD y de escenas. Las pruebas no pueden puntuar una imagen o un modelo 3D; por lo tanto, cualquier número resultante sería irrelevante.
• Modelos que generan vectores o etiquetas. Modelos de embeddings, reordenadores, clasificadores, y modelos de seguridad, protección o recompensa.
• Herramientas de texto para una sola tarea. Modelos de traducción, generadores de subtítulos, herramientas de conversión de voz a texto y OCR; también modelos entrenados únicamente para resumir o extraer información. Son buenos en algo muy específico que Code y Chat no miden.
• Checkpoints base. Un modelo sin plantilla de chat no puede seguir las instrucciones que envía el conjunto de pruebas.
• Modelos que CrucibleForge no puede ejecutar. El motor verifica primero si puede comunicarse correctamente con un modelo antes de asignarle una puntuación. Si esa verificación falla, el modelo es rechazado.

Cuando una solicitud pertenece a alguno de estos grupos, la rechazamos y dejamos una breve nota en la página de Votaciones; el modelo nunca llega al comité de evaluación. Nunca rechazamos un modelo por ser demasiado grande; eso se trata más adelante. Los modelos que seleccionamos automáticamente también deben contar con una licencia permisiva y no estar restringidos; aun así, podemos añadir uno nosotros mismos.

¿Qué condiciones deben cumplirse para que una fila se clasifique?

• Que toda la suite de pruebas se haya ejecutado. Un modelo con cobertura parcial muestra sus métricas, pero no tiene un total ni una clasificación.
• Que la verificación de compatibilidad haya sido exitosa. Si esta falla, es probable que la configuración de CrucibleForge esté midiendo el modelo de forma incorrecta. La fila permanece visible, marcada con un signo de advertencia y la etiqueta “provisional”; no tiene clasificación y volvemos a ejecutar las pruebas.
• Una fila por modelo. El nivel de cuantización estándar para modelos locales es Q8_0. Si Q8_0 no es compatible con nuestro equipo, utilizamos Q6 y luego Q5; esto se indica en la fila correspondiente. Nunca usamos un nivel inferior a Q5. Una segunda cuantización, o un nivel de servicio más rápido para el mismo modelo alojado, aparece debajo de la fila principal como variante adicional y no se clasifica.
• Las filas antiguas con cuantización por debajo de Q5 permanecen visibles. Se muestra su nivel de cuantización, junto con la nota “por debajo de Q5” en los detalles de la fila. Solo volvemos a probar un modelo con el nivel de cuantización estándar cuando este lidera: ya sea en su tabla correspondiente (Main Bench o la tabla de ficción para adultos), en una columna destacada o dentro de su clase de tamaño.
• Las filas relativas a modelos alojados incluyen la fecha en que se realizaron las pruebas. Un proveedor puede modificar o retirar un modelo bajo el mismo nombre; por eso, una fila de modelo alojado representa una instantánea de su estado en ese momento.

¿Qué puede probar nuestro equipo y qué necesita financiación?

MakoBench se ejecuta en una sola máquina doméstica con cuatro tarjetas gráficas: dos RTX 5090 y dos RTX 3090, lo que suma un total de 112 GB de memoria de video. Probamos cada modelo en formato Q8_0; solo pasamos a Q6 y luego a Q5 cuando el formato Q8_0 no es posible. En la práctica, esto significa que podemos probar modelos de hasta unos 135 mil millones de parámetros, utilizando 32.000 tokens como contexto.

Los modelos más grandes se marcan como No se pueden probar localmente; nunca se rechazan. Si algún servicio alojado puede ejecutar el modelo en formato de 8 bits o mejor, la gente puede financiar la prueba. El objetivo de financiación es aproximadamente cuatro veces el costo máximo que esperamos para dicha ejecución, ya que una prueba remota también requiere configuración, posiblemente un segundo intento, verificación y evaluación en nuestra propia máquina; además, se deducen de ese monto los gastos de pago. Si ningún servicio alojado ofrece el modelo, en la fila correspondiente aparece “Demasiado grande para probar por ahora” y no hay objetivo de financiación; sin embargo, las votaciones siguen contando, y lo probaremos si eso cambia. Si una prueba financiada no puede ejecutarse, o si el modelo resulta ser compatible con nuestro equipo, el dinero se utiliza para llevar a cabo la prueba. El dinero nunca modifica la puntuación de un modelo. Un donativo vinculado a un modelo lo hace ascender dentro de su grupo, pero no altera su puntuación.

¿Por qué tanto cuidado?

Una métrica que clasifica todo acaba clasificando cosas que las pruebas no pueden medir; además, una puntuación que no significa nada es peor que no tener puntuación alguna. Limitar la lista a modelos que se ajusten a las pruebas y clasificar únicamente según mediciones válidas es lo que permite comparar dos valores entre sí. Para saber cómo se generan y se interpretan las puntuaciones, consulte Cómo funciona MakoBench; si desea que un modelo sea sometido a prueba, utilice la página de votación.