MakoBench añade una columna de coste de ejecución

En palabras simples: MakoBench es nuestro tablero público de modelos de lenguaje. Los modelos alojados ahora tienen un coste por ejecución: el precio que cobra el proveedor por una ejecución de las pruebas estándar de Código y Chat. En el caso de los modelos locales, aparece un guion, ya que se ejecutan en nuestro propio hardware. Cuando el filtro de contenido del proveedor bloquea una respuesta, esa información se indica en la fila correspondiente y la puntuación de dicha respuesta es cero.

El tablero cuenta ahora con una nueva columna: Costo de ejecución. Para un modelo alojado, este es el costo total de ejecutar las pruebas estándar de Código y Chat, según el precio publicado por el proveedor; dicho costo incluye tanto los tokens enviados como los tokens devueltos, teniendo en cuenta también el tiempo de procesamiento.

Lo que no se incluye: Conjuntos de pruebas adicionales, reintentos, el sistema de evaluación (que se ejecuta en nuestro propio hardware) y cualquier descuento por uso fuera de horas pico o por uso de caché. La cifra es aproximadamente lo que se pagaría según el precio de lista.
El símbolo ~ antes de un número: El proveedor no cobra por cada token (ofrece un plan fijo), por lo que hemos calculado el costo basándonos en el precio de lista por cada token.
El símbolo * después de un número: En algunas solicitudes no se obtuvieron datos sobre el uso; por eso la cifra podría ser menor de lo real.
Un guion (-): El modelo se ejecutó en nuestro propio hardware. No hay ningún cobro asociado.

En esta misma versión también se introducen las respuestas bloqueadas. Algunos proveedores utilizan filtros de contenido que pueden impedir la devolución de una respuesta. En esos casos, la fila correspondiente muestra un pequeño indicador “bloqueado” y una nota en sus detalles. Una respuesta bloqueada obtiene una puntuación de cero, igual que una respuesta fallida. CrucibleForge detecta estas respuestas en las transcripciones cada vez que se actualiza el sistema, por lo que las ejecuciones futuras quedarán marcadas automáticamente.

Dos actualizaciones en la tabla

Solo las versiones más recientes. Una casilla de verificación, activada por defecto, oculta un modelo cuando existe una versión más nueva del mismo en la tabla; así, Claude Opus 5 queda oculto cuando aparece la versión 5.5. Esta casilla nunca oculta los modelos fine-tune. Cada fila también incluye la etiqueta Basado en, que indica la línea de productos para los modelos alojados y los pesos base para los modelos locales; el filtro funciona en consonancia con esta información.
MAX. Se muestra una pequeña marca “MAX” cuando un modelo ha alcanzado el primer puesto en todos los conjuntos de pruebas de una determinada sección. Como las pruebas no pueden distinguir entre dichos modelos, se necesita un conjunto de pruebas más difícil para esa sección.

La tabla también es más fácil de leer en el teléfono. Ahora los nombres de los modelos se muestran completos; los nombres cortos sustituyen a los nombres de archivo largos, y aparece una indicación cuando la tabla debe desplazarse horizontalmente.

Los detalles se encuentran en la documentación y en Cómo funciona MakoBench.