MakoBench: Banco principal

• Total = Code + Chat. 10 each is a perfect run of the standard tests, so 20 is the nominal top; bonus packs add points on top, up to the suite's most possible (a row's bars run to it).
• ± Total = la mitad del intervalo del 90% de un bootstrap aplicado a los casos de prueba; los modelos que se encuentran más cerca que ese valor se consideran estadísticamente empatados.
• Cada modelo se ejecuta una sola vez; por lo tanto, el ± indica qué casos fueron seleccionados, no el ruido entre ejecuciones, y subestima la incertidumbre real. Las filas correspondientes a los mismos pesos (como los pares “quant” y “serving-tier”) difieren hasta en 2,4 puntos aquí. Considere las diferencias de uno o dos puntos como empates.
• La clase es una categoría general en Total: S ≥ 16, A ≥ 13, B ≥ 10, C ≥ 0.
• Lean = con tendencia al chat o al código cuando la diferencia con la mediana del tablero es de 1,5 puntos o más; de lo contrario, equilibrado.
• tok/s = velocidad media de generación; solo es comparable entre modelos ejecutados en el mismo host.
• Quant = la cuantización que evaluamos. Q8_0 es el estándar para los modelos locales; cualquier otra cuantización se marca como no estándar en los detalles de la fila. API = un modelo alojado, servido por su proveedor.
• Costo por ejecución = cuánto cuesta una ejecución de las pruebas de Código y Chat, según los precios del proveedor, solo para generación. ~ = estimado a partir del conteo de tokens y los precios listados. * indica que algunas solicitudes no devolvieron datos de uso; por lo tanto, la cifra podría ser menor. — = se ejecuta en nuestro propio hardware, así que no hay factura.
• N bloqueados = el filtro de contenido del proveedor bloqueó N respuestas; cada una obtiene una puntuación de cero.
• Una fila por modelo: otros cuantificadores y niveles de servicio con los mismos pesos se ubican debajo de la fila principal (abra la flecha) y no se clasifican.
• ⚠ Provisional = se muestra sin clasificación; el motivo se indica en la fila (una comprobación de compatibilidad fallida, pruebas no finalizadas o paquetes de bonificación pendientes de volver a ejecutarse). Una fila que puede volver a ejecutarse obtiene una clasificación después de hacerlo; las filas cuyas pruebas dieron un resultado inferior a Q5 y los modelos demasiado pequeños para todas las pruebas permanecen sin clasificar.
• Un guion en “Total” significa que una parte de la ejecución de ese modelo (Código, Chat o un paquete de bonificación) aún no ha sido puntuada, por lo que no se clasifica.

¿Eres nuevo aquí? Consulta qué miden las pruebas.