MakoBench: +Banco NSFW

47 puesto de 56 modelos En la suite 4.1, el tablero se publicó el Noviembre 2026. Haga clic en el encabezado de una columna para ordenarla, en la flecha junto a un nombre para ver todos los detalles de ese modelo, y en la i junto a un encabezado para saber qué significa. Columns permite elegir qué se muestra; Export guarda la tabla.

Prueba separada de ficción para adultos con personajes exclusivamente adultos; no forma parte de Total.

Probamos los modelos locales en una sola máquina: dos tarjetas gráficas RTX 5090 y dos RTX 3090, lo que suma unos 112 GB de memoria de video. El evaluador utilizado es Gemma 4 31B (Q8). Los modelos alojados se ejecutan a través de sus propias API. Qué puede probar el equipo

• Total = Código + Chat. 10 en cada uno de ellos representa un desempeño perfecto en las pruebas estándar; por lo tanto, 20 es la puntuación máxima nominal. Los paquetes de bonificación añaden puntos adicionales, hasta alcanzar el límite posible del conjunto de pruebas (las barras correspondientes se llenan hasta ese punto). La puntuación NSFW corresponde a una prueba aparte (mide hasta qué punto el modelo maneja contenido para adultos) y no forma parte del Total. Un valor más alto no significa mejor o peor: elija el que se adapte a sus necesidades.
• En las pruebas estándar, cada puntuación es, en teoría, 10. Si una parte obtiene un 90 % o más, se desbloquea un conjunto de bonificaciones más difícil, que vale 1 punto; por lo tanto, las puntuaciones de Código, Chat y NSFW pueden superar los 10, llegando hasta 10 más un punto por cada paquete del conjunto.
• ± Total = la mitad del intervalo del 90% de un bootstrap aplicado a los casos de prueba; los modelos que se encuentran más cerca que ese valor se consideran estadísticamente empatados.
• Cada modelo se ejecuta una sola vez; por lo tanto, el ± indica qué casos fueron seleccionados, no el ruido entre ejecuciones, y subestima la incertidumbre real. Las filas correspondientes a los mismos pesos (como los pares “quant” y “serving-tier”) difieren hasta en 2,4 puntos aquí. Considere las diferencias de uno o dos puntos como empates.
• La clase es una categoría general en Total: S ≥ 16, A ≥ 13, B ≥ 10, C ≥ 0.
• Lean = con tendencia al chat o al código cuando la diferencia con la mediana del tablero es de 1,5 puntos o más; de lo contrario, equilibrado.
• tok/s = velocidad media de generación; solo es comparable entre modelos ejecutados en el mismo host.
• Quant = la cuantización que evaluamos. Q8_0 es el estándar para los modelos locales; cualquier otra cuantización se marca como no estándar en los detalles de la fila. API = un modelo alojado, servido por su proveedor.
• Costo por ejecución = cuánto cuesta una ejecución de las pruebas de Código y Chat, según los precios del proveedor, solo para generación. ~ = estimado a partir del conteo de tokens y los precios listados. * indica que algunas solicitudes no devolvieron datos de uso; por lo tanto, la cifra podría ser menor. — = se ejecuta en nuestro propio hardware, así que no hay factura.
• N bloqueados = el filtro de contenido del proveedor bloqueó N respuestas; cada una obtiene una puntuación de cero.
• Una fila por modelo: otros cuantificadores y niveles de servicio con los mismos pesos se ubican debajo de la fila principal (abra la flecha) y no se clasifican.
• ⚠ Provisional = se muestra sin clasificación; el motivo se indica en la fila (una comprobación de compatibilidad fallida, pruebas no finalizadas o paquetes de bonificación pendientes de volver a ejecutarse). Una fila que puede volver a ejecutarse obtiene una clasificación después de hacerlo; las filas cuyas pruebas dieron un resultado inferior a Q5 y los modelos demasiado pequeños para todas las pruebas permanecen sin clasificar.
• Un guion en “Total” significa que una parte de la ejecución de ese modelo (Código, Chat o un paquete de bonificación) aún no ha sido puntuada, por lo que no se clasifica.