MakoBench: +Conjunto de testes NSFW

47º lugar entre 56 modelos Na suíte 4.1, o quadro foi publicado em Novembro 2026. Clique no cabeçalho de uma coluna para ordenar; clique na seta ao lado de um nome para ver todos os detalhes daquele modelo; clique no i ao lado de um cabeçalho para saber o que ele significa. Colunas permite escolher o que será exibido; Exportar salva a tabela.

Teste separado de ficção para adultos, com apenas personagens adultos; não faz parte do Total.

Testamos modelos locais em uma única máquina: duas placas de vídeo RTX 5090 e duas RTX 3090, totalizando cerca de 112 GB de memória de vídeo. O avaliador utilizado é o Gemma 4 31B (Q8). Os modelos hospedados são executados por meio de suas próprias APIs. O que o equipamento pode testar

• Total = Código + Chat. 10 em cada um é um desempenho perfeito nos testes padrão; portanto, 20 é a pontuação máxima nominal. Os pacotes bônus adicionam pontos extras, até atingir o máximo possível para o conjunto de testes (as barras na tabela indicam esse limite). A pontuação NSFW é um teste separado (mede até que ponto o modelo lida com conteúdo adulto) e não faz parte do Total. Valores mais altos não significam necessariamente melhor ou pior: escolha o que se adapta ao seu uso.
• Cada pontuação é, nominalmente, 10 nos testes padrão. Uma parte que obtenha 90% ou mais de acertos desbloqueia um conjunto de desafios mais difíceis, que vale 1 ponto; assim, as pontuações em Código, Chat e NSFW podem ultrapassar 10, chegando a 10 mais um ponto por pacote disponível.
• ± Total = metade do intervalo de 90% obtido por bootstrap sobre os casos de teste; modelos cuja distância é menor que isso são estatisticamente empatados.
• Cada modelo é executado uma única vez; portanto, o ± indica quais casos foram selecionados, não o ruído entre execuções, e subestima a verdadeira incerteza. As linhas correspondentes aos mesmos pesos (como os pares “quant” e “serving-tier”) diferem entre si em até 2,4 pontos aqui. Considere diferenças de um ou dois pontos como empates.
• A classe é uma faixa geral em Total: S ≥ 16, A ≥ 13, B ≥ 10, C ≥ 0.
• Lean = tendência para chat ou código quando a diferença em relação à mediana do quadro é de 1,5 pontos ou mais; caso contrário, é equilibrado.
• tok/s = velocidade média de geração; só é comparável entre modelos executados no mesmo host.
• Quant = a quantização que avaliamos. O Q8_0 é o padrão para modelos locais; qualquer outra quantização é marcada como não padrão nos detalhes da linha. API = um modelo hospedado, fornecido pelo seu provedor.
• Custo por execução = quanto custa uma execução dos testes Code e Chat, segundo os preços do provedor, apenas para geração de conteúdo. ~ = valor estimado com base na contagem de tokens e nos preços listados. * indica que algumas solicitações retornaram sem dados de uso; portanto, o valor pode estar subestimado. — = execução feita em nosso próprio hardware, logo não há cobrança.
• N bloqueados = o filtro de conteúdo do provedor bloqueou N respostas; cada uma recebeu nota zero.
• Uma linha por modelo: outros quantificadores e níveis de serviço com os mesmos pesos ficam abaixo da linha principal (abra a seta); eles não são classificados.
• ⚠ Provisório = exibido sem classificação; o motivo está na própria linha (verificação de compatibilidade falhou, testes não concluídos ou pacotes de bônus aguardando nova execução). Uma linha que pode ser executada novamente recebe uma classificação após essa nova execução; as linhas testadas abaixo do nível Q5 e os modelos pequenos demais para todos os testes permanecem sem classificação.
• Um traço em “Total” significa que uma parte da execução daquele modelo (Código, Chat ou um pacote bônus) ainda não foi pontuada; portanto, não está classificada.