MakoBench Suite 4.0: Nominal 20, Classe e Lean

Em termos simples: O MakoBench é o nosso quadro de avaliação público para modelos de linguagem. A Suite 4.0 representa o conjunto atual de testes. A principal mudança é que agora o “Total” corresponde à soma de “Code” e “Chat” (10 pontos para cada um numa execução padrão perfeita; portanto, 20 é a pontuação máxima possível, com bônus adicionais). Antes, a pontuação era calculada em uma escala de 100. Todos os modelos foram reavaliados. Esta página lista as alterações desde a Suite 3.0 e seus motivos, para que você saiba quais valores antigos ainda são relevantes. Ela também descreve os lançamentos públicos do CrucibleForge e identifica os demais.

Ir para: CrucibleForge no GitHub

O Pacote 4.1 substituiu este pacote em 10 de novembro de 2026. Consulte MakoBench 4.1: o que mudou. A versão 4.0 do pacote permanece disponível no histórico dos pacotes.

O Pacote 4.0 foi o conjunto de testes atual do MakoBench até a chegada da versão 4.1; foi produzido pelo CrucibleForge 4.0.0, com a versão 4.0.1 trazendo correções relacionadas ao ambiente e à plataforma; ambas são versões públicas. A principal mudança foi: o valor total agora é 20 (Código + Chat), e todas as avaliações foram refeitas com base nesse critério. As pontuações do Pacote 3.0, que eram calculadas em uma escala de 100 pontos, também constam no histórico dos pacotes, mas não são comparáveis com os novos valores.

Resumindo:

O valor total é, nominalmente, 20. Código 10 mais Chat 10 representam um desempenho perfeito nos testes padrão. Conjuntos de testes bônus adicionam pontos extras; assim, os valores de Código, Chat e Total podem ultrapassar 10, 10 e 20, respectivamente. Cada versão dos testes possui um limite máximo fixo; novos pacotes podem aumentá-lo.
Testes mais rápidos e menos “ruidosos”. Os testes mais lentos e que geravam mais interferências foram removidos, e as sessões de chat longas foram encurtadas, mantendo-se todos os critérios de avaliação.
Duas novas colunas: “Classe” (S, A, B, C) e “Equilíbrio” (focado em chat, focado em código ou equilibrado).
Testes NSFW foram retirados da avaliação principal. Eles permanecem listados ao lado do quadro de resultados, mas nunca são incluídos no cálculo do valor total.
Alguns aperfeiçoamentos ainda não foram lançados. Eles aparecem na parte inferior da lista, devidamente identificados como tal.

O que há no suite 4.0?

A linha do suite no quadro indica “4.0.1” mais um hash de conteúdo (e3d1c6fb). O hash muda somente quando o conteúdo do caso afeta as pontuações, sendo assim que o quadro identifica que uma linha está desatualizada. Dos 37 modelos no quadro em 04/11/2026, 32 possuem uma pontuação completa; cinco modelos menores ainda estão incompletos e não têm nenhuma pontuação total. As linhas foram pontuadas sob as versões 4.0.0 ou 4.0.1, que diferem apenas na infraestrutura de testes; cinco linhas ainda exibem uma pontuação parcial de 3.9 e são sinalizadas como tal no quadro. As alterações mais antigas aparecem primeiro.

4.0.0: “lite”, lançado em 31/10/2026

Total é o somatório de Code e Chat. O componente Code inclui Funções (5 pontos), Previsão e detecção de erros (2,5) e uso de ferramentas (2,5). O conjunto de testes de raciocínio, além de alguns testes lentos ou ruidosos, foram removidos; a pontuação separada de Raciocínio também deixou de existir. O Chat mantém os mesmos critérios de avaliação, porém em sessões mais curtas.
As pontuações NSFW permanecem ao lado da tabela e nunca são somadas ao total. Elas têm sua própria aba: +NSFW Bench.
Class e Lean. Class é uma classificação geral baseada no Total: S para 16 pontos ou mais, A para 13, B para 10 e C para valores abaixo disso. Lean compara o quanto as pontuações de Chat e Code de um modelo se afastam das médias da tabela; uma diferença de 1,5 pontos ou mais gera um alerta.
Regra de estouro de orçamento. Uma linha que ultrapassar o limite de tokens é considerada como falha na tabela, mesmo após uma nova tentativa.
Apenas uma tentativa de reexecução. Em vez de tentar novamente por modelo, as linhas que excederam o orçamento são reexecutadas uma única vez, com limite de 65.536 tokens, após todos os modelos terem feito sua execução inicial.
Execuções mais curtas. As tarefas de programação são executadas uma vez por pergunta; várias sessões de chat com múltiplas interações foram encurtadas ao unir turnos consecutivos do usuário, mantendo todas as perguntas e critérios de avaliação. O planejador agora estima o tempo de execução de um modelo com base em linhas anteriores.
Licença: MIT-0. As versões até 3.7.0 usavam a licença MIT.
Primeiros conjuntos de bônus. Um pacote mais difícil para cada sub-pontuação; essa é a única forma de ultrapassar a marca dos 10 pontos.

4.0.1: correções de contêiner e plataforma (2026-11-01)

A versão 4.0.1 (tag v4.0.1) corrige o teste de fumaça do contêiner: cases verify não trava mais quando o nó necessário está ausente, como acontece na imagem publicada; nesses casos, o sistema reporta que os testes foram ignorados. O registro de alterações também menciona correções para macOS e Windows, além de um contato no SECURITY.md. Esses commits posteriores encontram-se no branch principal público, após a criação da tag; portanto, um clone novo os inclui, mas a tag em si não. Nenhum conteúdo dos casos de teste nem o hash do conjunto de testes foi alterado, motivo pelo qual as pontuações das versões 4.0.0 e 4.0.1 aparecem no mesmo quadro de resultados.

O avaliador utilizado neste conjunto de testes é o Gemma 4 31B (versão “heretic” não censurada, Q8), rodando em nosso próprio equipamento com GPU. O DeepSeek Flash serve como candidato alternativo no CrucibleForge, mas não foi o avaliador utilizado aqui. O nome do avaliador é exibido para cada conjunto de testes; esta página é atualizada sempre que esse nome muda.

Ainda não lançado

O seguinte está presente em nossa própria cópia do CrucibleForge. Não faz parte de um lançamento público; portanto, um novo clone da ferramenta não o conterá, e o registro de alterações público também não o menciona.

Questões de julgamento mais justas. Uma questão de julgamento em uma sessão de role-play para adultos pedia quatro coisas ao mesmo tempo; assim, uma resposta que incluía tudo exceto um detalhe era considerada uma falha total. Dividimos essa questão em várias perguntas separadas e reavaliamos as respostas armazenadas, sem precisar regenerá-las. Isso não faz parte da versão 4.0.1; o registro de alterações público não o menciona.
Repetição do raciocínio do modelo. Alguns provedores necessitam que o raciocínio do modelo seja enviado de volta junto com a conversa. Existe um recurso para isso, ativado por padrão apenas para o provedor que utiliza a API da MiniMax.
Uma exigência por questão de julgamento. Um mecanismo de verificação que rejeita questões de julgamento compostas que contenham múltiplos critérios de avaliação.
Verificação de conformidade. Um comando que testa as configurações solicitadas pelo modelo por meio de algumas chamadas simples antes de o modelo ser submetido aos testes; esse comando também registra quais configurações foram utilizadas em cada teste.
Menu de filtros em todas as colunas do painel do próprio CrucibleForge. A tabela do MakoBench possui sua própria versão desse recurso.

Até que esses recursos sejam lançados oficialmente, considere-os apenas como parte de nossos testes, e não como funcionalidades que você possa utilizar.

O que isso significa para os números

Compare apenas as pontuações dentro da suíte 4.0. O conjunto de testes 3.0 (32 modelos, de um total de 100) encontra-se no histórico das suítes.
O número da suíte não mudou entre as versões 4.0.0 e 4.0.1, pois nenhum conteúdo dos casos de teste foi alterado.
Leia a margem antes de efetuar o pedido. Como fazer isso está descrito em Como o MakoBench funciona.

O registro público de alterações encontra-se no repositório do CrucibleForge.