Documentação

Como o benchmark funciona, como executar os mesmos testes nos seus próprios modelos e quais mudanças ocorreram no conjunto de testes.

Como a escala evolui

Todo modelo passa pelo mesmo teste padrão; uma execução perfeita gera 10 pontos em cada categoria. Um modelo que atinge pelo menos 90% de pontuação em determinada parte do teste desbloqueia um pacote bônus mais difícil, que adiciona pontos extras. Cada nova revisão do benchmark possui um limite máximo de pontos; um novo pacote aumenta esse limite. Quando os melhores modelos começam a completar um pacote, adicionamos outro ainda mais difícil. Isso garante que haja um único teste compartilhado para todos os modelos, desde pequenos modelos locais até APIs de ponta; nenhum modelo atinge o limite máximo.

Custo de execução

Os modelos hospedados possuem um “Custo de execução” (desativado por padrão; pode ser adicionado na coluna correspondente): trata-se do custo de uma execução dos testes padrão “Code” e “Chat”, calculado com base nos preços divulgados pelo provedor, somando todos os tokens enviados e recebidos em cada solicitação. Esse valor não inclui pacotes bônus, tentativas repetidas, o sistema de avaliação (que roda em nosso próprio hardware) nem descontos por uso fora do horário de pico ou por cache. O símbolo “~” indica que o provedor não cobra por token; portanto, calculamos o custo com base no preço listado. O símbolo “*” significa que algumas solicitações retornaram sem dados de uso. Um traço indica que o modelo foi executado em nosso próprio hardware.

“Built on” e versões mais antigas

Todo modelo possui uma tag “Built on”. Para modelos hospedados, essa tag indica a linha de produtos a que pertencem, como “Claude Opus”; para modelos locais, refere-se aos pesos base com os quais foram treinados, como “Gemma 4 31B”. Assim, um modelo ajustado aparece ao lado do modelo original do qual derivou. A caixa de filtro reconhece tanto essa tag quanto o nome do modelo.

A opção “Apenas versões mais recentes” oculta versões antigas de um determinado modelo quando há uma versão mais nova disponível e ranqueada no quadro de resultados. Essa opção está marcada por padrão, portanto as versões antigas ficam ocultas; desmarque-a para visualizá-las (o sistema lembra sua escolha, e um link para uma linha oculta ainda permite visualizá-la). Quando visíveis, as linhas correspondentes às versões antigas exibem a indicação “versão mais antiga”. Modelos ajustados mantêm o nome do modelo base na coluna “Built on” e nunca são ocultados por essa opção.

MAX

Um modelo pode alcançar a pontuação máxima em todas as categorias de um determinado teste; nesse caso, ele é marcado como “MAX”. Como os testes não conseguem mais diferenciar modelos acima desse nível, é necessário criar um conjunto de testes ainda mais difícil para essa categoria; o nome desse novo conjunto aparece nos detalhes da linha correspondente.

Respostas bloqueadas

O filtro de conteúdo do provedor pode bloquear algumas respostas geradas pelo modelo. A linha correspondente ao modelo indica quantas respostas foram bloqueadas, com uma nota explicativa nos detalhes; cada resposta bloqueada recebe pontuação zero, assim como uma resposta considerada “falha”. O sistema CrucibleForge identifica essas respostas nos registros de execução a cada atualização; dessa forma, futuras execuções também são marcadas automaticamente, sem intervenção manual.

Por que MakoBench?

O tubarão-mako é frequentemente descrito como o tubarão mais rápido do oceano: a Wikipedia menciona velocidades de até 74 km/h, embora as estimativas variem e tais valores sejam difíceis de medir. Criamos este conjunto de testes para que fosse executado rapidamente; o motor de código aberto CrucibleForge realiza todo o trabalho por trás disso.