MakoBench adiciona uma coluna de custo de execução

Em termos simples: O MakoBench é o nosso painel público de modelos de linguagem. Os modelos hospedados agora têm um custo por execução: o valor de uma execução dos testes padrão de Código e Chat, segundo os preços divulgados pelo provedor. Nos modelos locais, aparece um traço, pois eles são executados em nosso próprio hardware. Quando o filtro de conteúdo do provedor bloqueia uma resposta, isso é indicado na linha correspondente e a pontuação da resposta é zero.

O painel agora possui uma nova coluna, Custo de execução. Para um modelo hospedado, esse é o custo total de uma execução completa dos testes padrão de Código e Chat, com base nos preços divulgados pelo provedor; esse valor inclui todos os tokens enviados e retornados, incluindo também o processamento necessário.

O que não está incluído: conjuntos de testes bônus, tentativas de reexecução, o sistema de avaliação (que roda em nosso próprio hardware) e quaisquer descontos por uso fora do horário de pico ou por uso de cache. O valor apresentado é próximo ao que você pagaria pelo preço de tabela.
~ antes de um número: o provedor não cobra por token (utiliza um plano fixo), então calculamos o custo com base no preço de tabela dos tokens.
* após um número: alguns resultados foram retornados sem dados de uso; portanto, o valor pode estar subestimado.
Um traço (–): o modelo foi executado em nosso próprio hardware. Não há cobrança alguma.

Nesta mesma versão, também foram introduzidos os respostas bloqueadas. Alguns provedores utilizam filtros de conteúdo que podem impedir o retorno de uma resposta. Nesses casos, a linha correspondente exibe um pequeno marcador “bloqueado” e uma nota nos detalhes. Uma resposta bloqueada recebe pontuação zero, igual a uma resposta falha. O CrucibleForge identifica essas respostas nas transcrições a cada atualização; assim, execuções futuras serão marcadas automaticamente.

Duas atualizações no quadro de modelos

Apenas as versões mais recentes. Uma caixa de seleção, ativada por padrão, oculta um modelo quando existe uma versão mais nova dele no quadro; assim, o Claude Opus 5 é substituído pelo 5.5. Essa caixa nunca oculta modelos que foram ajustados posteriormente. Cada linha também exibe a tag Baseado em, indicando a linha de produtos para modelos hospedados e os pesos base para modelos locais; o filtro também leva isso em consideração.
MAX. Uma pequena marca “MAX” aparece quando um modelo alcançou o topo em todos os conjuntos de testes de uma determinada categoria. Como os testes não conseguem distinguir esses modelos, será necessário criar um conjunto de testes mais difícil para essa categoria.

A tabela também ficou mais fácil de ler no celular. Os nomes dos modelos agora são exibidos na íntegra; os nomes curtos substituem os nomes longos dos arquivos. Além disso, uma dica aparece quando a tabela precisa ser rolada horizontalmente.

Os detalhes estão na documentação e em Como o MakoBench funciona.