Desenvolvido por CrucibleForge
Notícias e atualizações
O que mudou entre as suítes, o que há de novo no quadro e o que aprendemos ao desenvolvê-lo. As páginas de instruções encontram-se em Documentação.
4 Defeitos que distorceram as minhas pontuações nos testes de benchmark do LLM
Um novo modelo hospedado teve uma pontuação inferior à do seu antecessor no nosso quadro de avaliação; esse valor é, na maior parte, real — nosso “harness” ainda lhe custou até 1,7 pontos. Eis os quatro defeitos, o custo de cada um deles, e um arquivo zip gratuito que permite verificar seu próprio “harness”.
Benchmarks de modelos, casos de uso e configuração: novembro de 2026
Benchmarks de modelos, casos de uso e configuração para novembro de 2026: qual dos onze modelos escolher para programação, chat ou para ser instalado em seu próprio hardware; uma configuração de programação em cinco etapas; e quanto custa um projeto. Uma execução padrão custa $14,87 para o Claude Fable 5.2 e $0,14 para o DeepSeek V4.1-Flash-1017.
Benchmark do Claude Fable 5.2: onde ele se destaca, quanto custa
O Claude Fable 5.2 obteve uma pontuação de 25,2 no MakoBench 4.1, ficando em primeiro lugar num empate estatístico. Ele possui a melhor pontuação em chat (12,7), um pacote agentic perfeito, não recusou nenhuma solicitação, e custa $14,87 por execução.
MakoBench 4.1: O que mudou
A Suite 4.1 é uma versão de correção sem novos casos. Dois revisores de modelos independentes analisaram todas as chaves de respostas públicas; cerca de 190 problemas foram confirmados. O processo de avaliação foi executado novamente: 31 dos 38 modelos avaliados tiveram um desempenho melhor nos dois testes, tanto no Chat quanto no Code.
MakoBench Suite 4.0: Nominal 20, Classe e Lean
O Suite 4.0 atribui uma pontuação de 10 tanto para o Code quanto para o Chat, em vez de usar porcentagens; ele também elimina os testes mais lentos e barulhentos, além de adicionar os módulos Class e Lean. A seguir, estão as alterações feitas na versão pública, bem como os recursos que existem na nossa própria cópia da ferramenta, mas ainda não foram incluídos na versão oficial.
Meu Agente de IA Criou uma Ferramenta de Benchmarking para os Meus Agentes de IA
O nosso agente de programação escreveu o bench-llm: são 1.660 linhas de código Python que servem para fazer benchmark dos modelos locais no LM Studio. Em duas semanas, todos os nossos modelos obtiveram nota 5/5; por isso, substituímos esse programa pelo CrucibleForge: 276 casos de teste, sendo 166 considerados difíceis. O CrucibleForge é gratuito no GitHub.
MakoBench adiciona uma coluna de custo de execução
Os modelos hospedados na placa MakoBench agora mostram qual é o custo de uma execução dos testes padrão de Código e Chat. As respostas bloqueadas pelo filtro de conteúdo do provedor são marcadas na linha correspondente, recebendo nota zero.
Abrir Bancada Principal Os números por trás de cada página aqui.