Benchmarks de modelos, casos de uso e configuração: novembro de 2026

Ir para: CrucibleForge no GitHub

Qual modelo de linguagem você deve usar em novembro de 2026, e como configurá-lo? Testamos onze modelos nos mesmos testes do MakoBench 4.1. Este guia indica o modelo ideal para cada tarefa, apresenta as pontuações em uma única tabela, descreve um processo de configuração em cinco etapas para programação e informa quanto custa um projeto.

A resposta curta

Comece pelo tipo de tarefa a ser executada. Cada cartão indica o modelo que recomendamos e o custo de uma execução padrão do mesmo no sistema.

Escolha conforme a tarefa

• Programação, melhor resultadoClaude Fable 5.2Maior pontuação nos testes; superou todos os desafios$14,87 por execução
• Programação com orçamento limitadoDeepSeek V4.1-Flash-1017Pontuação máxima nos testes padrão de programação$0,14 por execução
• Chat ou suporte ao usuárioGPT-6.1 TerraExcelente para conversas; é o modelo mais rápido do conjunto$0,63 por execução
• Deve ser executado no seu próprio hardwareSwish 31B FinalO melhor modelo local disponívelSem custos de API
• Um único modelo para tudoGrok 4.7Está entre os cinco melhores; ótimo para conversas e custa um quarto do preço do Fable$3,91 por execução

Se você se lembrar de apenas uma coisa: os cinco melhores modelos têm desempenho semelhante. Portanto, pague pelo modelo mais caro somente quando ele for capaz de realizar algo que os modelos mais baratos não conseguem. Neste guia, isso se aplica ao planejamento e à revisão de código.

O conselho de novembro de 2026

O valor “Total” é a soma dos resultados de “Trabalho” e “Chat”. Os testes padrão atribuem até 10 pontos para cada um; pacotes de bônus desbloqueados por um modelo adicionam mais pontos, portanto o total pode ultrapassar 20. Os “Testes de agente” indicam a proporção de tarefas de programação multietapas que o modelo concluiu com sucesso. O “Custo por execução” refere-se ao preço de uma execução padrão no provedor. O símbolo “~” ao lado do valor do MiniMax indica que o preço é calculado com base na quantidade de tokens, já que esse modelo oferece um plano fixo.

O que a tabela revela:

• Os cinco primeiros modelos estão empatados. As pontuações variam entre 23,9 e 25,2, dentro das margens de erro uns dos outros. A ordem não representa um ranking real.
• O preço é o fator que os diferencia. Uma única execução custa $1,17 para o GPT-6.1 Sol e $14,87 para o Claude Fable 5.2.
• Os modelos da OpenAI falham em uma de cada três tarefas de agente. Isso é importante para programação autônoma, mas não para interações por chat.
• O DeepSeek V4.1-Flash-1017 programa bem, mas tem desempenho ruim no chat. Sua pontuação em “Trabalho” é 11,6; em “Chat”, apenas 7,6. Use-o para programação, não para conversas.
• O DeepSeek V4-Pro-0813 não vale a pena ser usado. Ele tem pontuação inferior ao modelo Flash e custa quatro vezes mais.

Correção: inicialmente, o Claude Fable 5.2 apresentou pontuação de 24,2. Três dos seus testes de agente falharam porque nossa conta na API ficou sem créditos. Após nova execução, todos os testes foram aprovados, e a pontuação total agora é 25,2.

Existe ainda um teste separado de escrita para adultos, exibido em outra aba do painel; ele não faz parte do cálculo do “Total” nem das análises acima. Todas as pontuações e resultados dos testes podem ser consultados no painel MakoBench.

Configure a pilha de programação recomendada

Para trabalhos reais de programação, divida as tarefas. Um “harness” executa o ciclo de trabalho. Um modelo avançado planeja e revisa o código; um modelo mais barato escreve o código propriamente dito.

A pilha de programação

1. HarnessDeepSeek Harness (dsh)Executa o ciclo de trabalho e chama os modelos conforme necessário
2. LíderClaude Fable 5.2Planeja as tarefas e revisa cada alteração feita no código
3. SubagentesDeepSeek V4.1-Flash-1017Escrevem o código e o devolvem para revisão

Por que essa divisão? O Claude Fable 5.2 obteve a melhor pontuação nos testes e passou em todos os critérios, mas é o modelo mais caro da lista. Já o DeepSeek V4.1-Flash-1017 alcançou pontuação máxima nos testes padrão de programação, custando apenas cerca de 1% do preço do Claude. Deixe que o modelo “líder” gaste seus recursos em tomadas de decisão e que o modelo “programador” gaste os seus na escrita do código. Se preferir usar apenas um modelo para tudo, opte pelo Grok 4.7.

A configuração exige cinco etapas.

Cinco etapas

1. Verifique os modelos indicadosConfirme se os modelos escolhidos ainda são os melhores antes de copiar quaisquer IDs./makobench/
2. Defina duas chaves API e o nome do provedorUma chave para o modelo “líder” e outra para o modelo programador, além do nome do provedor DeepSeek listado pelo dsh. O script interrompe a execução se alguma dessas informações estiver faltando.ANTHROPIC_API_KEY · DEEPSEEK_API_KEY · DSH_PROVIDER
3. Execute o scriptO script grava os IDs dos modelos num arquivo, mas não inicia nada por enquanto.setup.sh ~/my-project
4. Indique ao dsh qual é o modelo programadorInforme ao dsh o nome do provedor e o ID do modelo programador extraído do arquivo.deepseek-flash
5. Execute tarefas pesadas fora do horário de picoO DeepSeek tem preço reduzido fora do horário de pico, que é de segunda a sexta-feira:01:00–04:00 · 06:00–10:00 UTC

Abaixo, o script para as etapas 2 e 3. Os IDs dos modelos estão no topo do arquivo; altere-os apenas ali, em nenhum outro lugar.

#!/usr/bin/env bash
# Coding stack setup: harness, lead agent, coder.
# Check /makobench/ for the current leaders before changing an id.
set -euo pipefail
# Board ids. Your provider or dsh may spell the same model differently.

LEAD_MODEL="claude-fable-5-2"     # Claude Fable 5.2: plans and reviews
CODER_MODEL="deepseek-flash"      # DeepSeek V4.1-Flash-1017: writes the code

: "${ANTHROPIC_API_KEY:?set ANTHROPIC_API_KEY}"
: "${DEEPSEEK_API_KEY:?set DEEPSEEK_API_KEY}"
# The DeepSeek provider id your dsh lists. Do not guess it.
DSH_PROVIDER="${DSH_PROVIDER:?set DSH_PROVIDER}"

PROJECT="${1:?usage: setup.sh /path/to/project}"
JOB="$(mktemp -d)"

cat > "$JOB/models.yml" <<YAML
lead: ${LEAD_MODEL}
coder:
  provider: ${DSH_PROVIDER}
  model: ${CODER_MODEL}
YAML

echo "Lead:  ${LEAD_MODEL}"
echo "Coder: ${CODER_MODEL} via ${DSH_PROVIDER}"
echo "Ids written to ${JOB}/models.yml for ${PROJECT}"

Quanto custa

Uma execução padrão de teste mostra a diferença de preços de forma clara. Cada barra representa o custo da execução, com a pontuação total do modelo ao lado dela.

Uma execução padrão

• Claude Fable 5.2$14,87Pontuação total: 25,2
• GPT-6 Astra$5,70Pontuação total: 24,0
• Kimi K3.1 Pro$4,07Pontuação total: 24,6
• Grok 4.7$3,91Pontuação total: 24,1
• GPT-6.1 Sol$1,17Pontuação total: 23,9
• GPT-6.1 Terra$0,63Pontuação total: 19,4
• DeepSeek V4.1-Flash-1017$0,14Pontuação total: 19,2

O custo de um projeto completo é maior do que o de uma simples execução de teste, pois o agente lê o próprio código várias vezes. Estes são valores estimados com base nos preços por token; não se trata de cobranças reais de uma compilação efetiva. Um projeto do tamanho do ChatForge possui cerca de 5.000 linhas de código; um projeto do tamanho do DisPatch, aproximadamente 60.000 linhas.

Como fizemos as estimativas: 15 tokens por linha de código; o agente lê o código 12 vezes e o escreve 3 vezes, sem nenhum tipo de cache. O DeepSeek utiliza o preço fora do horário de pico; no horário de pico, esse valor dobra. Na configuração recomendada, o modelo principal realiza um quinto das leituras e um quarto das gravações.

A configuração recomendada custa cerca de um quarto do valor cobrado apenas pelo Claude Fable 5.2, mantendo-o como responsável pelo planejamento e revisão do projeto. O DeepSeek sozinho é ainda mais barato, porém não há nenhum mecanismo robusto para verificar seu trabalho. Escolha essa configuração para qualquer projeto que você pretenda lançar.