Benchmarks de modelos, casos de uso e configuração: novembro de 2026

Ir para: CrucibleForge no GitHub

Qual modelo de linguagem você deve usar em novembro de 2026, para qual finalidade e como configurá-lo? Este guia responde a essas perguntas com base em onze modelos avaliados nos mesmos testes do MakoBench 4.1. A lista completa inclui mais modelos; estes onze são os que analisamos em profundidade este mês. Você encontrará as pontuações, a recomendação para tarefas de programação e de conversação, um guia de configuração em cinco passos para montar uma pilha de ferramentas eficiente, além dos custos estimados por execução ou para projetos inteiros.

Tudo numa única tela

• Melhor no geral: empate entre cinco modelos na liderança. Kimi K3.1 Pro, Claude Fable 5.2, Grok 4.7, GPT-6 Astra e GPT-6.1 Sol obtiveram pontuações entre 23,9 e 25,2. O Claude Fable 5.2 aparece primeiro na lista, mas todos os cinco estão tecnicamente empatados.
• Melhor para programação autônoma: Claude Fable 5.2, quando dinheiro não é problema: obteve a maior pontuação nas tarefas de trabalho (12,5), um desempenho perfeito nos testes de agência e 100% de acerto nos casos padrão de agência. Para orçamentos menores, GPT-6 Astra ou GPT-6.1 Sol também são opções; ambos têm desempenho perfeito nos testes de agência, mas 66,7% de acerto nos casos padrão.
• Melhor modelo barato para programação: DeepSeek V4.1-Flash-1017. Pontuação de 10,0 em tarefas de programação comum; custo de US$ 0,14 por execução.
• Melhor para atendimento ou chat: GPT-6.1 Terra via API (pontuação de 9,2 no chat; custo de US$ 0,63 por execução), ou Swish 31B Final rodando em seu próprio hardware. A maior pontuação em testes de chat foi obtida pelo Claude Fable 5.2: 12,7 pontos, por um custo de US$ 14,87 por execução.
• Melhor para uso local: Swish 31B Final, com pontuação geral de 16,3; não gera custos com API, sendo ideal para chat ou qualquer outra aplicação que precise rodar localmente.
• Pilha recomendada: Use o Claude Fable 5.2 para planejamento e revisão; o DeepSeek V4.1-Flash-1017 escreve o código. Os custos estimados são US$ 4,82 para projetos do tamanho do ChatForge e US$ 57,86 para projetos do tipo DisPatch.
• Correção: Inicialmente, os três testes de agência do Claude Fable 5.2 receberam nota 0, pois o crédito da nossa conta de API esgotou-se durante a execução. Após nova execução, o modelo obteve sucesso em todos os testes; sua pontuação subiu de 24,2 para 25,2.

Escolha um modelo com base em duas perguntas

Primeiro, indique qual é a tarefa, depois faça uma pergunta. Para código, pergunte sobre o orçamento: um orçamento grande indica o uso do Claude Fable 5.2; já um orçamento limitado sugere o DeepSeek V4.1-Flash-1017, cujo custo é de US$ 0,14 por execução. Para chat, pergunte se a aplicação precisa rodar no seu próprio hardware: se for via API, use o GPT-6.1 Terra, com custo de US$ 0,63 por execução; caso contrário, opte pelo Swish 31B Final. Essas são as mesmas escolhas que os demais exemplos deste guia corroboram com números.

Qual é a tarefa?

↓

Código

Orçamento?

orçamento grande

↓

Claude Fable 5.2mais caro

orçamento limitado

↓

DeepSeekV4.1-Flash-1017

Chat

Hardware próprio?

não

↓

GPT-6.1 Terrachat barato

sim

↓

Swish 31B Finalsem custos de API

O quadro de novembro de 2026

Correção: uma versão anterior deste guia atribuiu ao Claude Fable 5.2 a pontuação de 24,2, classificando-a como provisória. Os três testes de tipo “agente” obtiveram nota zero porque nossa conta na API ficou sem créditos durante a execução; não foi falha do modelo. Realizamos novamente esses testes por meio da própria API da Anthropic, com uso de cache de prompts, ao custo de $10,81. O modelo passou em todos eles, o que elevou sua pontuação em “Trabalho” de 11,5 para 12,5 e seu Total de 24,2 para 25,2.

O “Total” corresponde à soma de “Trabalho” e “Chat”. O valor de “Trabalho” vem da coluna “Código” do quadro; essa pontuação inclui os pacotes bônus desbloqueados, portanto não se trata de uma nota máxima de 20. Nos testes padrão, os limites para “Trabalho” e “Chat” são 10 cada um, fazendo com que o total padrão seja 20; porém, o Total publicado pode chegar a 28. O item “Conteúdo adulto” é um teste à parte e não integra o Total. Um valor mais alto aqui indica que o modelo teve melhor desempenho na geração de ficção adulta, mas não significa necessariamente que seja um modelo superior. “Banco de código / Agente” refere-se às pontuações obtidas nos testes de programação; não é a nota do programa em si. O “Custo de execução” corresponde a uma execução padrão envolvendo os testes de Código e Chat, segundo os preços do provedor, sem contar pacotes bônus, testes adultos ou tentativas repetidas. “Local” indica que o processamento foi feito em nosso próprio hardware, sem custos com API. Pacotes “maximizados” são aqueles que obtiveram nota perfeita de 1,000. Nenhum pacote desbloqueado neste conjunto aguarda pontuação. Linhas cujos testes falharam ou apresentaram erros ainda são consideradas como falhas; a classificação permanece: DeepSeek V4-Pro-0813 tem 11 falhas, DeepSeek V4.1-Flash-1017 tem 5, MiniMax M3.1 Flash tem 7 falhas mais uma interrupção por limitação orçamentária, Kimi K3.1 Pro tem 2 falhas, Claude Fable 5.2 tem 1 falha, e Grok 4.7 teve 1 erro durante um teste.

Pacotes de bônusadicionar ao Work e Chat

↓

Worka coluna de código

Chatos testes de chat

↓

TotalWork mais Chat

Não faz parte do Total

Teste adultouma pontuação separada

A parte superior da tabela representa um empate, não uma classificação. Claude Fable 5.2, Kimi K3.1 Pro, Grok 4.7, GPT-6 Astra e GPT-6.1 Sol obtiveram pontuações entre 23,9 e 25,2. A tabela os lista do 1º ao 5º lugar, com o Claude Fable 5.2 em primeiro; porém essas diferenças ficam dentro das margens de tolerância estatística, e as regras definem que modelos com pontuações próximas estão empatados. A ordem na tabela não indica um vencedor. O próximo grupo, formado por GPT-6.1 Terra, DeepSeek V4.1-Flash-1017 e DeepSeek V4-Pro-0813, obteve pontuações entre 18,4 e 19,4. O Swish 31B Final, melhor modelo local, alcançou 16,3 pontos. Nos testes padrão de programação, os modelos líderes já atingiram o limite máximo: Kimi K3.1 Pro, Claude Fable 5.2, Grok 4.7 e DeepSeek V4.1-Flash-1017 todos marcaram 10,0 pontos. Portanto, o grupo de 24 a 25 pontos refere-se aos pacotes de bônus e ao desempenho no Chat, não a uma pontuação superior em programação. O que diferencia esse grupo do DeepSeek V4.1-Flash-1017 é o desempenho no Chat: 12,4 a 12,7 pontos contra 7,6 pontos.

Três aspectos merecem destaque. Os custos variam em duas ordens de magnitude para tarefas idênticas: uma execução padrão custa US$14,87 para o Claude Fable 5.2, US$5,70 para o GPT-6 Astra, US$3,91 para o Grok 4.7 e apenas US$0,14 para o DeepSeek V4.1-Flash-1017. No teste adulto, a situação se inverte: Claude Fable 5.2 (12,0), Swish 31B Final (11,8), Grok Build 0.1 (11,7), Grok 4.7 (11,5) e DeepSeek V4.1-Flash-1017 (10,0) não rejeitaram nenhum dos nove casos de conteúdo adulto. Já os três modelos da OpenAI pararam em 1,3 a 1,6 pontos ao lidar com ficção adulta; Kimi K3.1 Pro rejeitou quatro dos nove casos e obteve 0 pontos nesse quesito. Esses são os modelos que tiveram desempenho inferior, não houve filtros de conteúdo bloqueando respostas. Por fim, nos testes de agentes, há uma grande diferença no desempenho de programação: os três modelos da OpenAI alcançaram 66,7% de acerto, enquanto Kimi K3.1 Pro, Claude Fable 5.2, Grok 4.7 e DeepSeek V4.1-Flash-1017 obtiveram 100%. O GPT-6.1 Terra é o modelo mais rápido do conjunto; o Grok Build 0.1 gera 8,4 tokens por segundo, velocidade inferior à do Swish 31B Final, que gera 41,3 tokens por segundo na mesma tabela.

Casos de uso: qual modelo para qual tarefa

Programação autônoma de novo software

• Quando dinheiro não é problema: Claude Fable 5.2. Prós: obtém a melhor pontuação em chat deste conjunto (12,7), a maior pontuação em tarefas de trabalho (12,5); é o primeiro colocado no ranking geral; possui um pacote de funcionalidades autônomas perfeito, 100% de acerto nos testes de programação padrão e não recusa nenhuma solicitação. Contras: custa US$ 14,87 por execução, sendo o modelo mais caro aqui.
• Um pacote autônomo perfeito por um preço menor: GPT-6 Astra ou GPT-6.1 Sol. Prós: assim como o Claude Fable 5.2, ambos oferecem um pacote de funcionalidades autônomas perfeito; custam respectivamente US$ 5,70 e US$ 1,17 por execução. Contras: ambos obtêm 66,7% de acerto nos testes padrão de programação autônoma e também não conseguem processar textos com conteúdo adulto.
• Na faixa intermediária: Grok 4.7. Prós: pontuação de 11,7 em tarefas de trabalho; é o terceiro melhor modelo neste conjunto, atrás apenas do Claude Fable 5.2 (12,5) e do Kimi K3.1 Pro (12,0); pontuação de 12,4 em chat; custa US$ 3,91 por execução, cerca de um quarto do valor cobrado pelo Claude Fable 5.2. Contras: a cobrança é feita por volume: US$ 2 por milhão de tokens de entrada e US$ 6 por milhão de tokens de saída; no teste de velocidade, foram contabilizados 696.485 tokens processados, portanto loops autônomos prolongados tornam-se caros.
• A opção mais barata: DeepSeek V4.1-Flash-1017. Prós: pontuação máxima de 10,0 em testes de programação padrão; pontuação de 11,6 em tarefas de trabalho, próxima às dos melhores modelos (entre 11,5 e 12,5); custa apenas US$ 0,14 por execução. Contras: pontuação de 7,6 em chat; portanto, para qualquer aplicação voltada ao usuário, será necessário utilizar um segundo modelo. O valor de US$ 0,14 corresponde à tarifa antiga; novas execuções sob a nova tabela de preços custarão mais.

Chatbot ou linha de atendimento ao cliente

Uma linha de atendimento não precisa de uma pontuação alta em conteúdo adulto. Leve em conta a qualidade do chat, o preço e se o sistema deve rodar no seu próprio hardware.

• GPT-6.1 Terra. Prós: pontuação de 9,2 em chat; custa US$ 0,63 por execução; a cobrança é de US$ 1 por milhão de tokens de entrada e US$ 5 por milhão de tokens de saída. É a opção mais barata para chat; além disso, é o modelo mais rápido do conjunto. Contras: pontuação de 66,7% nos testes autônomos; tanto os programas quanto o banco de códigos obtiveram pontuação máxima (100%), portanto não se trata de falha na geração de código, mas sim em tarefas autônomas. Sua velocidade variou bastante entre os testes: de 72 a 1.044 tokens por segundo.
• Grok 4.7. Prós: pontuação de 12,4 em chat, quase a melhor do conjunto; custa US$ 3,91 por execução. Os dois pacotes de role-play obtiveram pontuações de 0,945 e 0,951. Contras: o pacote de conversação teve pontuação de 0,814 e o pacote de personagens, 0,483; portanto, a manutenção de uma personalidade definida é um ponto fraco. A cobrança segue os mesmos critérios do modelo anterior: US$ 2 por milhão de tokens de entrada e US$ 6 por milhão de tokens de saída. Existe também um plano com desconto de 15x; o valor de US$ 3,91 refere-se à tarifa padrão, não a esse plano.
• Claude Fable 5.2. Prós: melhor pontuação em chat do conjunto (12,7); melhor pacote de funcionalidades para chat, com pontuação de 0,964; não recusa nenhuma solicitação e não cobra pelos tokens de raciocínio processados. Contras: a cobrança é de US$ 10 por milhão de tokens de entrada e US$ 50 por milhão de tokens de saída; está empatado com o GPT-6 Astra como modelo com as tarifas mais altas do conjunto.
• Se a linha de atendimento precisar rodar no seu próprio hardware: Swish 31B Final. Prós: pontuação geral de 16,3; não recusa nenhuma solicitação e não há cobrança via API. Contras: pontuação de apenas 33,3% nos testes autônomos; pontuação de 8,4 em tarefas de trabalho; velocidade de processamento de 41,3 tokens por segundo.

Configuração: harness, agente líder, codificador

Para trabalhos reais, use um harness, um modelo robusto que faça o planejamento e a revisão, e um modelo mais barato para escrever o código. O DeepSeek Harness (dsh) é o harness. O Claude Fable 5.2 atua como agente líder e revisor. O DeepSeek V4.1-Flash-1017 é o codificador: a qualidade de seu código já está no limite máximo, e o custo por execução é de apenas $0,14. O MiniMax M3.1 Flash, dentro do seu plano de uso, consegue processar grandes volumes de dados, com revisão posterior pelo Claude Fable 5.2. Seu desempenho no chat (5,6) é o mais fraco deste conjunto; além disso, sua pontuação em “Work” (8,0 contra 11,6) indica a necessidade de mais iterações de revisão. O Grok 4.7 é a alternativa quando se deseja usar um único modelo para tudo. São cinco etapas no processo.

dshexecuta o ciclo

↓

Agente líder: Claude Fable 5.2planeja e revisa

↓

CodificadorDeepSeek V4.1-Flash-1017escreve o código

Opções

MiniMax M3.1 Flashprocessa grandes volumes dentro de sua janela de uso

Grok 4.7um único modelo para tudo

Passo 1: Verifique o quadro e escolha os IDs

/makobench/Verifique o quadro

↓

Quatro IDsno topo do script

↓

LEAD_MODEL

CODER_MODEL

BULK_MODEL

ONE_MODEL

Os IDs dos modelos ficam no topo do script. Altere apenas esses, não uma segunda cópia que aparece mais abaixo. Verifique o quadro em /makobench/ antes de fazer qualquer alteração.

Passo 2: Defina as chaves de API

ANTHROPIC_API_KEYobrigatório

DEEPSEEK_API_KEYobrigatório

MINIMAX_API_KEYobrigatório

XAI_API_KEYopcional

O script necessita das chaves ANTHROPIC_API_KEY, DEEPSEEK_API_KEY e MINIMAX_API_KEY. A chave XAI_API_KEY é opcional e serve apenas para a opção de uso de um único modelo. Defina-as no seu shell antes de executar o script. O script será interrompido caso alguma chave obrigatória esteja ausente.

Passo 3: Execute o script

setup.shmais o caminho do seu projeto

↓

models.ymlé gravado num diretório temporário

↓

Nenhuma execução é iniciadaele apenas grava os IDs

O script grava os IDs num arquivo models.yml, dentro de um diretório temporário. Ele não inicia nenhuma execução. Forneça o caminho do seu projeto ao script.

#!/usr/bin/env bash
# Do-it-all coding setup: harness, lead agent, sub-agents.
# Check /makobench/ for the current leaders before changing any id below.
set -euo pipefail

# Board labels. dsh may show a different provider string for the same model.
LEAD_MODEL="claude-fable-5-2"        # Claude Fable 5.2, plans and reviews
CODER_MODEL="deepseek-flash"         # DeepSeek V4.1-Flash-1017, writes the code
BULK_MODEL="MiniMax-M3.1-Flash"      # MiniMax M3.1 Flash, window-limited bulk
ONE_MODEL="grok-4.7"                 # Grok 4.7, optional, one model for all

: "${ANTHROPIC_API_KEY:?set ANTHROPIC_API_KEY}"
: "${DEEPSEEK_API_KEY:?set DEEPSEEK_API_KEY}"
: "${MINIMAX_API_KEY:?set MINIMAX_API_KEY}"
: "${XAI_API_KEY:=}"                  # optional, only for ONE_MODEL

# Set this to the DeepSeek provider id your dsh lists. Do not guess it.
DSH_PROVIDER="${DSH_PROVIDER:?set DSH_PROVIDER}"

PROJECT="${1:?usage: setup.sh /path/to/project}"
JOB="$(mktemp -d)"

cat > "$JOB/models.yml" <<YAML
lead: ${LEAD_MODEL}
coder:
  provider: ${DSH_PROVIDER}
  model: ${CODER_MODEL}
bulk: ${BULK_MODEL}
one_model: ${ONE_MODEL}
YAML

echo "Lead: ${LEAD_MODEL}"
echo "Coder: ${CODER_MODEL} via ${DSH_PROVIDER}"
echo "Bulk, inside the plan window: ${BULK_MODEL}"
echo "One-model alternative: ${ONE_MODEL}"
echo "Id file: ${JOB}/models.yml"
echo "Project: ${PROJECT}"
# Point dsh at CODER_MODEL. Do not hardcode a second model id here.

Passo 4: Indique ao dsh o ID do programador

dshseu provedor

↓

DSH_PROVIDERqualquer valor listado pelo seu dsh para o DeepSeek

↓

deepseek-flasho ID do programador

Indique ao dsh o ID do programador. A string de provedor do dsh é qualquer valor listado pelo seu sistema para o DeepSeek. O ID do programador na API da placa é “deepseek-flash”.

Passo 5: Agende as tarefas fora dos horários de pico

Horários de pico do DeepSeek, UTC

00:0012:0024:00

Segunda a sexta-feira

01:00 às 04:00

06:00 às 10:00

Fora do horário de picometade do preço

O DeepSeek tem metade do preço fora do horário de pico. O horário de pico é de segunda a sexta-feira, das 01:00 às 04:00 e das 06:00 às 10:00 UTC. Agende as tarefas pesadas fora desse período.

Plano MiniMax5 horas ou por semana

↓

402o período disponível foi utilizado

↓

Troque o modelo para DeepSeek V4.1-Flash-1017DeepSeek V4.1-Flash-1017

O plano MiniMax tem um custo fixo. O custo marginal da IA é de $0 até que o período de 5 horas ou semanal seja utilizado. O código 402 significa que o período disponível foi gasto, não que o plano terminou. Troque o modelo para DeepSeek V4.1-Flash-1017 para continuar o processo de desenvolvimento. Um projeto com 60.000 linhas de código consumirá todo o período disponível; portanto, o plano funciona como um limite, e não como uma licença gratuita.

Quanto custa um projeto

Estas são estimativas baseadas nos preços da tabela, não em medições reais de projetos. Não havia registro de uso de tokens para um projeto deste tamanho. As suposições são: o código-fonte final custa 15 tokens por linha; assim, um projeto do tamanho do ChatForge, com 5.000 linhas, totaliza 75.000 tokens, e um projeto do tamanho do DisPatch, com 60.000 linhas, totaliza 900.000 tokens. Um agente relê seu próprio código-fonte; portanto, na faixa média, são contabilizados 12 vezes o número de tokens de entrada e 3 vezes o de saída. Já um codificador que realiza raciocínio utiliza a faixa alta, com 20 tokens de entrada e 5 de saída. Um projeto novo gera “miss de cache”. O DeepSeek é precificado conforme a taxa vigente fora do horário de pico. Este valor refere-se apenas a uma única compilação, não à manutenção, e não inclui o uso do avaliador nem da geração de imagens.

Linhas de código5.000 ou 60.000

↓

Tokens do código-fonte15 tokens por linha

↓

Agente relê o código-fontefaixa média: 12 entradas, 3 saídasfaixa alta: 20 entradas, 5 saídas

↓

Preço por milhãopreços da tabela

↓

Custo do projetouma única compilação; valor estimado

O Claude Fable 5.2 não utilizou nenhum token de raciocínio neste caso; portanto, a faixa média é o valor correto para ele. Caso o agente realize todo o raciocínio necessário, os custos na faixa alta seriam $33,75 e $405. Para o DeepSeek V4.1-Flash-1017, os valores na faixa alta são $0,45 e $5,40. No horário de pico, a taxa é o dobro da tarifa fora do horário de pico; assim, os custos na faixa média nesse período ficam em $0,54 e $6,48 – que não correspondem à faixa alta. Na configuração mista, o Claude Fable 5.2 processa 20% dos dados de entrada e 25% dos dados de saída; o DeepSeek V4.1-Flash-1017 cuida do restante, resultando em custos de $4,82 e $57,86 fora do horário de pico. Se utilizarmos o MiniMax M3.1 Flash como codificador, o custo de codificação cai para zero dentro do período do plano; porém, seu índice de desempenho de 8,0 contra 11,6 implica em mais ciclos de revisão, os quais não estão incluídos nos valores de $4,61 e $55,35.

Recomendação

Para projetos como o DisPatch ou o ChatForge, use a combinação de modelos mencionada. O Claude Fable 5.2 planeja e revisa os projetos; o DeepSeek V4.1-Flash-1017 escreve o código; o DeepSeek Harness executa o processo completo. O GPT-6.1 Terra responde aos usuários. A estimativa de custo para um projeto do tamanho do ChatForge é de US$ 4,82, enquanto para um projeto do tamanho do DisPatch é de US$ 57,86. Para o Claude Fable 5.2 sozinho, os custos são US$ 20,25 e US$ 243, respectivamente. Se o DeepSeek V4.1-Flash-1017 realizar todo o trabalho, os custos caem para US$ 0,27 e US$ 3,24. Como todos os modelos têm desempenho similar, escolha o modelo mais barato que consiga realizar a tarefa; reserve os modelos mais caros para o planejamento e revisão. Os valores citados referem-se ao custo total da construção do projeto, não ao custo por interação de chat. O Terra sozinho, sob as mesmas condições, custaria US$ 2,03 para um projeto do tamanho do ChatForge e US$ 24,30 para um projeto do tamanho do DisPatch. Essas são opções alternativas ao uso da combinação de modelos; você deve optar por uma ou outra, nunca pelas duas. Use o MiniMax Token Plan para trabalhos em massa, dentro do período permitido, tratando-o como um limitador de uso. Não escolha o DeepSeek V4-Pro-0813 em vez do DeepSeek V4.1-Flash-1017: ele tem pontuação menor (18,4 contra 19,2) e custo mais elevado. Se preferir usar apenas um modelo em vez da combinação, o Grok 4.7 é a melhor opção: sua pontuação geral é 24,1; o custo estimado para projetos é de US$ 3,15 e US$ 37,80. O custo de execução do modelo é de US$ 3,91, o que representa cerca de um quarto dos US$ 14,87 gastos pelo Claude Fable 5.2.

Pacotes com pontuação máxima e o que vem a seguir

Quatro modelos neste conjunto obtiveram pontuação perfeita de 1,000 no pacote de testes:

• Claude Fable 5.2: trabalho/raciocínio #1, trabalho/agentic #1 e escrita para adultos #2.
• Grok 4.7: trabalho/raciocínio #1 e escrita para adultos #2.
• GPT-6 Astra: trabalho/agentic #1.
• GPT-6.1 Sol: trabalho/agentic #1.

Nenhum modelo alcançou 1,000 no pacote de testes de código. O melhor foi o GPT-6 Astra, com 0,917. Nenhum pacote de testes de conversação também atingiu 1,000. O melhor foi o “chat/deep_rp #1” do Claude Fable 5.2, com 0,964. A marca “MAX” no quadro de resultados indica apenas que uma determinada parte do modelo alcançou o topo da sua escala de pontuação; não significa que todo o pacote tenha sido perfeito. É por isso que o GPT-6 Astra possui a marca “MAX” no pacote de código, mesmo tendo uma pontuação de 0,917 nesse mesmo pacote. Ter uma pontuação máxima num pacote não significa que ele deixe de ser testado. O MakoBench 4.5 já está em andamento e incluirá pacotes mais difíceis para testes completos; portanto, esses resultados do 4.1 representam o máximo atual, mas não são definitivos.

Todas as pontuações, a lista de testes e o custo de execução de cada modelo estão disponíveis no quadro de resultados do MakoBench.