O que o MakoBench testa, e o que não testa

Em termos simples: O MakoBench é um benchmark para modelos cuja saída principal é texto e que podem conversar. Ele avalia duas tarefas: programação e role-play ou conversas com um “companheiro virtual”, além de um teste separado de escrita para adultos. Geradores de imagens, vídeos, áudio e 3D, modelos de classificação e embedding, ferramentas para tarefas específicas como tradução ou legendagem, bem como checkpoints básicos não são testados. Uma linha só é classificada quando a avaliação é justa: todo o conjunto de testes foi executado, nossa verificação de compatibilidade foi bem-sucedida, e essa é a principal linha de classificação para aquele modelo.

Ir para: CrucibleForge no GitHub

O MakoBench tem uma única função: dizer o quão bom um modelo de texto genérico é em duas tarefas para as quais utilizamos modelos. Descrevemos claramente o que isso abrange, pois uma pontuação só faz sentido para um modelo que foi projetado para ser avaliado por esses testes.

Resumindo:

Entradas aceitas: qualquer coisa cuja saída principal seja texto e que consiga receber uma instrução ou uma conversa e respondê-la.
Saídas não aceitas: geradores de imagens, vídeos, áudio e 3D; modelos de embedding e classificação; ferramentas para tarefas específicas; e checkpoints base.
Duas tarefas avaliadas: escrever código funcional e simular conversas ou interações. A escrita voltada para adultos é avaliada em um teste separado.
Linhas classificadas são linhas válidas: toda a suíte de testes foi executada, nossa verificação de compatibilidade foi bem-sucedida, e essa linha representa o principal resultado para aquele modelo.

O que testamos

Testamos modelos cuja entrada é texto, cuja saída principal também é texto, e que respondem a instruções ou conversas no estilo de chat. Isso inclui:

modelos de chat e de instrução de qualquer tamanho, rodando localmente ou por meio de uma API hospedada;
modelos de raciocínio, executados da maneira indicada pelos seus criadores, com o mesmo orçamento de saída que todos os outros modelos;
modelos de programação que também conversam. Eles passam tanto nos testes de código quanto nos testes de chat; uma pontuação baixa em chat é apenas um resultado, não motivo para descartá-los;
versões sem censura, “abliteradas” ou ajustadas para role-play dos modelos acima;
modelos de chat visão-linguagem, que são testados apenas nos testes de texto. A coluna correspondente indica “apenas suíte de texto”, pois não medimos o que eles fazem com imagens.

As duas tarefas principais são Código e Chat; cada uma vale 10 pontos nos testes padrão. O Total é a soma dos dois valores. O teste de Código avalia a capacidade de escrever funções Python funcionais, prever o resultado da execução de trechos de código, localizar erros com ajuda de ferramentas e usar corretamente essas ferramentas. O teste de Chat avalia o role-play e a conversação: lembrar de fatos, manter um personagem e seguir regras de escrita. Não se trata de um teste de simples resposta a perguntas ou de seguimento de instruções isoladas; por isso, um modelo pode ser um assistente excelente, mas ter uma pontuação mediana em Chat. Existe ainda um teste separado de ficção adulta, que possui sua própria aba e nunca é incluído no Total.

O que não testamos

Modelos que não geram texto. Geradores de imagens, vídeos, áudio e música, além de geradores 3D, CAD e de cenas. Os testes não conseguem avaliar uma imagem ou um modelo 3D; portanto, qualquer pontuação seria irrelevante.
Modelos que retornam um vetor ou um rótulo. Modelos de embedding, reordenadores, classificadores e modelos de segurança ou recompensa.
Ferramentas textuais de tarefa única. Modelos de tradução, geradores de legendas, ferramentas de reconhecimento de fala e OCR, além de modelos treinados apenas para resumir ou extrair informações. Eles são bons em algo muito específico, algo que o Code e o Chat não conseguem medir.
Checkpoints base. Um modelo sem template de chat não consegue seguir os prompts enviados pelo teste.
Modelos que o CrucibleForge não consegue executar. O motor verifica se consegue se comunicar corretamente com um modelo antes de atribuir uma pontuação. Se essa verificação falhar, o modelo é rejeitado.

Quando uma solicitação se enquadra em algum desses grupos, a rejeitamos e deixamos uma breve nota na página de Votação; o modelo, então, nunca chega ao comitê de avaliação. Nunca rejeitamos um modelo por ser muito grande; esse caso é abordado abaixo. Os modelos que selecionamos automaticamente também precisam ter uma licença permissiva e não restrita; ainda assim, podemos adicionar um modelo manualmente.

O que precisa ser verdade antes que uma linha seja classificada

Todo o conjunto de testes foi executado. Um modelo com cobertura parcial exibe seus números, mas não possui um total nem uma classificação.
O teste de compatibilidade foi aprovado. Caso contrário, a configuração do CrucibleForge provavelmente está medindo o modelo de forma incorreta. A linha permanece visível, marcada com um sinal de aviso e a indicação “provisório”; não há classificação, e o teste é executado novamente.
Uma linha por modelo. O padrão para modelos locais é Q8_0. Se Q8_0 não for compatível com nosso equipamento, usamos Q6, depois Q5; isso fica indicado na linha. Nunca utilizamos um valor abaixo de Q5. Uma segunda opção de quantização, ou um nível de desempenho mais rápido do mesmo modelo hospedado, aparece abaixo da linha principal como uma variante adicional e não é classificada.
Linhas antigas com quantização abaixo de Q5 permanecem visíveis. A quantização utilizada é exibida, juntamente com a nota “abaixo de Q5” nos detalhes da linha. Testamos novamente apenas um desses modelos, usando o padrão de quantização, quando ele se destaca: seja no seu quadro de comparação (Main Bench ou adult-fiction bench), na coluna principal ou dentro de sua classe de tamanho.
As linhas relativas a modelos hospedados indicam a data em que foram testadas. Um provedor pode alterar ou retirar um modelo com o mesmo nome; portanto, cada linha hospedada representa um “instantâneo” do modelo naquele momento.

O que nosso equipamento pode testar e o que precisa de financiamento

O MakoBench roda em um único computador doméstico com quatro placas de vídeo: duas RTX 5090 e duas RTX 3090, totalizando 112 GB de memória de vídeo. Testamos todos os modelos no nível Q8_0; só passamos para Q6 e depois Q5 quando o modelo não cabe no nível Q8_0. Na prática, isso significa que podemos testar modelos com até cerca de 135 bilhões de parâmetros, utilizando 32.000 tokens de contexto.

Modelos maiores são marcados como Não podem ser testados localmente; eles nunca são rejeitados. Se algum serviço hospedado conseguir executar o modelo em 8 bits ou melhor, as pessoas podem financiar o teste. A meta de financiamento é aproximadamente quatro vezes o maior custo esperado para a execução do teste, pois também são necessários: configuração do ambiente remoto, uma possível segunda tentativa, verificação e pontuação no nosso próprio equipamento; além disso, as taxas de pagamento também são descontadas desse valor. Se nenhum serviço hospedado oferecer suporte ao modelo, a coluna indica “Grande demais para ser testado por enquanto” e não há meta de financiamento; os votos ainda contam, e testaremos o modelo caso isso mude no futuro. Caso um teste financiado não possa ser executado, ou se o modelo couber no nosso equipamento, o dinheiro será usado para realizar o teste. O dinheiro nunca altera a pontuação de um modelo. Um “presente” vinculado a um modelo faz com que ele suba na classificação dentro do seu grupo, mas não muda sua pontuação.

Por que tanto cuidado?

Um benchmark que classifica tudo acaba classificando coisas que os testes não conseguem medir; uma pontuação que não significa nada é pior do que a ausência de pontuação. Manter na lista apenas modelos que se enquadram nos testes e classificar apenas medições válidas é o que permite comparar dois números entre si. Para saber como as pontuações são calculadas e interpretadas, consulte Como o MakoBench funciona. Se deseja testar um modelo, use a página de votação.