Desenvolvido por CrucibleForge
Suite 4.1 (Atual)
Os testes
Notas em linguagem simples sobre cada teste no Main Bench. O mesmo texto é exibido ao clicar no ícone i ao lado do título de cada coluna. Os próprios testes fazem parte do projeto de código aberto CrucibleForge; esta página descreve, de forma geral, o que eles avaliam. Quando um teste possui exemplos públicos de questões, basta abrir seu respectivo cartão para visualizá-los.
O que os testes medem
Total
O “Total” é a soma da pontuação do “Code” e da pontuação do “Chat”. Cada uma dessas pontuações pode chegar a 10 em um desempenho perfeito nos testes padrão; portanto, 20 é a pontuação máxima possível. Os pacotes de bônus (ver “Pacotes de Bônus”) adicionam pontos extras, permitindo que um modelo obtenha uma pontuação acima de 20. Nesta suíte, o “Code” pode atingir 13 pontos e o “Chat”, 15 pontos, com todos os pacotes de bônus. As barras em cada linha indicam esse valor máximo possível; há também um marcador no ponto onde termina o conjunto padrão de testes. Os testes não censurados têm sua própria aba e nunca são incluídos na pontuação total. O valor “±” ao lado do “Total” representa metade do intervalo de 90% obtido por meio de bootstrap nos casos de teste; portanto, dois modelos cujas pontuações estejam dentro desse intervalo são estatisticamente equivalentes.
Chat
O Chat avalia jogos de role-play e conversas entre companheiros, não tarefas gerais de assistência. Ele executa 8 sessões com múltiplas interações: um role-play repleto de detalhes narrativos, conversas entre companheiros, um personagem com várias vozes e uma história criada em conjunto. Cada sessão verifica se o modelo se lembra de fatos mencionados anteriormente, aceita correções, mantém a voz e o ponto de vista do personagem, além de seguir regras de escrita específicas. Um modelo avaliador separado, Gemma 4 31B (uncensored “heretic” build, Q8) on our own GPU rig, atribui notas às respostas com base numa lista de verificação para cada caso; regras textuais simples cobrem o restante. Responder a perguntas ou seguir instruções pontuais não são avaliados aqui. A pontuação máxima no Chat é 10, para execução perfeita das perguntas padrão; pacotes bônus adicionam pontos extras, até um total de 15 neste conjunto de testes.
Código
O “Code” abrange a escrita de funções Python que funcionem corretamente, a previsão do que um programa imprimirá, a localização e correção de erros, além de tarefas relacionadas a repositórios e ao uso de ferramentas. As respostas são testadas contra testes ocultos; portanto, a pontuação reflete código que realmente funciona, e não apenas código que parece correto. A pontuação máxima é 10 para a resolução perfeita das questões padrão; pacotes bônus adicionam pontos extras, até um máximo de 13 neste conjunto de testes.
Conjuntos bônus
Cada categoria vale 10 pontos para uma execução perfeita das questões padrão. Um modelo que obtenha pelo menos 90% de acerto em uma categoria ganha acesso a um conjunto bônus mais difícil para essa mesma categoria; ao completar esse conjunto, o modelo pode desbloquear o próximo. Cada pacote vale 1 ponto adicional, de modo que uma categoria pode ultrapassar os 10 pontos. O máximo que uma categoria pode alcançar é 10 pontos mais um por cada pacote disponível; cada novo pacote aumenta esse valor. Os detalhes de cada linha listam os pacotes: seus pontos ou se estão bloqueados. Os conjuntos bônus são a única forma de ultrapassar os 10 pontos, evitando assim que todos os modelos fiquem com a pontuação máxima no topo da tabela.
Programas
Os programas dão ao modelo 6 tarefas, cada uma das quais exige uma função em Python a partir de uma descrição precisa, porém repleta de armadilhas (datas, arredondamento, layout de texto, agendamento). A resposta é executada num ambiente isolado contra testes unitários ocultos; a pontuação corresponde à proporção de grupos de testes que são aprovados. Assim, uma resposta quase correta também recebe crédito parcial.
Banco de códigos
O banco de códigos mostra ao modelo pequenos trechos de código Python e JavaScript do dia a dia — o tipo de código auxiliar que um aplicativo comum utiliza — e pergunta exatamente o que cada um imprime. Existem 2 conjuntos, um para cada linguagem; toda saída prevista é verificada por correspondência exata. O objetivo é recompensar quem conhece o verdadeiro comportamento da linguagem (valores padrão compartilhados, ordem de classificação, arredondamento, valores considerados “verdadeiros”), e não quem escreve novo código. A pontuação corresponde à proporção de saídas previstas que estão corretas.
Agente
O agente fornece ao modelo um relatório de erro referente a um pequeno projeto com vários arquivos, além das ferramentas que o assistente de codificação utiliza: listar, ler e buscar arquivos, editá-los e executar os testes. Trata-se de uma única tarefa (1 no conjunto de tarefas); portanto, uma única execução pode fazer com que essa coluna se mova bastante. O projeto corrigido é avaliado pela execução dos seus testes.
Ferramentas
O Tools testa se um modelo invoca as ferramentas corretamente. Cada caso é uma conversa scriptada com uma ida e volta à ferramenta: o modelo precisa escolher a ferramenta certa, fornecer argumentos válidos, usar o resultado e evitar as armadilhas embutidas na configuração. Uma chamada malformada é considerada uma falha.
tok/s
O tok/s é a velocidade média na qual o modelo gerou texto durante a execução. Os modelos locais foram executados em nosso próprio hardware; portanto, essas velocidades podem ser comparadas entre si. Já os modelos hospedados dependem do provedor e do grau de utilização do serviço; assim, considere suas velocidades apenas como uma referência aproximada.
Custo de execução
O custo de execução soma o valor de cada solicitação em uma execução completa, com base nos preços divulgados pelo provedor: os tokens enviados e os tokens retornados, incluindo o tempo de processamento. Ele abrange os testes padrão de Código e Chat. Não inclui conjuntos de testes bônus, novas tentativas, o sistema de avaliação (que roda em nosso próprio hardware) nem quaisquer descontos por uso fora do horário de pico ou por uso de cache; portanto, esse valor é próximo ao que você pagaria pelo preço de tabela. Um símbolo “~” indica que o provedor não cobra por token (utiliza um plano fixo); assim, calculamos o custo com base no preço de tabela. Um símbolo “*” significa que algumas solicitações retornaram sem dados de uso; por isso, o valor pode estar subestimado. O filtro de conteúdo do provedor pode bloquear respostas; nesse caso, a linha correspondente indica quantas respostas foram bloqueadas, e cada uma delas recebe pontuação zero.
Classe
A classe é uma maneira rápida de agrupar os modelos por Pontuação Total: S, A, B e C, sendo S o mais forte. O limite para cada faixa está listado nas notas abaixo do quadro. Um modelo sem uma pontuação de Chat completa não possui Pontuação Total nem classe.
Enxuto
O Lean compara as pontuações do modelo em “Chat” e “Code” com a mediana do painel para cada uma delas. Se o modelo for claramente melhor numa das áreas do que na outra, é marcado como tendendo para “Chat” ou para “Code”; caso contrário, é considerado equilibrado. O tamanho da diferença necessária está indicado nas notas abaixo do painel.
Suíte
O conjunto de testes é a versão do conjunto de testes com a qual uma pontuação foi gerada. Quando os testes são alterados, os modelos são executados novamente e o conjunto anterior é mantido em “Versões anteriores do conjunto de testes”. Compare as pontuações apenas dentro de um mesmo conjunto de testes.
Data do teste
A data de teste é o dia em que os resultados do modelo neste quadro foram gerados. Uma nova execução do modelo exibe uma data mais recente.
Baseado em
O ajuste fino mantém o nome da base aqui e nunca é ocultado por “Apenas versões mais recentes”. Essa caixa está ativada por padrão e oculta versões mais antigas de um fornecedor quando uma versão mais nova da mesma linha está disponível e possui uma classificação. Ao digitar um nome de base no filtro, como “gemma 4”, são listados todos os itens construídos com base nele.
Quanto
O Quant é o formato de compressão dos pesos de um modelo local. O Q8_0 é semelhante ao modelo de precisão total e é o padrão utilizado nesta placa; uma compressão menor torna o modelo mais rápido e adequado para GPUs menores, mas pode resultar em um desempenho inferior. Utilizamos Q6 ou Q5 apenas quando o Q8_0 não se adequa ao nosso equipamento; nunca utilizamos valores abaixo de Q5. As linhas com pontuação abaixo de Q5 permanecem na lista, marcadas como “abaixo de Q5”, e são reavaliadas apenas se apresentarem um bom desempenho. Se os mesmos pesos forem testados em dois formatos de compressão diferentes, uma linha é classificada e a outra aparece abaixo dela como uma variante alternativa. API refere-se a um modelo hospedado, que o provedor oferece na forma que desejar.
Abrir Bancada Principal Cada pontuação aqui é uma coluna no quadro.