MakoBench: Bancada Principal

• Total = Code + Chat. 10 each is a perfect run of the standard tests, so 20 is the nominal top; bonus packs add points on top, up to the suite's most possible (a row's bars run to it).
• ± Total = metade do intervalo de 90% obtido por bootstrap sobre os casos de teste; modelos cuja distância é menor que isso são estatisticamente empatados.
• Cada modelo é executado uma única vez; portanto, o ± indica quais casos foram selecionados, não o ruído entre execuções, e subestima a verdadeira incerteza. As linhas correspondentes aos mesmos pesos (como os pares “quant” e “serving-tier”) diferem entre si em até 2,4 pontos aqui. Considere diferenças de um ou dois pontos como empates.
• A classe é uma faixa geral em Total: S ≥ 16, A ≥ 13, B ≥ 10, C ≥ 0.
• Lean = tendência para chat ou código quando a diferença em relação à mediana do quadro é de 1,5 pontos ou mais; caso contrário, é equilibrado.
• tok/s = velocidade média de geração; só é comparável entre modelos executados no mesmo host.
• Quant = a quantização que avaliamos. O Q8_0 é o padrão para modelos locais; qualquer outra quantização é marcada como não padrão nos detalhes da linha. API = um modelo hospedado, fornecido pelo seu provedor.
• Custo por execução = quanto custa uma execução dos testes Code e Chat, segundo os preços do provedor, apenas para geração de conteúdo. ~ = valor estimado com base na contagem de tokens e nos preços listados. * indica que algumas solicitações retornaram sem dados de uso; portanto, o valor pode estar subestimado. — = execução feita em nosso próprio hardware, logo não há cobrança.
• N bloqueados = o filtro de conteúdo do provedor bloqueou N respostas; cada uma recebeu nota zero.
• Uma linha por modelo: outros quantificadores e níveis de serviço com os mesmos pesos ficam abaixo da linha principal (abra a seta); eles não são classificados.
• ⚠ Provisório = exibido sem classificação; o motivo está na própria linha (verificação de compatibilidade falhou, testes não concluídos ou pacotes de bônus aguardando nova execução). Uma linha que pode ser executada novamente recebe uma classificação após essa nova execução; as linhas testadas abaixo do nível Q5 e os modelos pequenos demais para todos os testes permanecem sem classificação.
• Um traço em “Total” significa que uma parte da execução daquele modelo (Código, Chat ou um pacote bônus) ainda não foi pontuada; portanto, não está classificada.

Novo por aqui? Veja o que os testes medem.