MakoBench: Haupt-Bench

• Total = Code + Chat. 10 each is a perfect run of the standard tests, so 20 is the nominal top; bonus packs add points on top, up to the suite's most possible (a row's bars run to it).
• ± Gesamtwert = die Hälfte des 90%-Intervalls einer Bootstrap-Analyse über alle Testfälle; Modelle, deren Werte näher beieinander liegen, gelten statistisch als gleichwertig.
• Jedes Modell wird nur einmal ausgeführt; daher gibt „±“ an, welche Fälle berücksichtigt wurden – nicht aber den Zufallsfehler zwischen den Ausführungen. Dadurch wird die tatsächliche Unsicherheit unterschätzt. Bei Zeilen mit denselben Gewichten („Quant“- oder „Serving-Tier“-Paare) beträgt die Abweichung bis zu 2,4 Punkte. Unterschiede von einem oder zwei Punkten sollten als Unentschiedenheit gewertet werden.
• Klasse ist ein grober Bereich in Total: S ≥ 16, A ≥ 13, B ≥ 10, C ≥ 0.
• „Lean“ bedeutet, dass die Seite eher zum Chat- oder Code-Stil neigt, wenn der Abstand zur Medianlinie des Boards 1,5 Punkte oder mehr beträgt; ansonsten ist die Seite ausgewogen.
• tok/s = mittlere Generierungsgeschwindigkeit; nur vergleichbar zwischen Modellen, die auf demselben Host ausgeführt werden.
• Quant = die von uns bewertete Quantisierung. Q8_0 ist der Standard für lokale Modelle; jede andere Quantisierung wird in den Zeilendetails als nicht standardmäßige Quantisierung gekennzeichnet. API = ein gehostetes Modell, das vom jeweiligen Anbieter bereitgestellt wird.
• Kosten pro Ausführung = Kosten für eine einzige Ausführung der Code- und Chat-Tests zu den Preisen des Anbieters – nur die Generierung der Ergebnisse. ~ = geschätzt anhand der Anzahl der Tokens zu den Listenpreisen. * bedeutet, dass bei einigen Anfragen keine Nutzungsdaten zurückkamen; daher könnte der Wert zu niedrig sein. — = Ausführung auf unserer eigenen Hardware – daher entstehen keine Kosten.
• N blockiert = Der Inhaltsfilter des Anbieters hat N Antworten blockiert; jede erhält die Note Null.
• Eine Zeile pro Modell: Andere Quanten und Service-Tiers mit denselben Gewichten befinden sich unter der Hauptzeile (Pfeil öffnen) und werden nicht rangiert.
• ⚠ Vorläufig = ohne Rang angezeigt; der Grund dafür steht in der Zeile (fehlgeschlagene Kompatibilitätsprüfung, Tests noch nicht abgeschlossen oder Bonuspakete, die erneut ausgeführt werden müssen). Eine Zeile, die erneut ausgeführt werden kann, erhält einen Rang nach der erneuten Ausführung; Zeilen, die unter Q5 getestet wurden, sowie Modelle, die für alle Tests zu klein sind, bleiben ungerankt.
• Ein Bindestrich bei „Total“ bedeutet, dass ein Teil der Ausführung dieses Modells (Code, Chat oder ein Bonus-Paket) noch nicht bewertet wurde und daher auch nicht rangiert ist.

Neu hier? Sehen Sie, was die Tests messen.