Kurzfassung
- Es arbeitet dafür: etwa 2.5× so viele Modellaufrufe und 4× so viele Tool-Aufrufe pro Frage wie die anderen sieben.
- Es bezahlt dafür: $11.46 pro Frage auf v2 gegenüber $1.24 bei Fable 5.1.
- Für Energent-Nutzer hat sich nichts geändert. Der Agent ist modellagnostisch, sodass ein Modell, das an einem Donnerstag erschien, bis Freitag gemessen war, und die drei Eckpunkte der Abwägung lauten jetzt: am günstigsten GPT-5.6 Terra, ausgewogen Fable 5.1, am stärksten GPT-6 Astra.
Gleicher Test, ein Modell mehr
Der Aufbau ist derselbe wie im Beitrag zu den sieben Modellen: OfficeQA v1 Hard, 133 Fragen zu 697 Treasury Bulletins, und OfficeQA Pro V2, 90 Fragen zu 1,435 gescannten Rechnungsbüchern, dieselben Tools, Prompts und dasselbe Schrittbudget, Reasoning-Aufwand auf „high“ für jedes Modell, ein Lauf pro Modell, bewertet vom offiziellen Scorer. Astra lief direkt auf der API von OpenAI, ein Lauf pro Ausgabe, wie jedes andere Modell auf der Rangliste.
Ergebnisse
Genauigkeit, von v1 zu v2
Das Diagramm am Anfang dieses Beitrags zeigt die acht Modelle als Pfeile von ihrem v1-Ergebnis zu ihrem v2-Ergebnis. Die Tabelle enthält die Zahlen.
| Modell | v1 (133 Fragen) | v2 (90 Fragen) | Änderung |
|---|---|---|---|
| GPT-6 Astra | 72.2% | 73.3% | +1.1 |
| Fable 5.1 | 72.2% | 70.0% | −2.2 |
| GPT-5.6 Sol | 71.4% | 68.9% | −2.5 |
| Opus 5 | 74.4% | 63.3% | −11.1 |
| Fable 5 | 72.2% | 57.8% | −14.4 |
| GPT-5.6 Terra | 60.9% | 54.4% | −6.5 |
| Gemini 3.1 Pro | 56.4% | 44.4% | −12.0 |
| Sonnet 5 | 67.7% | 38.9% | −28.8 |
Genauigkeit gegenüber Kosten
| Modell | $ / Frage v2 | Minuten v2 | Modellaufrufe | Tool-Aufrufe |
|---|---|---|---|---|
| GPT-6 Astra | $11.46 | 14.8 | 56.3 | 142.6 |
| Fable 5.1 | $1.24 | 3.2 | 18.1 | 17.6 |
| GPT-5.6 Sol | $2.12 | 6.9 | 24.3 | 61.9 |
| Opus 5 | $0.98 | 2.7 | 17.0 | 19.4 |
| Fable 5 | $2.00 | 4.0 | 14.8 | 19.5 |
| GPT-5.6 Terra | $0.63 | 3.8 | 20.7 | 43.4 |
| Gemini 3.1 Pro | $1.01 | 5.3 | 38.4 | 36.9 |
| Sonnet 5 | $0.83 | 7.0 | 25.9 | 33.0 |
Fazit
Die schwierigere Ausgabe hat das Feld letzte Woche auseinandergezogen; Astra ist das erste Modell, das die Lücke von der anderen Seite schließt, indem es härter arbeitet, statt günstiger zu sein. Für Energent-Nutzer kommt damit ein dritter Eckpunkt zu der Wahl hinzu, die wir für Sie treffen: Terra, wenn die Kosten pro Frage am meisten zählen, Fable 5.1, wenn Genauigkeit und Kosten beide zählen, Astra, wenn nur die Antwort zählt.
Dank
Erneut dem Databricks-Team für einen Benchmark, der in zwei Ausgaben derselben Aufgabe vorliegt. Jedes Modell, das zur Rangliste hinzukommt, macht diese Kontinuität wertvoller.
Referenzen
- Der Beitrag zu den sieben Modellen, mit der vollständigen Methode und den v1- und v2-Tabellen
- Modellseite zu GPT-6 Astra, OpenAI
- Preise der OpenAI-API
- Modellseite zu Claude Fable 5.1, Anthropic
- Datensatz OfficeQA Pro V2, Databricks