Kort fortalt
- Den jobber for det: omtrent 2.5× så mange modellkall og 4× så mange verktøykall per spørsmål som de sju andre.
- Den betaler for det: $11.46 per spørsmål på v2 mot $1.24 for Fable 5.1.
- Ingenting endret seg for Energent-brukere. Agenten er modellagnostisk, så en modell som kom en torsdag, var målt innen fredag, og de tre hjørnene i avveiningen er nå: billigst GPT-5.6 Terra, balansert Fable 5.1, sterkest GPT-6 Astra.
Samme test, én modell til
Oppsettet er det samme som i innlegget om de sju modellene: OfficeQA v1 Hard, 133 spørsmål over 697 Treasury Bulletins, og OfficeQA Pro V2, 90 spørsmål over 1,435 skannede regnskapsbøker, de samme verktøyene, promptene og stegbudsjettet, resonneringsinnsats satt til høy for hver modell, én kjøring per modell poengsatt av den offisielle scoreren. Astra kjørte direkte på OpenAIs API, én kjøring per utgave, som alle andre modeller på ranglisten.
Resultater
Nøyaktighet, v1 til v2
Diagrammet øverst i dette innlegget viser de åtte modellene som piler fra v1-poengsummen til v2-poengsummen deres. Tabellen har tallene.
| Modell | v1 (133 spm.) | v2 (90 spm.) | Endring |
|---|---|---|---|
| GPT-6 Astra | 72.2% | 73.3% | +1.1 |
| Fable 5.1 | 72.2% | 70.0% | −2.2 |
| GPT-5.6 Sol | 71.4% | 68.9% | −2.5 |
| Opus 5 | 74.4% | 63.3% | −11.1 |
| Fable 5 | 72.2% | 57.8% | −14.4 |
| GPT-5.6 Terra | 60.9% | 54.4% | −6.5 |
| Gemini 3.1 Pro | 56.4% | 44.4% | −12.0 |
| Sonnet 5 | 67.7% | 38.9% | −28.8 |
Nøyaktighet mot kostnad
| Modell | $ / spørsmål v2 | Minutter v2 | Modellkall | Verktøykall |
|---|---|---|---|---|
| GPT-6 Astra | $11.46 | 14.8 | 56.3 | 142.6 |
| Fable 5.1 | $1.24 | 3.2 | 18.1 | 17.6 |
| GPT-5.6 Sol | $2.12 | 6.9 | 24.3 | 61.9 |
| Opus 5 | $0.98 | 2.7 | 17.0 | 19.4 |
| Fable 5 | $2.00 | 4.0 | 14.8 | 19.5 |
| GPT-5.6 Terra | $0.63 | 3.8 | 20.7 | 43.4 |
| Gemini 3.1 Pro | $1.01 | 5.3 | 38.4 | 36.9 |
| Sonnet 5 | $0.83 | 7.0 | 25.9 | 33.0 |
Konklusjon
Den vanskeligere utgaven spredte feltet forrige uke; Astra er den første modellen som tetter gapet fra den andre siden, ved å jobbe hardere heller enn ved å være billigere. For Energent-brukere legger det et tredje hjørne til valget vi tar for deg: Terra når kostnaden per spørsmål betyr mest, Fable 5.1 når både nøyaktighet og kostnad teller, Astra når bare svaret gjør det.
Takk
Igjen til Databricks-teamet for en benchmark som kommer i to utgaver av samme oppgave. Hver modell som legges til på ranglisten, gjør den kontinuiteten mer verdifull.
Referanser
- Innlegget om de sju modellene, med den fulle metoden og v1- og v2-tabellene
- GPT-6 Astra-modellsiden, OpenAI
- OpenAI API-priser
- Claude Fable 5.1-modellsiden, Anthropic
- OfficeQA Pro V2-datasettet, Databricks