Kort fortalt
- Den arbejder for det: omkring 2.5× så mange modelkald og 4× så mange værktøjskald pr. spørgsmål som de syv andre.
- Den betaler for det: $11.46 pr. spørgsmål på v2 mod Fable 5.1's $1.24.
- Intet ændrede sig for Energent-brugere. Agenten er modelagnostisk, så en model, der kom en torsdag, var målt inden fredag, og afvejningens tre hjørner er nu: billigst GPT-5.6 Terra, balanceret Fable 5.1, stærkest GPT-6 Astra.
Samme test, én model mere
Opsætningen er den samme som i indlægget om de syv modeller: OfficeQA v1 Hard, 133 spørgsmål over 697 Treasury Bulletins, og OfficeQA Pro V2, 90 spørgsmål over 1,435 scannede regnskabsbøger, de samme værktøjer, prompts og trinbudget, ræsonnementsindsatsen sat til høj for alle modeller, én kørsel pr. model bedømt af den officielle scorer. Astra kørte direkte på OpenAIs API, én kørsel pr. udgave, ligesom alle andre modeller på ranglisten.
Resultater
Nøjagtighed, v1 til v2
Diagrammet øverst i dette indlæg viser de otte modeller som pile fra deres v1-score til deres v2-score. Tabellen har tallene.
| Model | v1 (133 spm.) | v2 (90 spm.) | Ændring |
|---|---|---|---|
| GPT-6 Astra | 72.2% | 73.3% | +1.1 |
| Fable 5.1 | 72.2% | 70.0% | −2.2 |
| GPT-5.6 Sol | 71.4% | 68.9% | −2.5 |
| Opus 5 | 74.4% | 63.3% | −11.1 |
| Fable 5 | 72.2% | 57.8% | −14.4 |
| GPT-5.6 Terra | 60.9% | 54.4% | −6.5 |
| Gemini 3.1 Pro | 56.4% | 44.4% | −12.0 |
| Sonnet 5 | 67.7% | 38.9% | −28.8 |
Nøjagtighed i forhold til omkostning
| Model | $ / spørgsmål v2 | Minutter v2 | Modelkald | Værktøjskald |
|---|---|---|---|---|
| GPT-6 Astra | $11.46 | 14.8 | 56.3 | 142.6 |
| Fable 5.1 | $1.24 | 3.2 | 18.1 | 17.6 |
| GPT-5.6 Sol | $2.12 | 6.9 | 24.3 | 61.9 |
| Opus 5 | $0.98 | 2.7 | 17.0 | 19.4 |
| Fable 5 | $2.00 | 4.0 | 14.8 | 19.5 |
| GPT-5.6 Terra | $0.63 | 3.8 | 20.7 | 43.4 |
| Gemini 3.1 Pro | $1.01 | 5.3 | 38.4 | 36.9 |
| Sonnet 5 | $0.83 | 7.0 | 25.9 | 33.0 |
Konklusion
Den sværere udgave spredte feltet i sidste uge; Astra er den første model, der lukker hullet fra den anden side, ved at arbejde hårdere frem for at være billigere. For Energent-brugere føjer det et tredje hjørne til det valg, vi træffer for dig: Terra, når omkostningen pr. spørgsmål betyder mest; Fable 5.1, når både nøjagtighed og omkostning gør det; Astra, når kun svaret gør det.
Tak
Igen til Databricks-teamet for et benchmark, der kommer i to udgaver af den samme opgave. Hver model, der føjes til ranglisten, gør den kontinuitet mere værdifuld.
Referencer
- Indlægget om de syv modeller, med den fulde metode og v1- og v2-tabellerne
- GPT-6 Astra-modelside, OpenAI
- OpenAI API-priser
- Claude Fable 5.1-modelside, Anthropic
- OfficeQA Pro V2-datasæt, Databricks