Sammanfattning
- Den arbetar för det: ungefär 2.5× så många modellanrop och 4× så många verktygsanrop per fråga som de övriga sju.
- Den betalar för det: $11.46 per fråga på v2 mot Fable 5.1:s $1.24.
- Inget ändrades för Energent-användare. Agenten är modellagnostisk, så en modell som kom på en torsdag var uppmätt på fredagen, och avvägningens tre hörn är nu: billigast GPT-5.6 Terra, balanserad Fable 5.1, starkast GPT-6 Astra.
Samma test, en modell till
Upplägget är detsamma som i inlägget om de sju modellerna: OfficeQA v1 Hard, 133 frågor över 697 Treasury Bulletins, och OfficeQA Pro V2, 90 frågor över 1,435 skannade räkenskapsböcker, samma verktyg, prompter och stegbudget, reasoning effort satt till hög för varje modell, en körning per modell poängsatt av den officiella utvärderaren. Astra kördes direkt mot OpenAI:s API, en körning per utgåva, som varje annan modell på resultattavlan.
Resultat
Noggrannhet, v1 till v2
Diagrammet högst upp i det här inlägget visar de åtta modellerna som pilar från deras v1-poäng till deras v2-poäng. Tabellen har siffrorna.
| Modell | v1 (133 frågor) | v2 (90 frågor) | Förändring |
|---|---|---|---|
| GPT-6 Astra | 72.2% | 73.3% | +1.1 |
| Fable 5.1 | 72.2% | 70.0% | −2.2 |
| GPT-5.6 Sol | 71.4% | 68.9% | −2.5 |
| Opus 5 | 74.4% | 63.3% | −11.1 |
| Fable 5 | 72.2% | 57.8% | −14.4 |
| GPT-5.6 Terra | 60.9% | 54.4% | −6.5 |
| Gemini 3.1 Pro | 56.4% | 44.4% | −12.0 |
| Sonnet 5 | 67.7% | 38.9% | −28.8 |
Noggrannhet mot kostnad
| Modell | $ / fråga v2 | Minuter v2 | Modellanrop | Verktygsanrop |
|---|---|---|---|---|
| GPT-6 Astra | $11.46 | 14.8 | 56.3 | 142.6 |
| Fable 5.1 | $1.24 | 3.2 | 18.1 | 17.6 |
| GPT-5.6 Sol | $2.12 | 6.9 | 24.3 | 61.9 |
| Opus 5 | $0.98 | 2.7 | 17.0 | 19.4 |
| Fable 5 | $2.00 | 4.0 | 14.8 | 19.5 |
| GPT-5.6 Terra | $0.63 | 3.8 | 20.7 | 43.4 |
| Gemini 3.1 Pro | $1.01 | 5.3 | 38.4 | 36.9 |
| Sonnet 5 | $0.83 | 7.0 | 25.9 | 33.0 |
Slutsats
Den svårare utgåvan delade upp fältet förra veckan; Astra är den första modellen som sluter gapet från andra hållet, genom att arbeta hårdare snarare än genom att vara billigare. För Energent-användare lägger det till ett tredje hörn i det val vi gör åt er: Terra när kostnaden per fråga spelar störst roll, Fable 5.1 när både noggrannhet och kostnad spelar roll, Astra när bara svaret gör det.
Tack
Återigen till Databricks-teamet för ett benchmark som kommer i två utgåvor av samma uppgift. Varje modell som läggs till på resultattavlan gör den kontinuiteten mer värdefull.
Referenser
- Inlägget om de sju modellerna, med hela metoden och v1- och v2-tabellerna
- Modellsidan för GPT-6 Astra, OpenAI
- Prissättning för OpenAI:s API
- Modellsidan för Claude Fable 5.1, Anthropic
- Datauppsättningen OfficeQA Pro V2, Databricks