Samenvatting
- Daar werkt het voor: ongeveer 2.5× zoveel modelaanroepen en 4× zoveel toolaanroepen per vraag als de andere zeven.
- Daar betaalt het voor: $11.46 per vraag op v2 tegenover $1.24 voor Fable 5.1.
- Voor Energent-gebruikers is er niets veranderd. De agent is modelonafhankelijk, dus een model dat op een donderdag verscheen, was op vrijdag al gemeten, en de drie hoeken van de afweging zijn nu: de goedkoopste GPT-5.6 Terra, de evenwichtige Fable 5.1, de sterkste GPT-6 Astra.
Dezelfde test, één model erbij
De opzet is die van de post over zeven modellen: OfficeQA v1 Hard, 133 vragen over 697 Treasury Bulletins, en OfficeQA Pro V2, 90 vragen over 1,435 gescande grootboeken, dezelfde tools, prompts en stappenbudget, reasoning effort op hoog voor elk model, één run per model beoordeeld door de officiële scorer. Astra draaide rechtstreeks op de API van OpenAI, één run per editie, net als elk ander model op de ranglijst.
Resultaten
Nauwkeurigheid, v1 naar v2
De grafiek bovenaan deze post toont de acht modellen als pijlen van hun v1-score naar hun v2-score. De tabel bevat de cijfers.
| Model | v1 (133 vragen) | v2 (90 vragen) | Verandering |
|---|---|---|---|
| GPT-6 Astra | 72.2% | 73.3% | +1.1 |
| Fable 5.1 | 72.2% | 70.0% | −2.2 |
| GPT-5.6 Sol | 71.4% | 68.9% | −2.5 |
| Opus 5 | 74.4% | 63.3% | −11.1 |
| Fable 5 | 72.2% | 57.8% | −14.4 |
| GPT-5.6 Terra | 60.9% | 54.4% | −6.5 |
| Gemini 3.1 Pro | 56.4% | 44.4% | −12.0 |
| Sonnet 5 | 67.7% | 38.9% | −28.8 |
Nauwkeurigheid tegenover kosten
| Model | $ / vraag v2 | Minuten v2 | Modelaanroepen | Toolaanroepen |
|---|---|---|---|---|
| GPT-6 Astra | $11.46 | 14.8 | 56.3 | 142.6 |
| Fable 5.1 | $1.24 | 3.2 | 18.1 | 17.6 |
| GPT-5.6 Sol | $2.12 | 6.9 | 24.3 | 61.9 |
| Opus 5 | $0.98 | 2.7 | 17.0 | 19.4 |
| Fable 5 | $2.00 | 4.0 | 14.8 | 19.5 |
| GPT-5.6 Terra | $0.63 | 3.8 | 20.7 | 43.4 |
| Gemini 3.1 Pro | $1.01 | 5.3 | 38.4 | 36.9 |
| Sonnet 5 | $0.83 | 7.0 | 25.9 | 33.0 |
Conclusie
De moeilijkere editie trok vorige week het veld uit elkaar; Astra is het eerste model dat het gat van de andere kant dicht, door harder te werken in plaats van goedkoper te zijn. Voor Energent-gebruikers voegt dat een derde hoek toe aan de keuze die wij voor jou maken: Terra wanneer de kosten per vraag het zwaarst wegen, Fable 5.1 wanneer nauwkeurigheid en kosten allebei tellen, Astra wanneer alleen het antwoord telt.
Dankwoord
Opnieuw aan het Databricks-team voor een benchmark die in twee edities van dezelfde taak verschijnt. Elk model dat aan de ranglijst wordt toegevoegd, maakt die continuïteit waardevoller.
Referenties
- De post over zeven modellen, met de volledige methode en de v1- en v2-tabellen
- GPT-6 Astra-modelpagina, OpenAI
- OpenAI API-prijzen
- Claude Fable 5.1-modelpagina, Anthropic
- OfficeQA Pro V2-dataset, Databricks