Shrnutí
- Odpracuje si to: zhruba 2.5× více volání modelu a 4× více volání nástrojů na otázku než ostatních sedm.
- A zaplatí za to: $11.46 na otázku na v2 oproti $1.24 u Fable 5.1.
- Pro uživatele Energentu se nic nemění. Agent je nezávislý na modelu, takže model, který dorazil ve čtvrtek, byl do pátku změřen, a kompromis má nyní tři vrcholy: nejlevnější GPT-5.6 Terra, vyvážený Fable 5.1, nejsilnější GPT-6 Astra.
Stejný test, o jeden model více
Uspořádání je stejné jako v článku o sedmi modelech: OfficeQA v1 Hard, 133 otázek nad 697 bulletiny amerického ministerstva financí (Treasury Bulletins), a OfficeQA Pro V2, 90 otázek nad 1,435 naskenovanými účetními knihami, stejné nástroje, prompty a rozpočet kroků, úroveň uvažování (reasoning effort) high u každého modelu, jeden běh na model hodnocený oficiálním hodnoticím nástrojem. Astra běžel přímo na API OpenAI, jeden běh na edici, stejně jako každý jiný model v našem přehledu.
Výsledky
Přesnost, od v1 k v2
Graf v úvodu tohoto článku zobrazuje osm modelů jako šipky od jejich skóre na v1 ke skóre na v2. Čísla uvádí tabulka.
| Model | v1 (133 ot.) | v2 (90 ot.) | Změna |
|---|---|---|---|
| GPT-6 Astra | 72.2% | 73.3% | +1.1 |
| Fable 5.1 | 72.2% | 70.0% | −2.2 |
| GPT-5.6 Sol | 71.4% | 68.9% | −2.5 |
| Opus 5 | 74.4% | 63.3% | −11.1 |
| Fable 5 | 72.2% | 57.8% | −14.4 |
| GPT-5.6 Terra | 60.9% | 54.4% | −6.5 |
| Gemini 3.1 Pro | 56.4% | 44.4% | −12.0 |
| Sonnet 5 | 67.7% | 38.9% | −28.8 |
Přesnost v poměru k nákladům
| Model | $ / otázka v2 | Minuty v2 | Volání modelu | Volání nástrojů |
|---|---|---|---|---|
| GPT-6 Astra | $11.46 | 14.8 | 56.3 | 142.6 |
| Fable 5.1 | $1.24 | 3.2 | 18.1 | 17.6 |
| GPT-5.6 Sol | $2.12 | 6.9 | 24.3 | 61.9 |
| Opus 5 | $0.98 | 2.7 | 17.0 | 19.4 |
| Fable 5 | $2.00 | 4.0 | 14.8 | 19.5 |
| GPT-5.6 Terra | $0.63 | 3.8 | 20.7 | 43.4 |
| Gemini 3.1 Pro | $1.01 | 5.3 | 38.4 | 36.9 |
| Sonnet 5 | $0.83 | 7.0 | 25.9 | 33.0 |
Závěr
Těžší edice minulý týden rozestoupila pole; Astra je prvním modelem, který mezeru uzavírá z druhé strany, tím, že pracuje usilovněji, nikoli tím, že je levnější. Pro uživatele Energentu to přidává třetí vrchol k volbě, kterou za vás děláme: Terra, když nejvíce záleží na nákladech na otázku, Fable 5.1, když záleží na přesnosti i nákladech, Astra, když záleží jen na odpovědi.
Poděkování
Znovu týmu Databricks za benchmark, který přichází ve dvou edicích téže úlohy. Každý model přidaný do přehledu činí tuto kontinuitu cennější.
Reference
- Článek o sedmi modelech, s úplnou metodou a tabulkami pro v1 a v2
- Stránka modelu GPT-6 Astra, OpenAI
- Ceník API OpenAI
- Stránka modelu Claude Fable 5.1, Anthropic
- Dataset OfficeQA Pro V2, Databricks