Röviden
- Megdolgozik érte: kérdésenként nagyjából 2.5× annyi modellhívás és 4× annyi eszközhívás, mint a másik hétnél.
- Meg is fizet érte: a v2-n $11.46 kérdésenként, míg a Fable 5.1-nél $1.24.
- Az Energent felhasználói számára semmi sem változott. Az ügynök modellfüggetlen, így egy csütörtökön érkezett modellt péntekre már lemértünk, és a kompromisszum három sarka most: a legolcsóbb GPT-5.6 Terra, a kiegyensúlyozott Fable 5.1, a legerősebb GPT-6 Astra.
Ugyanaz a teszt, eggyel több modell
A beállítás ugyanaz, mint a hétmodelles bejegyzésben: OfficeQA v1 Hard, 133 kérdés 697 Treasury Bulletin fölött, és OfficeQA Pro V2, 90 kérdés 1,435 beszkennelt főkönyv fölött, ugyanazok az eszközök, promptok és lépéskeret, minden modellnél magas érvelési erőfeszítés, modellenként egy futás, a hivatalos pontozóval értékelve. Az Astra közvetlenül az OpenAI API-ján futott, kiadásonként egy futással, mint a ranglista minden más modellje.
Eredmények
Pontosság, v1-ről v2-re
A bejegyzés tetején lévő diagram a nyolc modellt a v1-pontszámuktól a v2-pontszámukig húzott nyilakként ábrázolja. A számok a táblázatban vannak.
| Modell | v1 (133 kérdés) | v2 (90 kérdés) | Változás |
|---|---|---|---|
| GPT-6 Astra | 72.2% | 73.3% | +1.1 |
| Fable 5.1 | 72.2% | 70.0% | −2.2 |
| GPT-5.6 Sol | 71.4% | 68.9% | −2.5 |
| Opus 5 | 74.4% | 63.3% | −11.1 |
| Fable 5 | 72.2% | 57.8% | −14.4 |
| GPT-5.6 Terra | 60.9% | 54.4% | −6.5 |
| Gemini 3.1 Pro | 56.4% | 44.4% | −12.0 |
| Sonnet 5 | 67.7% | 38.9% | −28.8 |
Pontosság a költség függvényében
| Modell | $ / kérdés v2 | Perc v2 | Modellhívás | Eszközhívás |
|---|---|---|---|---|
| GPT-6 Astra | $11.46 | 14.8 | 56.3 | 142.6 |
| Fable 5.1 | $1.24 | 3.2 | 18.1 | 17.6 |
| GPT-5.6 Sol | $2.12 | 6.9 | 24.3 | 61.9 |
| Opus 5 | $0.98 | 2.7 | 17.0 | 19.4 |
| Fable 5 | $2.00 | 4.0 | 14.8 | 19.5 |
| GPT-5.6 Terra | $0.63 | 3.8 | 20.7 | 43.4 |
| Gemini 3.1 Pro | $1.01 | 5.3 | 38.4 | 36.9 |
| Sonnet 5 | $0.83 | 7.0 | 25.9 | 33.0 |
Következtetés
A nehezebb kiadás a múlt héten szétválasztotta a mezőnyt; az Astra az első modell, amely a másik oldalról zárja a rést: nem olcsóbb, hanem keményebben dolgozik. Az Energent felhasználói számára ez egy harmadik sarkot ad ahhoz a választáshoz, amelyet mi hozunk meg helyettük: Terra, amikor a kérdésenkénti költség számít a legjobban, Fable 5.1, amikor a pontosság és a költség egyaránt, Astra, amikor csak a válasz.
Köszönet
Ismét a Databricks csapatának egy olyan benchmarkért, amely ugyanabból a feladatból két kiadásban jelent meg. Minden, a ranglistához hozzáadott modell értékesebbé teszi ezt a folytonosságot.
Hivatkozások
- A hétmodelles bejegyzés, a teljes módszertannal és a v1- és v2-táblázatokkal
- GPT-6 Astra modelloldal, OpenAI
- OpenAI API-árazás
- Claude Fable 5.1 modelloldal, Anthropic
- OfficeQA Pro V2 adatkészlet, Databricks