Tiivistelmä
- Se tekee sen eteen töitä: noin 2.5× enemmän mallikutsuja ja 4× enemmän työkalukutsuja kysymystä kohden kuin muut seitsemän.
- Se maksaa siitä: $11.46 kysymystä kohden v2:ssa, kun Fable 5.1 maksaa $1.24.
- Energentin käyttäjille mikään ei muuttunut. Agentti on malliriippumaton, joten torstaina saapunut malli oli mitattu perjantaihin mennessä, ja kompromissin kolme kulmaa ovat nyt: halvin GPT-5.6 Terra, tasapainoinen Fable 5.1, vahvin GPT-6 Astra.
Sama testi, yksi malli lisää
Asetelma on sama kuin seitsemän mallin artikkelissa: OfficeQA v1 Hard, 133 kysymystä 697 Treasury Bulletin -julkaisusta, ja OfficeQA Pro V2, 90 kysymystä 1,435 skannatusta tilikirjasta, samat työkalut, kehotteet ja askelbudjetti, päättelytaso high jokaisella mallilla, yksi ajo mallia kohden virallisella arvioijalla pisteytettynä. Astra ajettiin suoraan OpenAI:n API:ssa, yksi ajo painosta kohden, kuten jokainen muukin tulostaulukon malli.
Tulokset
Tarkkuus, v1:stä v2:een
Artikkelin yläosan kaavio näyttää kahdeksan mallia nuolina niiden v1-tuloksesta v2-tulokseen. Taulukossa ovat luvut.
| Malli | v1 (133 kys.) | v2 (90 kys.) | Muutos |
|---|---|---|---|
| GPT-6 Astra | 72.2% | 73.3% | +1.1 |
| Fable 5.1 | 72.2% | 70.0% | −2.2 |
| GPT-5.6 Sol | 71.4% | 68.9% | −2.5 |
| Opus 5 | 74.4% | 63.3% | −11.1 |
| Fable 5 | 72.2% | 57.8% | −14.4 |
| GPT-5.6 Terra | 60.9% | 54.4% | −6.5 |
| Gemini 3.1 Pro | 56.4% | 44.4% | −12.0 |
| Sonnet 5 | 67.7% | 38.9% | −28.8 |
Tarkkuus suhteessa kustannukseen
| Malli | $ / kysymys v2 | Minuuttia v2 | Mallikutsuja | Työkalukutsuja |
|---|---|---|---|---|
| GPT-6 Astra | $11.46 | 14.8 | 56.3 | 142.6 |
| Fable 5.1 | $1.24 | 3.2 | 18.1 | 17.6 |
| GPT-5.6 Sol | $2.12 | 6.9 | 24.3 | 61.9 |
| Opus 5 | $0.98 | 2.7 | 17.0 | 19.4 |
| Fable 5 | $2.00 | 4.0 | 14.8 | 19.5 |
| GPT-5.6 Terra | $0.63 | 3.8 | 20.7 | 43.4 |
| Gemini 3.1 Pro | $1.01 | 5.3 | 38.4 | 36.9 |
| Sonnet 5 | $0.83 | 7.0 | 25.9 | 33.0 |
Johtopäätös
Vaikeampi painos hajautti kentän viime viikolla; Astra on ensimmäinen malli, joka kuroo eron umpeen toiselta puolelta, tekemällä enemmän töitä eikä olemalla halvempi. Energentin käyttäjille tämä lisää kolmannen kulman valintaan, jonka teemme puolestasi: Terra, kun kustannus kysymystä kohden merkitsee eniten, Fable 5.1, kun sekä tarkkuus että kustannus merkitsevät, Astra, kun vain vastaus merkitsee.
Kiitokset
Jälleen Databricksin tiimille vertailutestistä, joka tulee saman tehtävän kahtena painoksena. Jokainen tulostaulukkoon lisätty malli tekee tuosta jatkuvuudesta arvokkaamman.
Lähteet
- Seitsemän mallin artikkeli, jossa on koko menetelmä sekä v1- ja v2-taulukot
- GPT-6 Astra -mallisivu, OpenAI
- OpenAI API:n hinnoittelu
- Claude Fable 5.1 -mallisivu, Anthropic
- OfficeQA Pro V2 -aineisto, Databricks