Pe scurt
- Muncește pentru asta: face aproximativ de 2.5 ori mai multe apeluri de model și de 4 ori mai multe apeluri de instrumente pe întrebare decât celelalte șapte modele.
- Plătește pentru asta: $11.46 per întrebare pe v2, față de $1.24 pentru Fable 5.1.
- Nimic nu s-a schimbat pentru utilizatorii Energent. Agentul este independent de model, așa că un model apărut joi a fost măsurat până vineri, iar cele trei colțuri ale compromisului sunt acum: cel mai ieftin GPT-5.6 Terra, echilibratul Fable 5.1, cel mai puternic GPT-6 Astra.
Același test, încă un model
Configurația este cea din articolul despre cele șapte modele: OfficeQA v1 Hard, 133 de întrebări pe 697 de Buletine ale Trezoreriei, și OfficeQA Pro V2, 90 de întrebări pe 1,435 de registre scanate, aceleași instrumente, prompturi și buget de pași, efort de raționament ridicat pentru fiecare model, o singură rulare per model punctată de evaluatorul oficial. Astra a rulat direct pe API-ul OpenAI, o singură rulare per ediție, ca orice alt model din clasament.
Rezultate
Acuratețe, de la v1 la v2
Graficul din partea de sus a acestui articol arată cele opt modele ca săgeți de la scorul lor v1 la scorul lor v2. Tabelul conține cifrele.
| Model | v1 (133 întrebări) | v2 (90 întrebări) | Schimbare |
|---|---|---|---|
| GPT-6 Astra | 72.2% | 73.3% | +1.1 |
| Fable 5.1 | 72.2% | 70.0% | −2.2 |
| GPT-5.6 Sol | 71.4% | 68.9% | −2.5 |
| Opus 5 | 74.4% | 63.3% | −11.1 |
| Fable 5 | 72.2% | 57.8% | −14.4 |
| GPT-5.6 Terra | 60.9% | 54.4% | −6.5 |
| Gemini 3.1 Pro | 56.4% | 44.4% | −12.0 |
| Sonnet 5 | 67.7% | 38.9% | −28.8 |
Acuratețe în raport cu costul
| Model | $ / întrebare v2 | Minute v2 | Apeluri de model | Apeluri de instrumente |
|---|---|---|---|---|
| GPT-6 Astra | $11.46 | 14.8 | 56.3 | 142.6 |
| Fable 5.1 | $1.24 | 3.2 | 18.1 | 17.6 |
| GPT-5.6 Sol | $2.12 | 6.9 | 24.3 | 61.9 |
| Opus 5 | $0.98 | 2.7 | 17.0 | 19.4 |
| Fable 5 | $2.00 | 4.0 | 14.8 | 19.5 |
| GPT-5.6 Terra | $0.63 | 3.8 | 20.7 | 43.4 |
| Gemini 3.1 Pro | $1.01 | 5.3 | 38.4 | 36.9 |
| Sonnet 5 | $0.83 | 7.0 | 25.9 | 33.0 |
Concluzie
Ediția mai grea a despărțit plutonul săptămâna trecută; Astra este primul model care închide decalajul din cealaltă parte, muncind mai mult, nu fiind mai ieftin. Pentru utilizatorii Energent, asta adaugă un al treilea colț alegerii pe care o facem pentru dumneavoastră: Terra când costul per întrebare contează cel mai mult, Fable 5.1 când contează atât acuratețea, cât și costul, Astra când contează doar răspunsul.
Mulțumiri
Din nou echipei Databricks pentru un benchmark care vine în două ediții ale aceleiași sarcini. Fiecare model adăugat în clasament face această continuitate și mai valoroasă.
Referințe
- Articolul despre cele șapte modele, cu metoda completă și tabelele v1 și v2
- Pagina modelului GPT-6 Astra, OpenAI
- Prețurile API-ului OpenAI
- Pagina modelului Claude Fable 5.1, Anthropic
- Setul de date OfficeQA Pro V2, Databricks