In breve
- Lavora per ottenerlo: circa 2.5× le chiamate al modello e 4× le chiamate agli strumenti per domanda rispetto agli altri sette.
- E lo paga: $11.46 per domanda sulla v2 contro i $1.24 di Fable 5.1.
- Per gli utenti di Energent non è cambiato nulla. L’agente è indipendente dal modello, quindi un modello arrivato di giovedì è stato misurato entro venerdì, e i tre vertici del compromesso ora sono: il più economico GPT-5.6 Terra, l’equilibrato Fable 5.1, il più forte GPT-6 Astra.
Stesso test, un modello in più
La configurazione è quella del post sui sette modelli: OfficeQA v1 Hard, 133 domande su 697 Treasury Bulletin, e OfficeQA Pro V2, 90 domande su 1,435 registri contabili scansionati, gli stessi strumenti, prompt e budget di passi, sforzo di ragionamento (reasoning effort) alto per ogni modello, un’esecuzione per modello valutata dal sistema di valutazione ufficiale. Astra è stato eseguito direttamente sull’API di OpenAI, un’esecuzione per edizione, come ogni altro modello in classifica.
Risultati
Accuratezza, da v1 a v2
Il grafico in cima a questo post mostra gli otto modelli come frecce dal loro punteggio v1 al loro punteggio v2. La tabella riporta i numeri.
| Modello | v1 (133 domande) | v2 (90 domande) | Variazione |
|---|---|---|---|
| GPT-6 Astra | 72.2% | 73.3% | +1.1 |
| Fable 5.1 | 72.2% | 70.0% | −2.2 |
| GPT-5.6 Sol | 71.4% | 68.9% | −2.5 |
| Opus 5 | 74.4% | 63.3% | −11.1 |
| Fable 5 | 72.2% | 57.8% | −14.4 |
| GPT-5.6 Terra | 60.9% | 54.4% | −6.5 |
| Gemini 3.1 Pro | 56.4% | 44.4% | −12.0 |
| Sonnet 5 | 67.7% | 38.9% | −28.8 |
Accuratezza rispetto al costo
| Modello | $ / domanda v2 | Minuti v2 | Chiamate modello | Chiamate strumenti |
|---|---|---|---|---|
| GPT-6 Astra | $11.46 | 14.8 | 56.3 | 142.6 |
| Fable 5.1 | $1.24 | 3.2 | 18.1 | 17.6 |
| GPT-5.6 Sol | $2.12 | 6.9 | 24.3 | 61.9 |
| Opus 5 | $0.98 | 2.7 | 17.0 | 19.4 |
| Fable 5 | $2.00 | 4.0 | 14.8 | 19.5 |
| GPT-5.6 Terra | $0.63 | 3.8 | 20.7 | 43.4 |
| Gemini 3.1 Pro | $1.01 | 5.3 | 38.4 | 36.9 |
| Sonnet 5 | $0.83 | 7.0 | 25.9 | 33.0 |
Conclusione
La settimana scorsa l’edizione più difficile ha distanziato i modelli; Astra è il primo modello a colmare il divario dall’altro lato, lavorando di più anziché costando meno. Per gli utenti di Energent questo aggiunge un terzo vertice alla scelta che facciamo per voi: Terra quando conta soprattutto il costo per domanda, Fable 5.1 quando contano sia l’accuratezza sia il costo, Astra quando conta solo la risposta.
Ringraziamenti
Ancora una volta al team di Databricks per un benchmark che arriva in due edizioni dello stesso compito. Ogni modello aggiunto alla classifica rende quella continuità più preziosa.
Riferimenti
- Il post sui sette modelli, con il metodo completo e le tabelle v1 e v2
- Pagina del modello GPT-6 Astra, OpenAI
- Prezzi dell’API di OpenAI
- Pagina del modello Claude Fable 5.1, Anthropic
- Dataset OfficeQA Pro V2, Databricks