TL;DR
- Il travaille pour y parvenir : environ 2.5× les appels modèle et 4× les appels outils par question des sept autres.
- Il le paie : $11.46 par question sur v2 contre $1.24 pour Fable 5.1.
- Rien n’a changé pour les utilisateurs d’Energent. L’agent est indépendant du modèle, donc un modèle arrivé un jeudi était mesuré dès le vendredi, et les trois sommets de l’arbitrage sont désormais : GPT-5.6 Terra le moins cher, Fable 5.1 l’équilibré, GPT-6 Astra le plus fort.
Même test, un modèle de plus
Le dispositif est celui de l’article sur les sept modèles : OfficeQA v1 Hard, 133 questions portant sur 697 Treasury Bulletins, et OfficeQA Pro V2, 90 questions portant sur 1,435 registres numérisés, les mêmes outils, prompts et budget d’étapes, effort de raisonnement élevé pour chaque modèle, une exécution par modèle notée par le système de notation officiel. Astra a tourné directement sur l’API d’OpenAI, une exécution par édition, comme chaque autre modèle du classement.
Résultats
Précision, de v1 à v2
Le graphique en haut de cet article montre les huit modèles sous forme de flèches allant de leur score v1 à leur score v2. Le tableau donne les chiffres.
| Modèle | v1 (133 q) | v2 (90 q) | Variation |
|---|---|---|---|
| GPT-6 Astra | 72.2% | 73.3% | +1.1 |
| Fable 5.1 | 72.2% | 70.0% | −2.2 |
| GPT-5.6 Sol | 71.4% | 68.9% | −2.5 |
| Opus 5 | 74.4% | 63.3% | −11.1 |
| Fable 5 | 72.2% | 57.8% | −14.4 |
| GPT-5.6 Terra | 60.9% | 54.4% | −6.5 |
| Gemini 3.1 Pro | 56.4% | 44.4% | −12.0 |
| Sonnet 5 | 67.7% | 38.9% | −28.8 |
Précision en fonction du coût
| Modèle | $ / question v2 | Minutes v2 | Appels modèle | Appels outils |
|---|---|---|---|---|
| GPT-6 Astra | $11.46 | 14.8 | 56.3 | 142.6 |
| Fable 5.1 | $1.24 | 3.2 | 18.1 | 17.6 |
| GPT-5.6 Sol | $2.12 | 6.9 | 24.3 | 61.9 |
| Opus 5 | $0.98 | 2.7 | 17.0 | 19.4 |
| Fable 5 | $2.00 | 4.0 | 14.8 | 19.5 |
| GPT-5.6 Terra | $0.63 | 3.8 | 20.7 | 43.4 |
| Gemini 3.1 Pro | $1.01 | 5.3 | 38.4 | 36.9 |
| Sonnet 5 | $0.83 | 7.0 | 25.9 | 33.0 |
Conclusion
L’édition plus difficile a dispersé le peloton la semaine dernière ; Astra est le premier modèle à combler l’écart par l’autre bout, en travaillant davantage plutôt qu’en coûtant moins. Pour les utilisateurs d’Energent, cela ajoute un troisième sommet au choix que nous faisons pour vous : Terra quand le coût par question compte avant tout, Fable 5.1 quand la précision et le coût comptent tous les deux, Astra quand seule la réponse compte.
Remerciements
Encore une fois à l’équipe Databricks pour un benchmark publié en deux éditions de la même tâche. Chaque modèle ajouté au classement rend cette continuité plus précieuse.
Références
- L’article sur les sept modèles, avec la méthode complète et les tableaux v1 et v2
- Page du modèle GPT-6 Astra, OpenAI
- Tarifs de l’API OpenAI
- Page du modèle Claude Fable 5.1, Anthropic
- Jeu de données OfficeQA Pro V2, Databricks