Données plus difficiles, même agent : de combien chaque modèle a chuté

Databricks a rendu OfficeQA plus difficile avec une deuxième édition. Nous avons gardé l’agent Energent inchangé et comparé les mêmes modèles sur les deux éditions. Les flèches du graphique ci-dessus montrent ce que chaque modèle a perdu d’une édition à l’autre.

TL;DR

• Deux modèles ont tenu : Fable 5.1 (72.2% → 70.0%) et GPT-5.6 Sol (71.4% → 68.9%). Cinq ont chuté de 6.5 à 28.8 points.
• Le classement a été rebattu. Opus 5 menait la v1 à 74.4% et est tombé à la troisième place ; Sonnet 5 est passé de 67.7% à 38.9%, de la cinquième à la dernière place.
• « Plus difficile » se mesure : 2× le corpus (697 → 1,435 documents), 3.7× les documents cités par question (1.8 → 6.7) et environ 9× le texte à lire par question (≈1 MB → ≈9 MB).
• Pour les utilisateurs d’Energent, rien à configurer : l’agent est indépendant du modèle, donc à mesure que vos tâches grandissent, nous mesurons, choisissons le modèle qui tient et vous conservons les meilleures performances et la meilleure vitesse.

Contexte : OfficeQA, de v1 à v2

OfficeQA est le benchmark de Databricks pour le raisonnement fondé sur les rapports financiers du Trésor américain. Ici, v1 désigne OfficeQA Pro, présenté dans la première annonce : les 133 questions étiquetées difficiles dans le benchmark d’origine, portant sur 697 Treasury Bulletins, rédigées à la main par des annotateurs humains.

v2 désigne OfficeQA Pro V2, présenté dans la seconde annonce : 90 questions portant sur 1,435 registres numérisés des recettes et dépenses fédérales de 1793 à 2024.

Côte à côte, v2 est plus difficile sur chaque axe qui compte pour un agent :

Peu de benchmarks connaissent une deuxième édition de la même tâche. OfficeQA en a eu une, ce qui fait de la difficulté un axe sur lequel on peut mesurer.

Comment nous avons testé

• Pourquoi OfficeQA. Il ressemble au travail que nos utilisateurs confient à Energent : trouver les bons documents, extraire des chiffres de tableaux denses, les combiner et renvoyer une réponse exacte qui peut être vérifiée.
• Même agent, seul le modèle change. L’agent Energent est indépendant du modèle. Les mêmes outils, prompts et budget d’étapes ont fait tourner sept modèles de pointe d’Anthropic, OpenAI et Google sur les deux éditions. Ce sont les données plus difficiles qui provoquent la chute ; l’agent étant fixe, les écarts entre modèles dans l’ampleur de leur chute tiennent au modèle, pas à l’agent.
• Mêmes règles pour chaque modèle. Chaque réponse est notée par le système de notation officiel du benchmark, une exécution par modèle.

Résultats

Précision, de v1 à v2

Précision des réponses selon le système de notation officiel, triée par le score v2.

• Sur v1, cinq des sept modèles se situaient dans une fourchette de 7 points ; sur v2, les mêmes sept s’étalent sur 31 points.
• Les deux qui ont tenu, Fable 5.1 et GPT-5.6 Sol, étaient en milieu de peloton sur v1 et terminent premier et deuxième sur v2.

v1 : coût et profil d’inférence

v2 : coût et profil d’inférence

• Chaque modèle a travaillé davantage sur v2 : 2 à 3.4 fois le coût par question, 1.5 à 2.6 fois les appels modèle et outils, et 1.9 à 4.1 fois plus de temps.
• Les deux qui ont tenu l’ont fait différemment : Fable 5.1 avec le moins d’appels outils de tous les modèles et 3.2 minutes par question, GPT-5.6 Sol avec le plus d’appels outils et 6.9 minutes.

Conclusion

Les deux éditions d’OfficeQA offrent quelque chose de rare : la même tâche à deux niveaux de difficulté, ce qui permet de voir quels modèles continuent de performer quand la tâche se durcit et lesquels décrochent. Sur v1, les sept modèles étaient regroupés ; sur v2, ils se sont largement dispersés. Les données faciles masquent les différences entre modèles, les données difficiles les révèlent.

Pour les utilisateurs d’Energent, ce choix nous revient et nous continuons de le faire : à mesure que vos tâches se durcissent, nous mesurons les modèles sur votre type de travail, choisissons celui qui tient et arbitrons entre précision, vitesse et coût, sans rien à configurer de votre côté.

Remerciements

Un grand merci à l’équipe Databricks pour OfficeQA : un jeu de données brut, de grande qualité et volontairement plus difficile, construit sur des documents réels avec des questions soigneusement vérifiées, et publié en deux éditions de la même tâche. C’est cette continuité qui nous a permis d’observer cette tendance. Un article détaillé sur ces résultats est en préparation.

Références

1. Databricks, Présentation d’OfficeQA, l’annonce de la première édition
2. Databricks, Présentation d’OfficeQA Pro V2, l’annonce de la seconde édition
3. OfficeQA Pro: An Enterprise Benchmark for End-to-End Grounded Reasoning, arXiv 2603.08655
4. Dépôt OfficeQA sur GitHub
5. Jeu de données OfficeQA Pro V2 sur Hugging Face