Energent a dépassé le meilleur résultat publié cité sur quatre des cinq benchmarks publics de documents d’ingénierie. Chaque score provient du système de notation propre au benchmark, exécuté sans modification.
TL;DR
- Energent arrive en tête sur DrawingVQA, BlueprintSymVL, CircuitSense et CADBench.
- Sur CircuitSense, Energent obtient 69,6 % contre 12,3 %. Sur BlueprintSymVL, il obtient 74,0 % contre 50,5 %.
- Les résultats évaluent le workflow agentique complet d’Energent, notamment sa capacité à recadrer, réexaminer et exécuter du code.
Contexte
La compréhension des documents d’ingénierie mobilise plusieurs compétences distinctes. Les plans de construction, les P&ID, les schémas de circuits et les programmes de CAO requièrent des sorties différentes et utilisent des méthodes de notation dédiées.
Nous avons exécuté Energent sur cinq benchmarks publics avec l’implémentation de notation d’origine de chacun. Chaque résultat est présenté séparément afin de conserver le sens de sa métrique native.
Chaque benchmark utilise sa propre métrique sur une échelle de 0 à 100 ; chaque ligne constitue donc une comparaison autonome.
Résultats
| Domaine | Benchmark et métrique | Energent | Meilleur résultat publié |
|---|---|---|---|
| Plans de construction | DrawingVQA — précision des questions visuelles | 89,1 % | 77,2 % (Gemini-3-pro) |
| Procédés et tuyauterie | BlueprintSymVL — correspondance exacte des symboles P&ID | 74,0 % | 50,5 % |
| Électronique analogique | CircuitSense — dérivation symbolique vérifiée | 69,6 % | 12,3 % |
| CAO mécanique | CADBench — IoU aligné | 55,3 % | 45,1 % (Claude Opus 4.7) |
| CAO mécanique | BenchCAD — score QA sur les pièces | 52,6 % | 58,7 % |
DrawingVQA : 89,1 % contre 77,2 %
DrawingVQA évalue les questions visuelles sur des plans de construction. Energent obtient 89,1 %, contre 77,2 % pour Gemini-3-pro dans le classement actuel du jeu de données.
L’article indique des références humaines de 78,2 % pour un jeune professionnel et de 94,9 % pour un professionnel expérimenté. Le résultat d’Energent utilise un vote majoritaire sur trois exécutions.
BlueprintSymVL : 74,0 % contre 50,5 %
BlueprintSymVL mesure la reconnaissance des symboles dans les plans d’ingénierie et les P&ID. Energent atteint 74,0 % de correspondance exacte, contre 50,5 % pour le meilleur résultat de modèle vision-langage en un seul tour présenté dans les Tableaux 2 à 5. Le jeu de données est public.
CircuitSense : 69,6 % contre 12,3 %
CircuitSense vérifie si un système peut passer d’un schéma de circuit à une dérivation symbolique vérifiée. Energent obtient 69,6 %, contre la référence publiée de 12,3 % du Tableau 6, repondérée selon notre composition de niveaux. Le jeu de données est disponible sous licence MIT.
CADBench : 55,3 % contre 45,1 %
CADBench évalue la génération de programmes pour la CAO mécanique. Energent atteint 55,3 % d’IoU aligné, contre une référence publiée de 45,1 % pour Claude Opus 4.7.
Ce résultat couvre quatre des six familles de CADBench. Nous repondérons les valeurs publiées par strate du Tableau 5 sur ces quatre mêmes familles afin de conserver un champ d’évaluation cohérent. Le jeu de données est disponible sous licence MIT.
BenchCAD : 52,6 % contre 58,7 %
BenchCAD évalue les questions visuelles sur des pièces de CAO mécanique. Energent obtient 52,6 % dans le champ Vision-QA, parallèlement au résultat publié de 58,7 % dans le classement du dépôt. Le jeu de données est public.
Méthodologie
Pour chaque benchmark, nous avons intégré le système de notation à un commit précis et l’avons exécuté sans modification. L’extraction est la nôtre ; la notation est la leur.
L’évaluation mesure le système agentique complet d’Energent. Energent peut recadrer un plan, réexaminer une zone et exécuter du code pendant son raisonnement ; les chiffres publiés cités constituent les références de modèle pour chaque benchmark.
Conclusion
Sur les plans de construction, les P&ID, les schémas de circuits et la CAO mécanique, Energent devance le meilleur résultat publié cité sur quatre benchmarks sur cinq. Ces résultats démontrent la valeur d’un workflow agentique pour comprendre des documents d’ingénierie complexes.