Energent fick högre poäng än det citerade bästa publicerade resultatet i fyra av fem offentliga benchmarktester för tekniska dokument. Varje poäng kommer från benchmarkets ursprungliga, oförändrade utvärderare.
Sammanfattning
- Energent leder i DrawingVQA, BlueprintSymVL, CircuitSense och CADBench.
- CircuitSense: 69,6 % mot 12,3 %. BlueprintSymVL: 74,0 % mot 50,5 %.
- Resultaten mäter hela Energents agentbaserade arbetsflöde, inklusive beskärning, förnyad granskning och kodkörning.
Kontext och resultat
Byggritningar, P&ID, kretsscheman och CAD-program kräver olika resultat och använder var sin metrisk skala från 0 till 100. Varje rad är därför en fristående jämförelse.
| Område | Benchmark och mätvärde | Energent | Bäst publicerat |
|---|---|---|---|
| Byggritningar | DrawingVQA — visuell QA-noggrannhet | 89,1 % | 77,2 % (Gemini-3-pro) |
| Process och rör | BlueprintSymVL — exakt P&ID-symbolmatchning | 74,0 % | 50,5 % |
| Analog elektronik | CircuitSense — verifierad symbolisk härledning | 69,6 % | 12,3 % |
| Mekanisk CAD | CADBench — Aligned IoU | 55,3 % | 45,1 % (Claude Opus 4.7) |
| Mekanisk CAD | BenchCAD — del-QA-poäng | 52,6 % | 58,7 % |
Per benchmark
DrawingVQA testar visuella frågor om byggritningar. Energent får 89,1 % mot 77,2 % på den aktuella topplistan. Resultatet använder majoritetsröstning över tre körningar; de mänskliga referenserna är 78,2 % och 94,9 %.
BlueprintSymVL mäter symboligenkänning i ritningar och P&ID. Energent når 74,0 % exakt matchning mot 50,5 % i tabellerna 2–5. Datauppsättningen är offentlig.
CircuitSense testar vägen från kretsschema till verifierad symbolisk härledning. Energent får 69,6 % mot en nivåviktad referens på 12,3 % från tabell 6. Datauppsättningen har MIT-licens.
CADBench mäter programgenerering för mekanisk CAD. Energent når 55,3 % Aligned IoU mot 45,1 % för Claude Opus 4.7. Resultatet omfattar fyra av sex familjer och viktar om tabell 5 över samma familjer. Datauppsättningen har MIT-licens.
BenchCAD testar visuella frågor om mekaniska CAD-delar. Energent får 52,6 % bredvid 58,7 % på repositoryts topplista. Datauppsättningen är offentlig.
Metod
Vi hämtade varje utvärderare vid en fast commit och körde den oförändrad. Extraktionen är vår, poängsättningen är benchmarkets. De citerade publicerade siffrorna är modellreferenser för Energents fullständiga agentbaserade system.
Slutsats
Energent leder det citerade bästa publicerade resultatet i fyra av fem benchmarktester och visar värdet av ett agentbaserat arbetsflöde för komplexa tekniska dokument.