Energent opnåede en højere score end det citerede bedste offentliggjorte resultat i fire af fem offentlige benchmarks for tekniske dokumenter. Hver score kommer fra benchmarkets oprindelige scorer, kørt uændret.
Kort fortalt
- Energent fører i DrawingVQA, BlueprintSymVL, CircuitSense og CADBench.
- CircuitSense: 69,6 % mod 12,3 %. BlueprintSymVL: 74,0 % mod 50,5 %.
- Resultaterne måler hele Energents agentbaserede arbejdsgang, herunder beskæring, geninspektion og kodekørsel.
Kontekst og resultater
Bygningstegninger, P&ID, kredsløbsdiagrammer og CAD-programmer kræver forskellige resultater og bruger hver sin metrik fra 0 til 100. Hver række er derfor en selvstændig sammenligning.
| Område | Benchmark og metrik | Energent | Bedst offentliggjort |
|---|---|---|---|
| Bygningstegninger | DrawingVQA — visuel QA-nøjagtighed | 89,1 % | 77,2 % (Gemini-3-pro) |
| Proces og rør | BlueprintSymVL — nøjagtigt P&ID-symbolmatch | 74,0 % | 50,5 % |
| Analog elektronik | CircuitSense — verificeret symbolsk udledning | 69,6 % | 12,3 % |
| Mekanisk CAD | CADBench — Aligned IoU | 55,3 % | 45,1 % (Claude Opus 4.7) |
| Mekanisk CAD | BenchCAD — del-QA-score | 52,6 % | 58,7 % |
De enkelte benchmarks
DrawingVQA tester visuelle spørgsmål om bygningstegninger. Energent får 89,1 % mod 77,2 % på den aktuelle rangliste. Resultatet bruger flertalsafstemning over tre kørsler; de menneskelige referencer er 78,2 % og 94,9 %.
BlueprintSymVL måler symbolgenkendelse i tegninger og P&ID. Energent når 74,0 % nøjagtigt match mod 50,5 % i tabel 2–5. Datasættet er offentligt.
CircuitSense tester vejen fra kredsløbsdiagram til verificeret symbolsk udledning. Energent får 69,6 % mod en niveauvægtet reference på 12,3 % fra tabel 6. Datasættet har MIT-licens.
CADBench måler programgenerering til mekanisk CAD. Energent når 55,3 % Aligned IoU mod 45,1 % for Claude Opus 4.7. Resultatet dækker fire af seks familier og genvægter tabel 5 over de samme familier. Datasættet har MIT-licens.
BenchCAD tester visuelle spørgsmål om mekaniske CAD-dele. Energent får 52,6 % sammen med 58,7 % på repositoryets rangliste. Datasættet er offentligt.
Metode
Vi hentede hver scorer ved en fast commit og kørte den uændret. Udtrækningen er vores, pointgivningen er benchmarkets. De citerede offentliggjorte tal er modelreferencer for Energents komplette agentbaserede system.
Konklusion
Energent fører det citerede bedste offentliggjorte resultat i fire af fem benchmarks og viser værdien af en agentbaseret arbejdsgang til komplekse tekniske dokumenter.