Energent a depășit cel mai bun rezultat publicat citat în patru din cinci benchmarkuri publice pentru documente inginerești. Fiecare scor provine din evaluatorul original al benchmarkului, rulat fără modificări.
Pe scurt
- Energent conduce în DrawingVQA, BlueprintSymVL, CircuitSense și CADBench.
- CircuitSense: 69,6% față de 12,3%. BlueprintSymVL: 74,0% față de 50,5%.
- Evaluarea măsoară întregul flux agentic Energent, inclusiv decuparea, reinspectarea și executarea de cod.
Rezultate
Fiecare benchmark folosește propria metrică 0–100, astfel încât fiecare rând este o comparație independentă.
| Domeniu | Benchmark | Energent | Cel mai bun publicat |
|---|---|---|---|
| Planuri de construcții | DrawingVQA — visual QA | 89,1% | 77,2% (Gemini-3-pro) |
| Procese și conducte | BlueprintSymVL — simboluri P&ID | 74,0% | 50,5% |
| Electronică analogică | CircuitSense — derivare simbolică | 69,6% | 12,3% |
| CAD mecanic | CADBench — Aligned IoU | 55,3% | 45,1% (Claude Opus 4.7) |
| CAD mecanic | BenchCAD — QA pentru piese | 52,6% | 58,7% |
Detalii și surse
DrawingVQA testează întrebări vizuale despre planuri; rezultatul folosește votul majoritar din trei rulări, iar referința actuală este 77,2%. BlueprintSymVL măsoară identificarea exactă a simbolurilor P&ID; datele sunt publice.
CircuitSense verifică derivarea simbolică din scheme; datele au licență MIT. CADBench măsoară generarea programelor CAD în patru din șase familii; datele au licență MIT. BenchCAD evaluează întrebări despre piese CAD și publică clasamentul și datele.
Metodologie și concluzie
Am fixat fiecare evaluator la un commit precis și l-am rulat fără modificări. Extracția este a noastră; punctajul aparține benchmarkului. Energent conduce în patru din cinci teste și demonstrează valoarea unui flux agentic pentru documente inginerești complexe.