Energent překonal citovaný nejlepší publikovaný výsledek ve čtyřech z pěti veřejných benchmarků technických dokumentů. Každé skóre pochází z původního hodnoticího nástroje benchmarku, spuštěného beze změn.
Shrnutí
- Energent vede v DrawingVQA, BlueprintSymVL, CircuitSense a CADBench.
- CircuitSense: 69,6 % oproti 12,3 %. BlueprintSymVL: 74,0 % oproti 50,5 %.
- Hodnocení měří celý agentní pracovní postup Energentu včetně ořezu, opětovné kontroly a spouštění kódu.
Výsledky
Každý benchmark používá vlastní metriku 0–100, takže každý řádek představuje samostatné srovnání.
| Oblast | Benchmark | Energent | Nejlepší publikovaný |
|---|---|---|---|
| Stavební výkresy | DrawingVQA — visual QA | 89,1 % | 77,2 % (Gemini-3-pro) |
| Procesy a potrubí | BlueprintSymVL — symboly P&ID | 74,0 % | 50,5 % |
| Analogová elektronika | CircuitSense — symbolická derivace | 69,6 % | 12,3 % |
| Mechanické CAD | CADBench — Aligned IoU | 55,3 % | 45,1 % (Claude Opus 4.7) |
| Mechanické CAD | BenchCAD — part QA | 52,6 % | 58,7 % |
Podrobnosti a zdroje
DrawingVQA testuje otázky nad stavebními výkresy; výsledek používá většinové hlasování ze tří běhů a aktuální srovnání je 77,2 %. BlueprintSymVL měří přesnou identifikaci symbolů P&ID; data jsou veřejná.
CircuitSense ověřuje symbolickou derivaci ze schémat; jeho data mají licenci MIT. CADBench měří generování CAD programů ve čtyřech ze šesti rodin; data mají licenci MIT. BenchCAD hodnotí otázky nad CAD díly a publikuje svůj žebříček i data.
Metodika a závěr
Každý hodnoticí nástroj jsme připnuli ke konkrétnímu commitu a spustili beze změn. Extrakce je naše, bodování patří benchmarku. Energent vede ve čtyřech z pěti testů a ukazuje hodnotu agentního pracovního postupu pro složité technické dokumenty.