Az Energent öt nyilvános mérnöki dokumentum-benchmarkból négyben jobb eredményt ért el a hivatkozott legjobb közzétett értéknél. Minden pontszám a benchmark eredeti, változtatás nélkül futtatott pontozójától származik.
Röviden
- Az Energent vezet a DrawingVQA, BlueprintSymVL, CircuitSense és CADBench teszteken.
- CircuitSense: 69,6% vs. 12,3%. BlueprintSymVL: 74,0% vs. 50,5%.
- Az értékelés az Energent teljes ügynöki munkafolyamatát méri, beleértve a kivágást, az újbóli vizsgálatot és a kódfuttatást.
Eredmények
Minden benchmark saját, 0–100 közötti metrikát használ, ezért minden sor önálló összehasonlítás.
| Terület | Benchmark | Energent | Legjobb közzétett |
|---|---|---|---|
| Építési rajzok | DrawingVQA — visual QA | 89,1% | 77,2% (Gemini-3-pro) |
| Folyamat és csővezeték | BlueprintSymVL — P&ID-szimbólumok | 74,0% | 50,5% |
| Analóg elektronika | CircuitSense — szimbolikus levezetés | 69,6% | 12,3% |
| Mechanikai CAD | CADBench — Aligned IoU | 55,3% | 45,1% (Claude Opus 4.7) |
| Mechanikai CAD | BenchCAD — alkatrész-QA | 52,6% | 58,7% |
Részletek és források
A DrawingVQA építési rajzok vizuális kérdéseit teszteli; az eredmény három futás többségi szavazatát használja, az aktuális referencia 77,2%. A BlueprintSymVL P&ID-szimbólumok pontos felismerését méri; az adatkészlet nyilvános.
A CircuitSense áramköri rajzok szimbolikus levezetését ellenőrzi; adatai MIT-licencűek. A CADBench CAD-programgenerálást mér hat családból négyben; adatai MIT-licencűek. A BenchCAD CAD-alkatrészek vizuális kérdéseit értékeli, ranglistája és adatai nyilvánosak.
Módszertan és következtetés
Minden pontozót rögzített commiton, változtatás nélkül futtattunk. A kinyerés a miénk, a pontozás a benchmarké. Az Energent öt tesztből négyben vezet, megmutatva az ügynöki munkafolyamat értékét az összetett mérnöki dokumentumoknál.