Energent sai paremman tuloksen kuin siteerattu paras julkaistu tulos neljässä viidestä julkisesta teknisten asiakirjojen vertailutestistä. Jokainen pistemäärä on laskettu benchmarkin alkuperäisellä, muuttamattomalla arvioijalla.
Tiivistelmä
- Energent johtaa DrawingVQA-, BlueprintSymVL-, CircuitSense- ja CADBench-testeissä.
- CircuitSense: 69,6 % vs. 12,3 %. BlueprintSymVL: 74,0 % vs. 50,5 %.
- Tulokset mittaavat Energentin koko agenttipohjaista työnkulkua, mukaan lukien rajaus, uudelleentarkastelu ja koodin suoritus.
Tausta ja tulokset
Rakennuspiirustukset, P&ID-kaaviot, piirikaaviot ja CAD-ohjelmat vaativat eri tuloksia ja käyttävät kukin omaa 0–100-mittariaan. Jokainen rivi on siksi itsenäinen vertailu.
| Alue | Vertailutesti ja mittari | Energent | Paras julkaistu |
|---|---|---|---|
| Rakennuspiirustukset | DrawingVQA — visuaalisen QA:n tarkkuus | 89,1 % | 77,2 % (Gemini-3-pro) |
| Prosessi ja putkistot | BlueprintSymVL — P&ID-symbolien tarkka vastaavuus | 74,0 % | 50,5 % |
| Analogielektroniikka | CircuitSense — varmennettu symbolinen johtaminen | 69,6 % | 12,3 % |
| Mekaaninen CAD | CADBench — Aligned IoU | 55,3 % | 45,1 % (Claude Opus 4.7) |
| Mekaaninen CAD | BenchCAD — osan QA-pisteet | 52,6 % | 58,7 % |
Vertailutestit
DrawingVQA testaa rakennuspiirustusten visuaalisia kysymyksiä. Energent saa 89,1 % ja nykyinen vertailutulos on 77,2 %. Tulos käyttää kolmen ajon enemmistöäänestystä; ihmisvertailut ovat 78,2 % ja 94,9 %.
BlueprintSymVL mittaa symbolien tunnistusta piirustuksissa ja P&ID-kaavioissa. Energent saavuttaa 74,0 % tarkan vastaavuuden, kun taulukoiden 2–5 vertailu on 50,5 %. Aineisto on julkinen.
CircuitSense testaa siirtymää piirikaaviosta varmennettuun symboliseen johtamiseen. Energent saa 69,6 %, kun taulukon 6 tasopainotettu vertailu on 12,3 %. Aineisto on MIT-lisensoitu.
CADBench mittaa mekaanisen CAD:n ohjelmagenerointia. Energent saavuttaa 55,3 % Aligned IoU:n, kun Claude Opus 4.7:n julkaistu vertailu on 45,1 %. Tulos kattaa neljä kuudesta perheestä ja painottaa taulukon 5 uudelleen samoille perheille. Aineisto on MIT-lisensoitu.
BenchCAD testaa mekaanisten CAD-osien visuaalisia kysymyksiä. Energent saa 52,6 % ja arkiston tulostaulukko 58,7 %. Aineisto on julkinen.
Menetelmä
Kiinnitimme jokaisen arvioijan tiettyyn committiin ja suoritimme sen muuttamattomana. Poiminta on meidän, pisteytys benchmarkin. Siteeratut julkaistut luvut ovat Energentin täydellisen agenttipohjaisen järjestelmän mallivertailut.
Johtopäätös
Energent johtaa siteerattua parasta julkaistua tulosta neljässä viidestä vertailutestistä ja osoittaa agenttipohjaisen työnkulun arvon monimutkaisissa teknisissä asiakirjoissa.