Energent uzyskał wynik wyższy od cytowanego najlepszego opublikowanego rezultatu w czterech z pięciu publicznych benchmarków dokumentów inżynieryjnych. Każdy wynik pochodzi z oryginalnego, niezmienionego mechanizmu oceny benchmarku.
W skrócie
- Energent prowadzi w DrawingVQA, BlueprintSymVL, CircuitSense i CADBench.
- CircuitSense: 69,6% wobec 12,3%. BlueprintSymVL: 74,0% wobec 50,5%.
- Wyniki mierzą pełny agentowy przepływ pracy Energent, w tym kadrowanie, ponowną analizę i wykonywanie kodu.
Kontekst i wyniki
Rysunki budowlane, P&ID, schematy obwodów i programy CAD wymagają różnych wyników i korzystają z własnych metryk 0–100. Każdy wiersz jest więc niezależnym porównaniem.
| Dziedzina | Benchmark i metryka | Energent | Najlepszy opublikowany |
|---|---|---|---|
| Rysunki budowlane | DrawingVQA — trafność wizualnego QA | 89,1% | 77,2% (Gemini-3-pro) |
| Procesy i rurociągi | BlueprintSymVL — dokładne dopasowanie symboli P&ID | 74,0% | 50,5% |
| Elektronika analogowa | CircuitSense — zweryfikowane wyprowadzenie symboliczne | 69,6% | 12,3% |
| Mechaniczny CAD | CADBench — Aligned IoU | 55,3% | 45,1% (Claude Opus 4.7) |
| Mechaniczny CAD | BenchCAD — wynik QA części | 52,6% | 58,7% |
Poszczególne benchmarki
DrawingVQA sprawdza pytania wizualne dotyczące rysunków budowlanych. Energent osiąga 89,1% wobec 77,2% na aktualnej tablicy wyników. Wynik wykorzystuje głosowanie większościowe z trzech przebiegów; wartości ludzkie to 78,2% i 94,9%.
BlueprintSymVL mierzy rozpoznawanie symboli na rysunkach i P&ID. Energent osiąga 74,0% dokładnego dopasowania wobec 50,5% w tabelach 2–5. Zbiór danych jest publiczny.
CircuitSense sprawdza przejście od schematu obwodu do zweryfikowanego wyprowadzenia symbolicznego. Energent osiąga 69,6% wobec przeważonego poziomami punktu odniesienia 12,3% z tabeli 6. Zbiór ma licencję MIT.
CADBench mierzy generowanie programów dla mechanicznego CAD. Energent osiąga 55,3% Aligned IoU wobec 45,1% dla Claude Opus 4.7. Wynik obejmuje cztery z sześciu rodzin i ponownie waży tabelę 5 dla tych samych rodzin. Zbiór ma licencję MIT.
BenchCAD sprawdza pytania wizualne o mechaniczne części CAD. Energent osiąga 52,6% obok 58,7% na tablicy wyników repozytorium. Zbiór jest publiczny.
Metodologia
Każdy mechanizm oceny przypięliśmy do konkretnego commita i uruchomiliśmy bez zmian. Ekstrakcja jest nasza, punktacja należy do benchmarku. Cytowane opublikowane liczby stanowią odniesienia modelowe dla kompletnego systemu agentowego Energent.
Wnioski
Energent prowadzi względem cytowanego najlepszego opublikowanego wyniku w czterech z pięciu benchmarków, pokazując wartość agentowego przepływu pracy dla złożonych dokumentów inżynieryjnych.