Energent erzielte in vier von fünf öffentlichen Benchmarks für technische Dokumente ein höheres Ergebnis als die jeweils zitierte Bestmarke. Jede Punktzahl stammt aus dem unverändert ausgeführten Original-Scorer des Benchmarks.
Kurzfassung
- Energent führt bei DrawingVQA, BlueprintSymVL, CircuitSense und CADBench.
- Bei CircuitSense erzielt Energent 69,6 % gegenüber 12,3 %. Bei BlueprintSymVL sind es 74,0 % gegenüber 50,5 %.
- Die Ergebnisse bewerten Energents vollständigen agentischen Workflow, einschließlich Zuschneiden, erneuter Prüfung und Codeausführung.
Kontext
Das Verständnis technischer Dokumente umfasst mehrere unterschiedliche Fähigkeiten. Bauzeichnungen, P&IDs, Schaltpläne und CAD-Programme erfordern jeweils andere Ausgaben und eigene Bewertungsmethoden.
Wir haben Energent mit fünf öffentlichen Benchmarks und deren jeweiliger Original-Bewertung ausgeführt. Jedes Ergebnis wird separat dargestellt, damit die Aussage seiner nativen Metrik erhalten bleibt.
Jeder Benchmark verwendet eine eigene Metrik auf einer Skala von 0 bis 100. Damit bildet jede Zeile einen eigenständigen Vergleich.
Ergebnisse
| Bereich | Benchmark und Metrik | Energent | Beste Veröffentlichung |
|---|---|---|---|
| Bauzeichnungen | DrawingVQA — Genauigkeit visueller Fragen | 89,1 % | 77,2 % (Gemini-3-pro) |
| Verfahren und Rohrleitungen | BlueprintSymVL — exakte P&ID-Symbolerkennung | 74,0 % | 50,5 % |
| Analoge Elektronik | CircuitSense — verifizierte symbolische Herleitung | 69,6 % | 12,3 % |
| Mechanisches CAD | CADBench — Aligned IoU | 55,3 % | 45,1 % (Claude Opus 4.7) |
| Mechanisches CAD | BenchCAD — Part-QA-Score | 52,6 % | 58,7 % |
DrawingVQA: 89,1 % gegenüber 77,2 %
DrawingVQA bewertet visuelle Fragen zu Bauzeichnungen. Energent erzielt 89,1 %, verglichen mit 77,2 % für Gemini-3-pro in der aktuellen Datensatz-Bestenliste.
Die Veröffentlichung nennt menschliche Referenzwerte von 78,2 % für junge Fachkräfte und 94,9 % für erfahrene Fachkräfte. Energents Ergebnis verwendet eine Mehrheitsentscheidung aus drei Läufen.
BlueprintSymVL: 74,0 % gegenüber 50,5 %
BlueprintSymVL misst die Symbolerkennung in technischen Zeichnungen und P&IDs. Energent erreicht 74,0 % exakte Übereinstimmung, verglichen mit dem besten Single-Turn-Ergebnis eines Vision-Language-Modells von 50,5 % in den Tabellen 2–5. Der Datensatz ist öffentlich verfügbar.
CircuitSense: 69,6 % gegenüber 12,3 %
CircuitSense prüft, ob ein System aus einem Schaltplan eine verifizierte symbolische Herleitung erzeugen kann. Energent erzielt 69,6 %, verglichen mit der veröffentlichten Referenz von 12,3 % aus Tabelle 6, neu gewichtet für unsere Stufenzusammensetzung. Der Datensatz steht unter der MIT-Lizenz bereit.
CADBench: 55,3 % gegenüber 45,1 %
CADBench bewertet die Programmgenerierung für mechanisches CAD. Energent erreicht 55,3 % Aligned IoU gegenüber einem veröffentlichten Referenzwert von 45,1 % für Claude Opus 4.7.
Dieses Ergebnis umfasst vier der sechs CADBench-Familien. Wir gewichten die veröffentlichten Werte aus Tabelle 5 über dieselben vier Familien neu und halten so das Bewertungsfeld konsistent. Der Datensatz steht unter der MIT-Lizenz bereit.
BenchCAD: 52,6 % gegenüber 58,7 %
BenchCAD bewertet visuelle Fragen zu mechanischen CAD-Teilen. Energent erzielt 52,6 % im Vision-QA-Feld, neben dem veröffentlichten Ergebnis von 58,7 % in der Bestenliste des Repositorys. Der Datensatz ist öffentlich verfügbar.
Methodik
Für jeden Benchmark haben wir den Scorer an einem festen Commit eingebunden und unverändert ausgeführt. Die Extraktion stammt von uns, die Bewertung vom Benchmark.
Die Bewertung misst das vollständige agentische System von Energent. Energent kann eine Zeichnung zuschneiden, einen Bereich erneut untersuchen und während des Denkprozesses Code ausführen. Die zitierten veröffentlichten Werte bilden die Modellreferenzen der einzelnen Benchmarks.
Fazit
Bei Bauzeichnungen, P&IDs, Schaltplänen und mechanischem CAD übertrifft Energent in vier von fünf Benchmarks das jeweils zitierte beste veröffentlichte Ergebnis. Die Resultate zeigen den Wert eines agentischen Workflows für das Verständnis komplexer technischer Dokumente.