Energent obtuvo una puntuación superior al mejor resultado publicado citado en cuatro de cinco benchmarks públicos de documentos de ingeniería. Cada puntuación procede del evaluador original del benchmark, ejecutado sin modificaciones.
TL;DR
- Energent lidera DrawingVQA, BlueprintSymVL, CircuitSense y CADBench.
- En CircuitSense, Energent obtiene un 69,6% frente al 12,3%. En BlueprintSymVL, alcanza un 74,0% frente al 50,5%.
- Los resultados evalúan el flujo de trabajo agéntico completo de Energent, incluida su capacidad para recortar, volver a inspeccionar y ejecutar código.
Contexto
Comprender documentos de ingeniería requiere varias capacidades distintas. Los planos de construcción, los P&ID, los diagramas de circuitos y los programas CAD exigen resultados diferentes y emplean métodos de puntuación específicos.
Ejecutamos Energent en cinco benchmarks públicos con la implementación de puntuación original de cada uno. Presentamos cada resultado por separado para conservar el significado de su métrica nativa.
Cada benchmark utiliza su propia métrica en una escala de 0 a 100, por lo que cada fila es una comparación independiente.
Resultados
| Dominio | Benchmark y métrica | Energent | Mejor publicado |
|---|---|---|---|
| Planos de construcción | DrawingVQA — precisión de preguntas visuales | 89,1% | 77,2% (Gemini-3-pro) |
| Procesos y tuberías | BlueprintSymVL — coincidencia exacta de símbolos P&ID | 74,0% | 50,5% |
| Electrónica analógica | CircuitSense — derivación simbólica verificada | 69,6% | 12,3% |
| CAD mecánico | CADBench — IoU alineado | 55,3% | 45,1% (Claude Opus 4.7) |
| CAD mecánico | BenchCAD — puntuación de preguntas sobre piezas | 52,6% | 58,7% |
DrawingVQA: 89,1% frente a 77,2%
DrawingVQA evalúa preguntas visuales sobre planos de construcción. Energent obtiene un 89,1%, frente al 77,2% de Gemini-3-pro en la clasificación actual del conjunto de datos.
El artículo presenta referencias humanas del 78,2% para un profesional joven y del 94,9% para un profesional con experiencia. El resultado de Energent usa una votación mayoritaria de tres ejecuciones.
BlueprintSymVL: 74,0% frente a 50,5%
BlueprintSymVL mide el reconocimiento de símbolos en planos de ingeniería y P&ID. Energent alcanza un 74,0% de coincidencia exacta, frente al mejor resultado de un modelo visión-lenguaje de un solo turno del artículo, un 50,5% en las Tablas 2–5. El conjunto de datos es público.
CircuitSense: 69,6% frente a 12,3%
CircuitSense comprueba si un sistema puede pasar de un diagrama de circuito a una derivación simbólica verificada. Energent obtiene un 69,6%, frente a la referencia publicada del 12,3% de la Tabla 6, reponderada para coincidir con nuestra composición de niveles. El conjunto de datos está disponible con licencia MIT.
CADBench: 55,3% frente a 45,1%
CADBench evalúa la generación de programas para CAD mecánico. Energent alcanza un 55,3% de IoU alineado, frente a una referencia publicada del 45,1% de Claude Opus 4.7.
Este resultado cubre cuatro de las seis familias de CADBench. Reponderamos los valores publicados por estrato de la Tabla 5 en esas mismas cuatro familias, manteniendo un campo de evaluación coherente. El conjunto de datos está disponible con licencia MIT.
BenchCAD: 52,6% frente a 58,7%
BenchCAD evalúa preguntas visuales sobre piezas de CAD mecánico. Energent obtiene un 52,6% en el campo Vision-QA, junto al resultado publicado del 58,7% en la clasificación del repositorio. El conjunto de datos es público.
Metodología
Para cada benchmark, incorporamos el evaluador en un commit fijado y lo ejecutamos sin modificaciones. La extracción es nuestra; la puntuación es suya.
La evaluación mide el sistema agéntico completo de Energent. Energent puede recortar un plano, volver a inspeccionar una región y ejecutar código durante su razonamiento; las cifras publicadas citadas proporcionan las referencias de modelo de cada benchmark.
Conclusión
En planos de construcción, P&ID, diagramas de circuitos y CAD mecánico, Energent lidera el mejor resultado publicado citado en cuatro de cinco benchmarks. Los resultados demuestran el valor de un flujo de trabajo agéntico para comprender documentos de ingeniería complejos.