A Energent obteve uma pontuação superior ao melhor resultado publicado citado em quatro de cinco benchmarks públicos de documentos de engenharia. Cada pontuação vem do avaliador original do benchmark, executado sem alterações.
Resumo
- A Energent lidera o DrawingVQA, BlueprintSymVL, CircuitSense e CADBench.
- No CircuitSense, a Energent alcança 69,6% contra 12,3%. No BlueprintSymVL, alcança 74,0% contra 50,5%.
- Os resultados avaliam o fluxo de trabalho agêntico completo da Energent, incluindo a capacidade de recortar, voltar a inspecionar e executar código.
Contexto
Compreender documentos de engenharia envolve várias competências distintas. Desenhos de construção, P&ID, diagramas de circuitos e programas CAD exigem resultados diferentes e utilizam métodos de pontuação próprios.
Executámos a Energent em cinco benchmarks públicos usando a implementação de pontuação original de cada um. Cada resultado é apresentado separadamente para preservar o significado da respetiva métrica nativa.
Cada benchmark utiliza a sua própria métrica numa escala de 0 a 100, tornando cada linha uma comparação autónoma.
Resultados
| Domínio | Benchmark e métrica | Energent | Melhor publicado |
|---|---|---|---|
| Desenhos de construção | DrawingVQA — precisão de perguntas visuais | 89,1% | 77,2% (Gemini-3-pro) |
| Processos e tubagens | BlueprintSymVL — correspondência exata de símbolos P&ID | 74,0% | 50,5% |
| Eletrónica analógica | CircuitSense — derivação simbólica verificada | 69,6% | 12,3% |
| CAD mecânico | CADBench — Aligned IoU | 55,3% | 45,1% (Claude Opus 4.7) |
| CAD mecânico | BenchCAD — pontuação QA de peças | 52,6% | 58,7% |
DrawingVQA: 89,1% contra 77,2%
DrawingVQA avalia perguntas visuais sobre desenhos de construção. A Energent obtém 89,1%, contra 77,2% do Gemini-3-pro na atual classificação do conjunto de dados.
O artigo apresenta referências humanas de 78,2% para um jovem profissional e 94,9% para um profissional experiente. O resultado da Energent usa uma votação maioritária de três execuções.
BlueprintSymVL: 74,0% contra 50,5%
BlueprintSymVL mede o reconhecimento de símbolos em desenhos de engenharia e P&ID. A Energent atinge 74,0% de correspondência exata, contra o melhor resultado de modelo visão-linguagem de uma única interação do artigo, 50,5% nas Tabelas 2–5. O conjunto de dados é público.
CircuitSense: 69,6% contra 12,3%
CircuitSense testa se um sistema consegue passar de um diagrama de circuito para uma derivação simbólica verificada. A Energent alcança 69,6%, contra a referência publicada de 12,3% da Tabela 6, reponderada para a nossa composição de níveis. O conjunto de dados está disponível sob licença MIT.
CADBench: 55,3% contra 45,1%
CADBench avalia a geração de programas para CAD mecânico. A Energent alcança 55,3% de Aligned IoU, contra uma referência publicada de 45,1% do Claude Opus 4.7.
Este resultado abrange quatro das seis famílias do CADBench. Reponderamos os valores publicados por estrato da Tabela 5 nas mesmas quatro famílias, mantendo consistente o campo de avaliação. O conjunto de dados está disponível sob licença MIT.
BenchCAD: 52,6% contra 58,7%
BenchCAD avalia perguntas visuais sobre peças de CAD mecânico. A Energent alcança 52,6% no campo Vision-QA, juntamente com o resultado publicado de 58,7% na classificação do repositório. O conjunto de dados é público.
Metodologia
Para cada benchmark, incorporámos o avaliador num commit fixado e executámo-lo sem alterações. A extração é nossa; a pontuação pertence ao benchmark.
A avaliação mede o sistema agêntico completo da Energent. A Energent pode recortar um desenho, voltar a inspecionar uma região e executar código durante o raciocínio; os números publicados citados fornecem as referências de modelo para cada benchmark.
Conclusão
Em desenhos de construção, P&ID, diagramas de circuitos e CAD mecânico, a Energent supera o melhor resultado publicado citado em quatro de cinco benchmarks. Os resultados demonstram o valor de um fluxo de trabalho agêntico para compreender documentos de engenharia complexos.