Energent는 5개 공개 엔지니어링 문서 벤치마크 중 4개에서 인용된 기존 최고 공개 결과보다 높은 점수를 기록했습니다. 모든 점수는 각 벤치마크의 원래 채점기를 수정 없이 실행한 결과입니다.
요약
- Energent는 DrawingVQA, BlueprintSymVL, CircuitSense, CADBench에서 선두입니다.
- CircuitSense에서는 69.6% 대 12.3%, BlueprintSymVL에서는 74.0% 대 50.5%를 기록했습니다.
- 평가는 자르기, 재검토, 코드 실행을 포함한 Energent의 전체 에이전트 워크플로를 측정합니다.
결과
각 벤치마크는 0~100 범위의 자체 지표를 사용하므로 각 행은 독립적인 비교입니다.
| 분야 | 벤치마크 | Energent | 기존 최고 공개 결과 |
|---|---|---|---|
| 건설 도면 | DrawingVQA — 시각 질의응답 | 89.1% | 77.2% (Gemini-3-pro) |
| 공정 및 배관 | BlueprintSymVL — P&ID 기호 | 74.0% | 50.5% |
| 아날로그 전자공학 | CircuitSense — 기호 유도 | 69.6% | 12.3% |
| 기계 CAD | CADBench — Aligned IoU | 55.3% | 45.1% (Claude Opus 4.7) |
| 기계 CAD | BenchCAD — 부품 QA | 52.6% | 58.7% |
세부 정보와 출처
DrawingVQA는 건설 도면에 대한 시각 질의응답을 평가합니다. Energent 결과는 3회 실행의 다수결을 사용하며 현재 기준 결과는 77.2%입니다. BlueprintSymVL은 P&ID 기호의 정확한 인식을 측정하며 데이터는 공개되어 있습니다.
CircuitSense는 회로에서 기호 유도를 검증하며 데이터는 MIT 라이선스로 제공됩니다. CADBench는 6개 계열 중 4개에서 CAD 프로그램 생성을 측정하며 데이터는 MIT 라이선스로 공개됩니다. BenchCAD는 CAD 부품의 시각 질문을 평가하고 리더보드와 데이터를 제공합니다.
방법론과 결론
각 채점기를 특정 커밋에 고정하고 수정 없이 실행했습니다. 추출은 Energent가, 채점은 벤치마크가 수행합니다. Energent는 5개 테스트 중 4개에서 선두를 기록하며 복잡한 엔지니어링 문서를 이해하는 에이전트 워크플로의 가치를 보여줍니다.