Energent превзошёл цитируемый лучший опубликованный результат в четырёх из пяти открытых бенчмарков инженерных документов. Каждый балл рассчитан исходным оценщиком бенчмарка, запущенным без изменений.
Кратко
- Energent лидирует в DrawingVQA, BlueprintSymVL, CircuitSense и CADBench.
- CircuitSense: 69,6% против 12,3%. BlueprintSymVL: 74,0% против 50,5%.
- Оценка охватывает полный агентный процесс Energent, включая обрезку, повторный анализ и выполнение кода.
Результаты
Каждый бенчмарк использует собственную метрику 0–100, поэтому каждая строка — самостоятельное сравнение.
| Область | Бенчмарк | Energent | Лучший опубликованный |
|---|---|---|---|
| Строительные чертежи | DrawingVQA — visual QA | 89,1% | 77,2% (Gemini-3-pro) |
| Процессы и трубопроводы | BlueprintSymVL — символы P&ID | 74,0% | 50,5% |
| Аналоговая электроника | CircuitSense — символьный вывод | 69,6% | 12,3% |
| Механический CAD | CADBench — Aligned IoU | 55,3% | 45,1% (Claude Opus 4.7) |
| Механический CAD | BenchCAD — QA деталей | 52,6% | 58,7% |
Подробности и источники
DrawingVQA проверяет визуальные вопросы по чертежам; результат использует голосование большинства по трём запускам, а текущий ориентир равен 77,2%. BlueprintSymVL измеряет точное распознавание символов P&ID; данные открыты.
CircuitSense проверяет символьный вывод из схем; данные доступны по MIT. CADBench измеряет генерацию CAD-программ в четырёх из шести семейств; данные доступны по MIT. BenchCAD оценивает вопросы по CAD-деталям и публикует рейтинг и данные.
Методика и вывод
Каждый оценщик был закреплён на конкретном коммите и запущен без изменений. Извлечение выполняем мы, подсчёт — бенчмарк. Energent лидирует в четырёх из пяти тестов и показывает ценность агентного процесса для сложных инженерных документов.