Energent, beş açık mühendislik belgesi benchmarkının dördünde belirtilen en iyi yayımlanmış sonuçtan daha yüksek puan aldı. Her puan, benchmarkın özgün puanlayıcısının değiştirilmeden çalıştırılmasıyla elde edildi.
Özet
- Energent DrawingVQA, BlueprintSymVL, CircuitSense ve CADBench’te lider.
- CircuitSense: %69,6’ya karşı %12,3. BlueprintSymVL: %74,0’a karşı %50,5.
- Değerlendirme, kırpma, yeniden inceleme ve kod çalıştırma dâhil Energent’in tüm ajanlı iş akışını ölçüyor.
Sonuçlar
Her benchmark kendi 0–100 metriğini kullandığından her satır bağımsız bir karşılaştırmadır.
| Alan | Benchmark | Energent | Yayımlanmış en iyi |
|---|---|---|---|
| İnşaat çizimleri | DrawingVQA — visual QA | %89,1 | %77,2 (Gemini-3-pro) |
| Proses ve borulama | BlueprintSymVL — P&ID sembolleri | %74,0 | %50,5 |
| Analog elektronik | CircuitSense — sembolik türetim | %69,6 | %12,3 |
| Mekanik CAD | CADBench — Aligned IoU | %55,3 | %45,1 (Claude Opus 4.7) |
| Mekanik CAD | BenchCAD — parça QA | %52,6 | %58,7 |
Ayrıntılar ve kaynaklar
DrawingVQA inşaat çizimleri hakkında görsel soruları test eder; sonuç üç çalıştırmanın çoğunluk oyunu kullanır ve güncel referans %77,2’dir. BlueprintSymVL P&ID sembollerinin tam tanınmasını ölçer; veriler herkese açıktır.
CircuitSense devrelerden sembolik türetimi doğrular; verileri MIT lisanslıdır. CADBench, altı ailenin dördünde CAD programı üretimini ölçer; verileri MIT lisanslıdır. BenchCAD, CAD parçaları hakkındaki soruları değerlendirir ve sıralamasını ve verilerini yayımlar.
Yöntem ve sonuç
Her puanlayıcıyı sabit bir committe değiştirmeden çalıştırdık. Çıkarma bize, puanlama benchmarka ait. Energent beş testin dördünde lider ve karmaşık mühendislik belgeleri için ajanlı iş akışının değerini gösteriyor.