Energent ने पाँच सार्वजनिक इंजीनियरिंग दस्तावेज़ बेंचमार्क में से चार पर उद्धृत सर्वश्रेष्ठ प्रकाशित परिणाम से अधिक स्कोर किया। हर स्कोर बेंचमार्क के अपने स्कोरर को बिना बदलाव चलाकर प्राप्त किया गया है।
संक्षेप में
- Energent DrawingVQA, BlueprintSymVL, CircuitSense और CADBench में आगे है।
- CircuitSense पर स्कोर 69.6% बनाम 12.3% है। BlueprintSymVL पर यह 74.0% बनाम 50.5% है।
- मूल्यांकन Energent के पूरे एजेंटिक वर्कफ़्लो को मापता है, जिसमें क्रॉप करना, दोबारा जाँच करना और कोड चलाना शामिल है।
परिणाम
हर बेंचमार्क 0–100 के पैमाने पर अपना अलग मेट्रिक उपयोग करता है, इसलिए हर पंक्ति एक स्वतंत्र तुलना है।
| क्षेत्र | बेंचमार्क | Energent | सर्वश्रेष्ठ प्रकाशित |
|---|---|---|---|
| निर्माण ड्रॉइंग | DrawingVQA — विज़ुअल QA | 89.1% | 77.2% (Gemini-3-pro) |
| प्रक्रिया और पाइपिंग | BlueprintSymVL — P&ID प्रतीक | 74.0% | 50.5% |
| एनालॉग इलेक्ट्रॉनिक्स | CircuitSense — प्रतीकात्मक व्युत्पत्ति | 69.6% | 12.3% |
| मैकेनिकल CAD | CADBench — Aligned IoU | 55.3% | 45.1% (Claude Opus 4.7) |
| मैकेनिकल CAD | BenchCAD — पार्ट QA | 52.6% | 58.7% |
विवरण और स्रोत
DrawingVQA निर्माण ड्रॉइंग पर विज़ुअल प्रश्नोत्तर को जाँचता है; Energent का परिणाम तीन रन के बहुमत मत का उपयोग करता है और मौजूदा संदर्भ 77.2% है। BlueprintSymVL P&ID प्रतीकों की सटीक पहचान मापता है; इसका डेटासेट सार्वजनिक है।
CircuitSense सर्किट से प्रतीकात्मक व्युत्पत्ति सत्यापित करता है; इसका डेटासेट MIT लाइसेंस के तहत उपलब्ध है। CADBench छह में से चार परिवारों पर CAD प्रोग्राम निर्माण मापता है; इसका डेटासेट भी MIT लाइसेंस प्राप्त है। BenchCAD CAD पार्ट पर विज़ुअल प्रश्नों का मूल्यांकन करता है और अपनी लीडरबोर्ड तथा डेटासेट प्रकाशित करता है।
कार्यप्रणाली और निष्कर्ष
हमने हर स्कोरर को एक निश्चित कमिट पर पिन करके बिना बदलाव चलाया। एक्सट्रैक्शन हमारा है; स्कोरिंग बेंचमार्क की है। Energent पाँच में से चार परीक्षणों में आगे है, जो जटिल इंजीनियरिंग दस्तावेज़ समझने में एजेंटिक वर्कफ़्लो का मूल्य दिखाता है।