حقق Energent نتيجة أعلى من أفضل نتيجة منشورة مذكورة في أربعة من خمسة اختبارات معيارية عامة لوثائق الهندسة. تأتي كل نتيجة من أداة التقييم الأصلية للاختبار بعد تشغيلها دون تعديل.
الخلاصة
- يتصدر Energent اختبارات DrawingVQA وBlueprintSymVL وCircuitSense وCADBench.
- في CircuitSense، حقق 69.6% مقابل 12.3%. وفي BlueprintSymVL، حقق 74.0% مقابل 50.5%.
- يقيس التقييم سير عمل Energent الوكيلي الكامل، بما في ذلك القص وإعادة الفحص وتشغيل الشيفرة.
النتائج
يستخدم كل اختبار مقياسه الخاص من 0 إلى 100، لذلك يمثل كل صف مقارنة مستقلة.
| المجال | الاختبار المعياري | Energent | أفضل نتيجة منشورة |
|---|---|---|---|
| رسومات البناء | DrawingVQA — أسئلة وأجوبة بصرية | 89.1% | 77.2% (Gemini-3-pro) |
| العمليات والأنابيب | BlueprintSymVL — رموز P&ID | 74.0% | 50.5% |
| الإلكترونيات التناظرية | CircuitSense — اشتقاق رمزي | 69.6% | 12.3% |
| CAD الميكانيكي | CADBench — Aligned IoU | 55.3% | 45.1% (Claude Opus 4.7) |
| CAD الميكانيكي | BenchCAD — أسئلة الأجزاء | 52.6% | 58.7% |
التفاصيل والمصادر
يختبر DrawingVQA الإجابة البصرية عن أسئلة رسومات البناء؛ وتستخدم نتيجة Energent تصويت الأغلبية لثلاث عمليات تشغيل، بينما تبلغ النتيجة المرجعية الحالية 77.2%. يقيس BlueprintSymVL التعرف الدقيق على رموز P&ID، وتتوفر بياناته للعامة.
يتحقق CircuitSense من الاشتقاق الرمزي انطلاقًا من مخططات الدوائر، وتتوفر بياناته بترخيص MIT. يقيس CADBench إنشاء برامج CAD عبر أربع من عائلاته الست، وتتوفر بياناته بترخيص MIT. يقيّم BenchCAD الأسئلة البصرية حول أجزاء CAD وينشر لوحة النتائج والبيانات.
المنهجية والخلاصة
ثبتنا كل أداة تقييم عند إصدار محدد وشغّلناها دون تعديل. الاستخراج من Energent، والتقييم من الاختبار المعياري. يتصدر Energent أربعة من الاختبارات الخمسة، ما يوضح قيمة سير العمل الوكيلي في فهم وثائق الهندسة المعقدة.