Energentは、5件の公開技術文書ベンチマークのうち4件で、引用した公開済み最高結果を上回りました。すべてのスコアは、各ベンチマーク本来のスコアラーを変更せずに実行した結果です。
概要
- EnergentはDrawingVQA、BlueprintSymVL、CircuitSense、CADBenchで首位です。
- CircuitSenseでは69.6%対12.3%、BlueprintSymVLでは74.0%対50.5%を記録しました。
- 評価対象は、クロップ、再確認、コード実行を含むEnergentのエージェント型ワークフロー全体です。
結果
各ベンチマークは0〜100の独自指標を使用するため、各行は独立した比較です。
| 分野 | ベンチマーク | Energent | 公開済み最高結果 |
|---|---|---|---|
| 建設図面 | DrawingVQA — ビジュアルQA | 89.1% | 77.2% (Gemini-3-pro) |
| プロセス・配管 | BlueprintSymVL — P&ID記号 | 74.0% | 50.5% |
| アナログ電子回路 | CircuitSense — 記号導出 | 69.6% | 12.3% |
| 機械CAD | CADBench — Aligned IoU | 55.3% | 45.1% (Claude Opus 4.7) |
| 機械CAD | BenchCAD — 部品QA | 52.6% | 58.7% |
詳細と出典
DrawingVQAは建設図面の視覚的な質問応答を評価します。Energentの結果は3回実行した多数決で、現在の比較対象は77.2%です。BlueprintSymVLはP&ID記号の完全一致認識を測定し、データは公開されています。
CircuitSenseは回路からの記号導出を検証し、データはMITライセンスで提供されています。CADBenchは6ファミリー中4ファミリーでCADプログラム生成を測定し、データはMITライセンスで公開されています。BenchCADはCAD部品に関する視覚的質問を評価し、リーダーボードとデータを公開しています。
方法と結論
各スコアラーを固定コミットにピン留めし、変更せずに実行しました。抽出はEnergent、採点はベンチマークによるものです。 Energentは5件中4件で首位となり、複雑な技術文書を理解するエージェント型ワークフローの価値を示しました。