摘要
- 它为此付出了更多工作：每题模型调用数约为其余七个模型的 2.5×，工具调用数约为 4×。
- 它也为此付出了更高的成本：v2 上每题成本 $11.46，而 Fable 5.1 为 $1.24。
- 对 Energent 用户而言，一切照旧。智能体与模型无关，因此周四刚发布的模型，周五就完成了测量；如今权衡的三个顶点是：最便宜的 GPT-5.6 Terra、均衡的 Fable 5.1、最强的 GPT-6 Astra。
同一测试，再加一个模型
测试设置沿用七模型文章中的那一套：OfficeQA v1 Hard，133 道题目，覆盖 697 份财政部公报；OfficeQA Pro V2，90 道题目，覆盖 1,435 份扫描账簿；相同的工具、提示词和步数预算，每个模型的推理强度均设为高，每个模型运行一次并由官方评分器评分。Astra 直接在 OpenAI 的 API 上运行，每个版本运行一次，与榜单上的其他所有模型一样。
结果
准确率，从 v1 到 v2
本文顶部的图表以箭头形式展示了八个模型从 v1 分数到 v2 分数的变化。具体数字见下表。
| 模型 | v1（133 题） | v2（90 题） | 变化 |
|---|---|---|---|
| GPT-6 Astra | 72.2% | 73.3% | +1.1 |
| Fable 5.1 | 72.2% | 70.0% | −2.2 |
| GPT-5.6 Sol | 71.4% | 68.9% | −2.5 |
| Opus 5 | 74.4% | 63.3% | −11.1 |
| Fable 5 | 72.2% | 57.8% | −14.4 |
| GPT-5.6 Terra | 60.9% | 54.4% | −6.5 |
| Gemini 3.1 Pro | 56.4% | 44.4% | −12.0 |
| Sonnet 5 | 67.7% | 38.9% | −28.8 |
准确率与成本
| 模型 | v2 每题成本 | v2 时长（分钟） | 模型调用数 | 工具调用数 |
|---|---|---|---|---|
| GPT-6 Astra | $11.46 | 14.8 | 56.3 | 142.6 |
| Fable 5.1 | $1.24 | 3.2 | 18.1 | 17.6 |
| GPT-5.6 Sol | $2.12 | 6.9 | 24.3 | 61.9 |
| Opus 5 | $0.98 | 2.7 | 17.0 | 19.4 |
| Fable 5 | $2.00 | 4.0 | 14.8 | 19.5 |
| GPT-5.6 Terra | $0.63 | 3.8 | 20.7 | 43.4 |
| Gemini 3.1 Pro | $1.01 | 5.3 | 38.4 | 36.9 |
| Sonnet 5 | $0.83 | 7.0 | 25.9 | 33.0 |
结论
上周，更难的版本拉开了各模型之间的差距；Astra 是首个从另一侧弥合这一差距的模型，靠的是更加努力，而不是更加便宜。对 Energent 用户而言，这为我们替您做出的选择增添了第三个顶点：最看重每题成本时选 Terra，准确率与成本都重要时选 Fable 5.1，只在乎答案时选 Astra。
致谢
再次感谢 Databricks 团队推出了以同一任务的两个版本发布的基准测试。榜单上每增加一个模型，这种延续性就更有价值。
参考资料
- 七模型文章，含完整方法以及 v1 和 v2 的表格
- GPT-6 Astra 模型页面，OpenAI
- OpenAI API 定价
- Claude Fable 5.1 模型页面，Anthropic
- OfficeQA Pro V2 数据集，Databricks