概要
- その分だけ働いています：質問あたりのモデル呼び出しは他の7モデルの約2.5×、ツール呼び出しは4×です。
- その分だけ費用もかかります：v2での質問あたりコストは$11.46で、Fable 5.1の$1.24と対照的です。
- Energentのユーザーにとって変わることはありません。エージェントはモデル非依存なので、木曜日に登場したモデルは金曜日までに測定され、トレードオフの3つの頂点は今や次のとおりです：最も安いGPT-5.6 Terra、バランスの取れたFable 5.1、最も強いGPT-6 Astra。
同じテスト、モデルをもう1つ
設定は7モデルの記事と同じです：697冊の財務省公報を対象とする133問のOfficeQA v1 Hardと、スキャンした1,435冊の台帳を対象とする90問のOfficeQA Pro V2、同じツール、プロンプト、ステップ予算、すべてのモデルで推論努力（reasoning effort）はhigh、モデルごとに1回実行して公式スコアラーで採点します。AstraはOpenAIのAPIで直接実行し、ボード上の他のすべてのモデルと同様に、版ごとに1回実行しました。
結果
精度、v1からv2へ
この記事の上部のチャートは、8モデルをv1スコアからv2スコアへの矢印として示しています。数値は表のとおりです。
| モデル | v1 (133問) | v2 (90問) | 変化 |
|---|---|---|---|
| GPT-6 Astra | 72.2% | 73.3% | +1.1 |
| Fable 5.1 | 72.2% | 70.0% | −2.2 |
| GPT-5.6 Sol | 71.4% | 68.9% | −2.5 |
| Opus 5 | 74.4% | 63.3% | −11.1 |
| Fable 5 | 72.2% | 57.8% | −14.4 |
| GPT-5.6 Terra | 60.9% | 54.4% | −6.5 |
| Gemini 3.1 Pro | 56.4% | 44.4% | −12.0 |
| Sonnet 5 | 67.7% | 38.9% | −28.8 |
コストに対する精度
| モデル | v2 質問あたりコスト | v2 所要時間（分） | モデル呼び出し | ツール呼び出し |
|---|---|---|---|---|
| GPT-6 Astra | $11.46 | 14.8 | 56.3 | 142.6 |
| Fable 5.1 | $1.24 | 3.2 | 18.1 | 17.6 |
| GPT-5.6 Sol | $2.12 | 6.9 | 24.3 | 61.9 |
| Opus 5 | $0.98 | 2.7 | 17.0 | 19.4 |
| Fable 5 | $2.00 | 4.0 | 14.8 | 19.5 |
| GPT-5.6 Terra | $0.63 | 3.8 | 20.7 | 43.4 |
| Gemini 3.1 Pro | $1.01 | 5.3 | 38.4 | 36.9 |
| Sonnet 5 | $0.83 | 7.0 | 25.9 | 33.0 |
結論
先週、より難しい版が各モデルの差を広げました。Astraは、安くなることではなく、より多く働くことによって、反対側からその差を埋めた最初のモデルです。Energentのユーザーにとっては、私たちがあなたに代わって行う選択に3つ目の頂点が加わります：質問あたりコストが最も重要ならTerra、精度とコストの両方が重要ならFable 5.1、答えだけが重要ならAstraです。
謝辞
同じタスクの2つの版として提供されるベンチマークについて、改めてDatabricksチームに感謝します。ボードにモデルが加わるたびに、その継続性の価値は高まります。
参考文献
- 7モデルの記事、完全な方法とv1・v2の表を掲載
- OpenAI、GPT-6 Astraモデルページ
- OpenAI APIの料金
- Anthropic、Claude Fable 5.1モデルページ
- Databricks、OfficeQA Pro V2データセット