Databricksは第2版でOfficeQAをより難しくしました。私たちはEnergentエージェントを固定したまま、両方の版で同じモデルを比較しました。上のチャートの矢印は、版の間で各モデルが何を失ったかを示しています。
概要
- 2つのモデルが持ちこたえました：Fable 5.1（72.2% → 70.0%）とGPT-5.6 Sol（71.4% → 68.9%）です。5つは6.5〜28.8ポイント落ちました。
- 順位は入れ替わりました。Opus 5はv1で74.4%と首位でしたが3位に後退し、Sonnet 5は67.7%から38.9%へと、5位から最下位に落ちました。
- 「より難しい」は測定可能です：コーパスは2×（697 → 1,435文書）に、質問あたりの引用文書数は3.7×（1.8 → 6.7）に、質問あたりの読むべきテキスト量は約9×（≈1 MB → ≈9 MB）に増えました。
- Energentのユーザーに設定すべきものはありません：エージェントはモデル非依存なので、タスクが大きくなるにつれて私たちが測定し、持ちこたえるモデルを選び、最高の性能と速度を維持します。
背景：OfficeQA、v1からv2へ
OfficeQAは、米国財務省の財務報告書を対象とした根拠に基づく推論のためのDatabricksのベンチマークです。ここでのv1はOfficeQA Proで、最初の発表で紹介されました：元のベンチマークで「難しい」とラベル付けされた133問で、697冊の財務省公報（Treasury Bulletin）を対象に、人間のアノテーターが手作業で作成したものです。
v2はOfficeQA Pro V2で、2番目の発表で紹介されました：1793年から2024年までの連邦政府の歳入・歳出をスキャンした1,435冊の台帳を対象とする90問です。
並べて比較すると、v2はエージェントにとって重要なすべての軸でより難しくなっています：
| v1 | v2 | 変化 | |
|---|---|---|---|
| コーパス内の文書数 | 697 | 1,435 | 2× |
| 質問あたりの引用文書数（平均） | 1.8 | 6.7 | 3.7× |
| 質問あたりの読むべきテキスト量（平均） | ≈1 MB | ≈9 MB | ≈9× |
同じタスクの第2版が出るベンチマークはほとんどありません。OfficeQAはそれを実現し、難易度を測定可能な軸にしました。
テスト方法
- なぜOfficeQAか。 ユーザーがEnergentに持ち込む仕事によく似ているからです：適切な文書を見つけ、密度の高い表から数値を取り出し、それらを組み合わせ、検証可能な正確な答えを返す仕事です。
- 同じエージェント、モデルだけを入れ替え。 Energentエージェントはモデル非依存です。同じツール、プロンプト、ステップ予算で、Anthropic、OpenAI、Googleの7つのフロンティアモデルを両方の版で実行しました。下落を引き起こすのはより難しいデータです。エージェントを固定しているため、どれだけ落ちたかというモデル間の差は、エージェントではなくモデルに帰着します。
- すべてのモデルに同じルール。 すべての回答はベンチマークの公式スコアラーで採点し、モデルごとに1回実行しました。
結果
精度、v1からv2へ
公式スコアラーによる回答精度を、v2スコア順に並べています。
| モデル | v1 (133問) | v2 (90問) | 変化 |
|---|---|---|---|
| Fable 5.1 | 72.2% | 70.0% | −2.2 |
| GPT-5.6 Sol | 71.4% | 68.9% | −2.5 |
| Opus 5 | 74.4% | 63.3% | −11.1 |
| Fable 5 | 72.2% | 57.8% | −14.4 |
| GPT-5.6 Terra | 60.9% | 54.4% | −6.5 |
| Gemini 3.1 Pro | 56.4% | 44.4% | −12.0 |
| Sonnet 5 | 67.7% | 38.9% | −28.8 |
- v1では7モデル中5つが7ポイントの幅に収まっていましたが、v2では同じ7モデルが31ポイントに広がっています。
- 持ちこたえた2つ、Fable 5.1とGPT-5.6 Solは、v1では中位でしたが、v2では1位と2位になりました。
v1：コストと推論プロファイル
| モデル | 質問あたりコスト | 平均所要時間 | 質問あたりモデル呼び出し | 質問あたりツール呼び出し | 呼び出しあたりツール数 |
|---|---|---|---|---|---|
| Fable 5.1 | $0.58 | 1.7分 | 11.6 | 10.7 | 0.93 |
| GPT-5.6 Sol | $0.73 | 2.3分 | 13.6 | 23.9 | 1.76 |
| Opus 5 | $0.49 | 1.4分 | 9.7 | 11.6 | 1.20 |
| Fable 5 | $0.94 | 1.6分 | 8.5 | 11.0 | 1.29 |
| GPT-5.6 Terra | $0.26 | 1.7分 | 13.7 | 21.6 | 1.58 |
| Gemini 3.1 Pro | $0.30 | 1.3分 | 17.8 | 16.2 | 0.91 |
| Sonnet 5 | $0.28 | 2.2分 | 12.3 | 14.0 | 1.14 |
v2：コストと推論プロファイル
| モデル | 質問あたりコスト | 平均所要時間 | 質問あたりモデル呼び出し | 質問あたりツール呼び出し | 呼び出しあたりツール数 |
|---|---|---|---|---|---|
| Fable 5.1 | $1.24 | 3.2分 | 18.1 | 17.6 | 0.97 |
| GPT-5.6 Sol | $2.12 | 6.9分 | 24.3 | 61.9 | 2.55 |
| Opus 5 | $0.98 | 2.7分 | 17.0 | 19.4 | 1.14 |
| Fable 5 | $2.00 | 4.0分 | 14.8 | 19.5 | 1.31 |
| GPT-5.6 Terra | $0.63 | 3.8分 | 20.7 | 43.4 | 2.10 |
| Gemini 3.1 Pro | $1.01 | 5.3分 | 38.4 | 36.9 | 0.96 |
| Sonnet 5 | $0.83 | 7.0分 | 25.9 | 33.0 | 1.27 |
- すべてのモデルがv2でより多くの作業を必要としました：質問あたりのコストは2〜3.4倍、モデル呼び出しとツール呼び出しは1.5〜2.6倍、所要時間は1.9〜4.1倍です。
- 持ちこたえた2つのやり方は異なりました：Fable 5.1は全モデル中最少のツール呼び出しで質問あたり3.2分、GPT-5.6 Solは最多のツール呼び出しで6.9分でした。
結論
OfficeQAの2つの版は珍しいものを提供しています：同じタスクを2つの難易度で用意しているため、タスクが難しくなっても性能を維持するモデルと、落ちるモデルを見分けられます。v1では7モデルが密集していましたが、v2では大きくばらつきました。簡単なデータはモデル間の差を隠し、難しいデータはそれをあらわにします。
Energentのユーザーにとって、その選択は私たちが担い続けるものです：タスクが難しくなるにつれて、私たちがあなたの仕事の種類でモデルを測定し、持ちこたえるモデルを選び、精度と速度・コストのバランスを取り、設定していただくものは何もありません。
謝辞
OfficeQAを提供してくださったDatabricksチームに特に感謝します：実際の文書に基づき、入念に検証された質問を備え、意図的により難しく作られた生の高品質データセットを、同じタスクの2つの版として公開してくださいました。この継続性があったからこそ、この傾向を見ることができました。これらの結果に関する詳細な論文を準備中です。
参考文献
- Databricks、OfficeQAの紹介、第1版の発表
- Databricks、OfficeQA Pro V2の紹介、第2版の発表
- OfficeQA Pro: An Enterprise Benchmark for End-to-End Grounded Reasoning、arXiv 2603.08655
- GitHub上のOfficeQAリポジトリ
- Hugging Face上のOfficeQA Pro V2データセット