Databricks는 두 번째 에디션으로 OfficeQA를 더 어렵게 만들었습니다. 우리는 Energent 에이전트를 고정한 채 같은 모델들을 두 에디션에서 비교했습니다. 위 차트의 화살표는 각 모델이 에디션 사이에서 얼마나 잃었는지를 보여줍니다.
요약
- 두 모델은 유지했습니다: Fable 5.1(72.2% → 70.0%)과 GPT-5.6 Sol(71.4% → 68.9%). 나머지 5개는 6.5~28.8점 떨어졌습니다.
- 순위가 뒤바뀌었습니다. Opus 5는 v1에서 74.4%로 선두였지만 3위로 내려갔고, Sonnet 5는 67.7%에서 38.9%로 떨어지며 5위에서 최하위가 되었습니다.
- "더 어렵다"는 측정 가능한 말입니다: 코퍼스는 2×(697 → 1,435개 문서), 질문당 인용 문서 수는 3.7×(1.8 → 6.7), 질문당 읽어야 할 텍스트는 약 9×(≈1 MB → ≈9 MB)입니다.
- Energent 사용자는 아무것도 설정할 필요가 없습니다: 에이전트는 모델 독립적이므로, 여러분의 작업이 커질수록 우리가 측정하고, 버티는 모델을 골라, 최고의 성능과 속도를 유지해 드립니다.
배경: OfficeQA, v1에서 v2로
OfficeQA는 미국 재무부 재무 보고서를 대상으로 한 근거 기반 추론을 평가하는 Databricks의 벤치마크입니다. 여기서 v1은 첫 번째 발표에서 소개된 OfficeQA Pro로, 원래 벤치마크에서 어려움으로 분류된 133개 질문을 697개의 재무부 회보(Treasury Bulletin)를 대상으로 사람 주석자가 직접 작성한 것입니다.
v2는 두 번째 발표에서 소개된 OfficeQA Pro V2로, 1793년부터 2024년까지의 연방 세입·세출 스캔 장부 1,435개를 대상으로 한 90개 질문입니다.
나란히 놓고 보면, v2는 에이전트에 중요한 모든 축에서 더 어렵습니다:
| v1 | v2 | 변화 | |
|---|---|---|---|
| 코퍼스 내 문서 수 | 697 | 1,435 | 2× |
| 질문당 인용 문서 수(평균) | 1.8 | 6.7 | 3.7× |
| 질문당 읽어야 할 텍스트(평균) | ≈1 MB | ≈9 MB | ≈9× |
같은 과제로 두 번째 에디션이 나오는 벤치마크는 드뭅니다. OfficeQA는 그렇게 했고, 덕분에 난이도가 측정 가능한 축이 되었습니다.
테스트 방법
- 왜 OfficeQA인가. 우리 사용자들이 Energent에 가져오는 작업과 닮았기 때문입니다: 올바른 문서를 찾고, 빽빽한 표에서 수치를 뽑아내고, 이를 결합해, 검증 가능한 정확한 답을 내놓는 일입니다.
- 같은 에이전트, 모델만 교체. Energent 에이전트는 모델 독립적입니다. 같은 도구, 프롬프트, 스텝 예산으로 Anthropic, OpenAI, Google의 프론티어 모델 7개를 두 에디션에서 실행했습니다. 하락을 일으키는 것은 더 어려운 데이터이며, 에이전트가 고정되어 있으므로 모델별로 얼마나 떨어졌는지의 차이는 에이전트가 아니라 모델에서 비롯됩니다.
- 모든 모델에 같은 규칙. 모든 답은 벤치마크의 공식 채점기로 채점하며, 모델당 1회 실행합니다.
결과
정확도, v1에서 v2로
공식 채점기 기준 답변 정확도이며, v2 점수순으로 정렬했습니다.
| 모델 | v1 (133문항) | v2 (90문항) | 변화 |
|---|---|---|---|
| Fable 5.1 | 72.2% | 70.0% | −2.2 |
| GPT-5.6 Sol | 71.4% | 68.9% | −2.5 |
| Opus 5 | 74.4% | 63.3% | −11.1 |
| Fable 5 | 72.2% | 57.8% | −14.4 |
| GPT-5.6 Terra | 60.9% | 54.4% | −6.5 |
| Gemini 3.1 Pro | 56.4% | 44.4% | −12.0 |
| Sonnet 5 | 67.7% | 38.9% | −28.8 |
- v1에서는 7개 모델 중 5개가 7점 범위 안에 있었지만, v2에서는 같은 7개 모델이 31점에 걸쳐 흩어집니다.
- 유지한 두 모델인 Fable 5.1과 GPT-5.6 Sol은 v1에서 중위권이었지만 v2에서는 1위와 2위로 마쳤습니다.
v1: 비용 및 추론 프로필
| 모델 | 질문당 비용 | 평균 소요 시간 | 질문당 모델 호출 | 질문당 도구 호출 | 호출당 도구 수 |
|---|---|---|---|---|---|
| Fable 5.1 | $0.58 | 1.7분 | 11.6 | 10.7 | 0.93 |
| GPT-5.6 Sol | $0.73 | 2.3분 | 13.6 | 23.9 | 1.76 |
| Opus 5 | $0.49 | 1.4분 | 9.7 | 11.6 | 1.20 |
| Fable 5 | $0.94 | 1.6분 | 8.5 | 11.0 | 1.29 |
| GPT-5.6 Terra | $0.26 | 1.7분 | 13.7 | 21.6 | 1.58 |
| Gemini 3.1 Pro | $0.30 | 1.3분 | 17.8 | 16.2 | 0.91 |
| Sonnet 5 | $0.28 | 2.2분 | 12.3 | 14.0 | 1.14 |
v2: 비용 및 추론 프로필
| 모델 | 질문당 비용 | 평균 소요 시간 | 질문당 모델 호출 | 질문당 도구 호출 | 호출당 도구 수 |
|---|---|---|---|---|---|
| Fable 5.1 | $1.24 | 3.2분 | 18.1 | 17.6 | 0.97 |
| GPT-5.6 Sol | $2.12 | 6.9분 | 24.3 | 61.9 | 2.55 |
| Opus 5 | $0.98 | 2.7분 | 17.0 | 19.4 | 1.14 |
| Fable 5 | $2.00 | 4.0분 | 14.8 | 19.5 | 1.31 |
| GPT-5.6 Terra | $0.63 | 3.8분 | 20.7 | 43.4 | 2.10 |
| Gemini 3.1 Pro | $1.01 | 5.3분 | 38.4 | 36.9 | 0.96 |
| Sonnet 5 | $0.83 | 7.0분 | 25.9 | 33.0 | 1.27 |
- 모든 모델이 v2에서 더 많이 일했습니다: 질문당 비용은 2
3.4배, 모델 및 도구 호출은 1.52.6배, 소요 시간은 1.9~4.1배였습니다. - 유지한 두 모델은 서로 다른 방식으로 해냈습니다: Fable 5.1은 모든 모델 중 가장 적은 도구 호출과 질문당 3.2분으로, GPT-5.6 Sol은 가장 많은 도구 호출과 6.9분으로 해냈습니다.
결론
OfficeQA의 두 에디션은 드문 것을 제공합니다: 같은 과제를 두 가지 난이도로 제공하므로, 과제가 어려워질수록 어떤 모델이 성능을 유지하고 어떤 모델이 떨어지는지 볼 수 있습니다. v1에서는 7개 모델이 한데 몰려 있었지만, v2에서는 멀리 흩어졌습니다. 쉬운 데이터는 모델 간 차이를 감추고, 어려운 데이터는 그 차이를 드러냅니다.
Energent 사용자에게 그 선택은 우리가 계속 대신 내리는 몫입니다: 여러분의 작업이 어려워질수록 우리는 여러분의 작업 유형에 맞춰 모델을 측정하고, 버티는 모델을 골라, 정확도와 속도·비용의 균형을 맞추며, 여러분이 설정할 것은 아무것도 없습니다.
감사의 말
OfficeQA를 만들어 준 Databricks 팀에 특별히 감사드립니다: 실제 문서를 바탕으로 꼼꼼히 검증된 질문을 담은, 가공되지 않은 고품질의 의도적으로 더 어려운 데이터셋을 같은 과제의 두 에디션으로 공개해 주었습니다. 그 연속성 덕분에 이 추세를 볼 수 있었습니다. 이 결과에 대한 상세한 논문을 준비 중입니다.
참고 자료
- Databricks, OfficeQA 소개, 첫 번째 에디션 발표
- Databricks, OfficeQA Pro V2 소개, 두 번째 에디션 발표
- OfficeQA Pro: An Enterprise Benchmark for End-to-End Grounded Reasoning, arXiv 2603.08655
- GitHub의 OfficeQA 저장소
- Hugging Face의 OfficeQA Pro V2 데이터셋