요약
- 그만큼 더 일합니다: 질문당 모델 호출은 나머지 7개 모델의 약 2.5배, 도구 호출은 약 4배입니다.
- 그만큼 비용을 치릅니다: v2에서 질문당 $11.46로, Fable 5.1은 $1.24입니다.
- Energent 사용자에게는 바뀐 것이 없습니다. 에이전트는 모델 독립적이므로 목요일에 나온 모델을 금요일에 측정할 수 있었고, 이제 트레이드오프의 세 꼭짓점은 다음과 같습니다: 가장 저렴한 GPT-5.6 Terra, 균형 잡힌 Fable 5.1, 가장 강력한 GPT-6 Astra.
같은 테스트, 모델 하나 추가
설정은 7개 모델 게시글과 같습니다: 697개의 재무부 회보(Treasury Bulletin)를 대상으로 한 133개 질문의 OfficeQA v1 Hard와 1,435개의 스캔 장부를 대상으로 한 90개 질문의 OfficeQA Pro V2, 같은 도구·프롬프트·스텝 예산, 모든 모델에서 추론 강도(reasoning effort) high, 모델당 1회 실행을 공식 채점기로 채점. Astra는 리더보드의 다른 모든 모델과 마찬가지로 OpenAI API에서 직접, 에디션당 1회 실행했습니다.
결과
정확도, v1에서 v2로
이 글 상단의 차트는 8개 모델을 v1 점수에서 v2 점수로 향하는 화살표로 보여줍니다. 수치는 표에 있습니다.
| 모델 | v1 (133문항) | v2 (90문항) | 변화 |
|---|---|---|---|
| GPT-6 Astra | 72.2% | 73.3% | +1.1 |
| Fable 5.1 | 72.2% | 70.0% | −2.2 |
| GPT-5.6 Sol | 71.4% | 68.9% | −2.5 |
| Opus 5 | 74.4% | 63.3% | −11.1 |
| Fable 5 | 72.2% | 57.8% | −14.4 |
| GPT-5.6 Terra | 60.9% | 54.4% | −6.5 |
| Gemini 3.1 Pro | 56.4% | 44.4% | −12.0 |
| Sonnet 5 | 67.7% | 38.9% | −28.8 |
비용 대비 정확도
| 모델 | v2 질문당 비용 | v2 소요 시간(분) | 모델 호출 | 도구 호출 |
|---|---|---|---|---|
| GPT-6 Astra | $11.46 | 14.8 | 56.3 | 142.6 |
| Fable 5.1 | $1.24 | 3.2 | 18.1 | 17.6 |
| GPT-5.6 Sol | $2.12 | 6.9 | 24.3 | 61.9 |
| Opus 5 | $0.98 | 2.7 | 17.0 | 19.4 |
| Fable 5 | $2.00 | 4.0 | 14.8 | 19.5 |
| GPT-5.6 Terra | $0.63 | 3.8 | 20.7 | 43.4 |
| Gemini 3.1 Pro | $1.01 | 5.3 | 38.4 | 36.9 |
| Sonnet 5 | $0.83 | 7.0 | 25.9 | 33.0 |
결론
지난주 더 어려운 에디션은 모델들 사이를 벌려 놓았고, Astra는 반대편에서 그 격차를 좁힌 첫 번째 모델입니다. 더 저렴해서가 아니라 더 열심히 일해서입니다. Energent 사용자에게 이는 우리가 대신 내리는 선택에 세 번째 꼭짓점을 더합니다: 질문당 비용이 가장 중요할 때는 Terra, 정확도와 비용이 모두 중요할 때는 Fable 5.1, 답만이 중요할 때는 Astra.
감사의 말
같은 과제를 두 에디션으로 제공하는 벤치마크를 만들어 준 Databricks 팀에 다시 한번 감사드립니다. 리더보드에 모델이 추가될 때마다 그 연속성은 더 가치 있어집니다.
참고 자료
- 7개 모델 게시글, 전체 방법과 v1 및 v2 표 포함
- OpenAI의 GPT-6 Astra 모델 페이지
- OpenAI API 가격
- Anthropic의 Claude Fable 5.1 모델 페이지
- Databricks의 OfficeQA Pro V2 데이터셋