Кратко
- Она это отрабатывает: примерно в 2.5× больше вызовов модели и в 4× больше вызовов инструментов на вопрос, чем у остальных семи.
- И платит за это: $11.46 на вопрос на v2 против $1.24 у Fable 5.1.
- Для пользователей Energent ничего не изменилось. Агент не зависит от модели, поэтому модель, появившаяся в четверг, к пятнице была уже измерена, а три угла компромисса теперь такие: самая дешёвая GPT-5.6 Terra, сбалансированная Fable 5.1, самая сильная GPT-6 Astra.
Тот же тест, ещё одна модель
Условия те же, что и в посте о семи моделях: OfficeQA v1 Hard, 133 вопроса по 697 бюллетеням Казначейства, и OfficeQA Pro V2, 90 вопросов по 1,435 отсканированным ведомостям, одни и те же инструменты, промпты и бюджет шагов, reasoning effort на уровне high для каждой модели, один запуск на модель с оценкой официальным оценщиком. Astra работала напрямую через API OpenAI, один запуск на редакцию, как и любая другая модель в таблице лидеров.
Результаты
Точность, от v1 к v2
Диаграмма в начале поста показывает восемь моделей в виде стрелок от результата на v1 к результату на v2. Цифры — в таблице.
| Модель | v1 (133 вопр.) | v2 (90 вопр.) | Изменение |
|---|---|---|---|
| GPT-6 Astra | 72.2% | 73.3% | +1.1 |
| Fable 5.1 | 72.2% | 70.0% | −2.2 |
| GPT-5.6 Sol | 71.4% | 68.9% | −2.5 |
| Opus 5 | 74.4% | 63.3% | −11.1 |
| Fable 5 | 72.2% | 57.8% | −14.4 |
| GPT-5.6 Terra | 60.9% | 54.4% | −6.5 |
| Gemini 3.1 Pro | 56.4% | 44.4% | −12.0 |
| Sonnet 5 | 67.7% | 38.9% | −28.8 |
Точность и стоимость
| Модель | $ / вопрос v2 | Минут v2 | Вызовов модели | Вызовов инструментов |
|---|---|---|---|---|
| GPT-6 Astra | $11.46 | 14.8 | 56.3 | 142.6 |
| Fable 5.1 | $1.24 | 3.2 | 18.1 | 17.6 |
| GPT-5.6 Sol | $2.12 | 6.9 | 24.3 | 61.9 |
| Opus 5 | $0.98 | 2.7 | 17.0 | 19.4 |
| Fable 5 | $2.00 | 4.0 | 14.8 | 19.5 |
| GPT-5.6 Terra | $0.63 | 3.8 | 20.7 | 43.4 |
| Gemini 3.1 Pro | $1.01 | 5.3 | 38.4 | 36.9 |
| Sonnet 5 | $0.83 | 7.0 | 25.9 | 33.0 |
Вывод
На прошлой неделе более сложная редакция развела модели далеко друг от друга; Astra — первая модель, которая сокращает разрыв с другой стороны: не за счёт дешевизны, а за счёт более тяжёлой работы. Для пользователей Energent это добавляет третий угол к выбору, который мы делаем за вас: Terra, когда важнее всего стоимость на вопрос, Fable 5.1, когда важны и точность, и стоимость, Astra, когда важен только ответ.
Благодарности
Снова команде Databricks за бенчмарк, выпущенный в двух редакциях одной и той же задачи. Каждая модель, добавленная в таблицу лидеров, делает эту преемственность ещё ценнее.
Источники
- Пост о семи моделях, с полным описанием метода и таблицами v1 и v2
- Страница модели GPT-6 Astra, OpenAI
- Цены на API OpenAI
- Страница модели Claude Fable 5.1, Anthropic
- Набор данных OfficeQA Pro V2, Databricks