W skrócie
- Pracuje na to: około 2.5× więcej wywołań modelu i 4× więcej wywołań narzędzi na pytanie niż pozostałe siedem.
- Płaci za to: $11.46 na pytanie w v2 wobec $1.24 dla Fable 5.1.
- Dla użytkowników Energent nic się nie zmieniło. Agent jest niezależny od modelu, więc model, który pojawił się w czwartek, został zmierzony do piątku, a trzy wierzchołki kompromisu to teraz: najtańszy GPT-5.6 Terra, zrównoważony Fable 5.1, najmocniejszy GPT-6 Astra.
Ten sam test, jeden model więcej
Konfiguracja jest ta sama co we wpisie o siedmiu modelach: OfficeQA v1 Hard, 133 pytania dotyczące 697 biuletynów Departamentu Skarbu (Treasury Bulletins), oraz OfficeQA Pro V2, 90 pytań dotyczących 1,435 zeskanowanych ksiąg, te same narzędzia, prompty i budżet kroków, wysiłek rozumowania ustawiony na wysoki dla każdego modelu, jeden przebieg na model oceniany przez oficjalny mechanizm oceny. Astra działał bezpośrednio na API OpenAI, jeden przebieg na edycję, jak każdy inny model na tablicy wyników.
Wyniki
Trafność, od v1 do v2
Wykres na górze tego wpisu pokazuje osiem modeli jako strzałki od ich wyniku v1 do wyniku v2. Liczby są w tabeli.
| Model | v1 (133 pyt.) | v2 (90 pyt.) | Zmiana |
|---|---|---|---|
| GPT-6 Astra | 72.2% | 73.3% | +1.1 |
| Fable 5.1 | 72.2% | 70.0% | −2.2 |
| GPT-5.6 Sol | 71.4% | 68.9% | −2.5 |
| Opus 5 | 74.4% | 63.3% | −11.1 |
| Fable 5 | 72.2% | 57.8% | −14.4 |
| GPT-5.6 Terra | 60.9% | 54.4% | −6.5 |
| Gemini 3.1 Pro | 56.4% | 44.4% | −12.0 |
| Sonnet 5 | 67.7% | 38.9% | −28.8 |
Trafność a koszt
| Model | $ / pytanie v2 | Minuty v2 | Wywołania modelu | Wywołania narzędzi |
|---|---|---|---|---|
| GPT-6 Astra | $11.46 | 14.8 | 56.3 | 142.6 |
| Fable 5.1 | $1.24 | 3.2 | 18.1 | 17.6 |
| GPT-5.6 Sol | $2.12 | 6.9 | 24.3 | 61.9 |
| Opus 5 | $0.98 | 2.7 | 17.0 | 19.4 |
| Fable 5 | $2.00 | 4.0 | 14.8 | 19.5 |
| GPT-5.6 Terra | $0.63 | 3.8 | 20.7 | 43.4 |
| Gemini 3.1 Pro | $1.01 | 5.3 | 38.4 | 36.9 |
| Sonnet 5 | $0.83 | 7.0 | 25.9 | 33.0 |
Wnioski
Trudniejsza edycja w zeszłym tygodniu rozdzieliła stawkę; Astra jest pierwszym modelem, który domyka tę lukę z drugiej strony, pracując ciężej, a nie będąc tańszym. Dla użytkowników Energent oznacza to trzeci wierzchołek wyboru, którego dokonujemy za Ciebie: Terra, gdy najbardziej liczy się koszt na pytanie, Fable 5.1, gdy liczą się zarówno trafność, jak i koszt, Astra, gdy liczy się tylko odpowiedź.
Podziękowania
Ponownie dla zespołu Databricks za benchmark, który występuje w dwóch edycjach tego samego zadania. Każdy model dodany do tablicy wyników czyni tę ciągłość cenniejszą.
Źródła
- Wpis o siedmiu modelach, z pełną metodą oraz tabelami v1 i v2
- Strona modelu GPT-6 Astra, OpenAI
- Cennik API OpenAI
- Strona modelu Claude Fable 5.1, Anthropic
- Zbiór danych OfficeQA Pro V2, Databricks