Resumo
- Trabalha para isso: cerca de 2.5× as chamadas ao modelo e 4× as chamadas a ferramentas por pergunta dos outros sete.
- Paga por isso: $11.46 por pergunta na v2 contra os $1.24 do Fable 5.1.
- Nada mudou para os utilizadores da Energent. O agente é agnóstico ao modelo, por isso um modelo que chegou numa quinta-feira foi medido até sexta-feira, e os três vértices do compromisso são agora: o GPT-5.6 Terra, o mais barato; o Fable 5.1, o equilibrado; o GPT-6 Astra, o mais forte.
O mesmo teste, mais um modelo
A configuração é a do artigo dos sete modelos: OfficeQA v1 Hard, 133 perguntas sobre 697 Treasury Bulletins, e OfficeQA Pro V2, 90 perguntas sobre 1,435 livros de registo digitalizados, as mesmas ferramentas, prompts e orçamento de passos, esforço de raciocínio alto para todos os modelos, uma execução por modelo pontuada pelo avaliador oficial. O Astra foi executado diretamente na API da OpenAI, uma execução por edição, como todos os outros modelos na tabela.
Resultados
Precisão, da v1 à v2
O gráfico no topo deste artigo mostra os oito modelos como setas da sua pontuação na v1 para a sua pontuação na v2. A tabela tem os números.
| Modelo | v1 (133 perg.) | v2 (90 perg.) | Variação |
|---|---|---|---|
| GPT-6 Astra | 72.2% | 73.3% | +1.1 |
| Fable 5.1 | 72.2% | 70.0% | −2.2 |
| GPT-5.6 Sol | 71.4% | 68.9% | −2.5 |
| Opus 5 | 74.4% | 63.3% | −11.1 |
| Fable 5 | 72.2% | 57.8% | −14.4 |
| GPT-5.6 Terra | 60.9% | 54.4% | −6.5 |
| Gemini 3.1 Pro | 56.4% | 44.4% | −12.0 |
| Sonnet 5 | 67.7% | 38.9% | −28.8 |
Precisão face ao custo
| Modelo | $ / pergunta v2 | Minutos v2 | Chamadas ao modelo | Chamadas a ferramentas |
|---|---|---|---|---|
| GPT-6 Astra | $11.46 | 14.8 | 56.3 | 142.6 |
| Fable 5.1 | $1.24 | 3.2 | 18.1 | 17.6 |
| GPT-5.6 Sol | $2.12 | 6.9 | 24.3 | 61.9 |
| Opus 5 | $0.98 | 2.7 | 17.0 | 19.4 |
| Fable 5 | $2.00 | 4.0 | 14.8 | 19.5 |
| GPT-5.6 Terra | $0.63 | 3.8 | 20.7 | 43.4 |
| Gemini 3.1 Pro | $1.01 | 5.3 | 38.4 | 36.9 |
| Sonnet 5 | $0.83 | 7.0 | 25.9 | 33.0 |
Conclusão
A edição mais difícil separou os modelos na semana passada; o Astra é o primeiro modelo a fechar a diferença pelo outro lado, trabalhando mais em vez de ser mais barato. Para os utilizadores da Energent, isso acrescenta um terceiro vértice à escolha que fazemos por si: o Terra quando o custo por pergunta importa mais, o Fable 5.1 quando importam tanto a precisão como o custo, o Astra quando só a resposta importa.
Agradecimentos
Mais uma vez à equipa da Databricks por um benchmark que vem em duas edições da mesma tarefa. Cada modelo acrescentado à tabela torna essa continuidade mais valiosa.
Referências
- O artigo dos sete modelos, com o método completo e as tabelas da v1 e da v2
- Página do modelo GPT-6 Astra, OpenAI
- Preços da API da OpenAI
- Página do modelo Claude Fable 5.1, Anthropic
- Conjunto de dados OfficeQA Pro V2, Databricks