TL;DR
- Se lo trabaja: cerca de 2.5× las llamadas al modelo y 4× las llamadas a herramientas por pregunta de los otros siete.
- Y lo paga: $11.46 por pregunta en v2 frente a los $1.24 de Fable 5.1.
- Para los usuarios de Energent no cambió nada. El agente es agnóstico al modelo, así que un modelo que llegó un jueves quedó medido el viernes, y los tres vértices de la elección son ahora: el más barato, GPT-5.6 Terra; el equilibrado, Fable 5.1; el más fuerte, GPT-6 Astra.
La misma prueba, un modelo más
La configuración es la de la publicación de los siete modelos: OfficeQA v1 Hard, 133 preguntas sobre 697 boletines del Tesoro, y OfficeQA Pro V2, 90 preguntas sobre 1,435 libros contables escaneados, las mismas herramientas, prompts y presupuesto de pasos, esfuerzo de razonamiento alto para todos los modelos, una ejecución por modelo puntuada por el evaluador oficial. Astra se ejecutó directamente en la API de OpenAI, una ejecución por edición, como todos los demás modelos de la clasificación.
Resultados
Precisión, de v1 a v2
El gráfico al inicio de esta publicación muestra los ocho modelos como flechas desde su puntuación en v1 hasta su puntuación en v2. La tabla tiene las cifras.
| Modelo | v1 (133 preguntas) | v2 (90 preguntas) | Cambio |
|---|---|---|---|
| GPT-6 Astra | 72.2% | 73.3% | +1.1 |
| Fable 5.1 | 72.2% | 70.0% | −2.2 |
| GPT-5.6 Sol | 71.4% | 68.9% | −2.5 |
| Opus 5 | 74.4% | 63.3% | −11.1 |
| Fable 5 | 72.2% | 57.8% | −14.4 |
| GPT-5.6 Terra | 60.9% | 54.4% | −6.5 |
| Gemini 3.1 Pro | 56.4% | 44.4% | −12.0 |
| Sonnet 5 | 67.7% | 38.9% | −28.8 |
Precisión frente a costo
| Modelo | $ / pregunta v2 | Minutos v2 | Llamadas al modelo | Llamadas a herramientas |
|---|---|---|---|---|
| GPT-6 Astra | $11.46 | 14.8 | 56.3 | 142.6 |
| Fable 5.1 | $1.24 | 3.2 | 18.1 | 17.6 |
| GPT-5.6 Sol | $2.12 | 6.9 | 24.3 | 61.9 |
| Opus 5 | $0.98 | 2.7 | 17.0 | 19.4 |
| Fable 5 | $2.00 | 4.0 | 14.8 | 19.5 |
| GPT-5.6 Terra | $0.63 | 3.8 | 20.7 | 43.4 |
| Gemini 3.1 Pro | $1.01 | 5.3 | 38.4 | 36.9 |
| Sonnet 5 | $0.83 | 7.0 | 25.9 | 33.0 |
Conclusión
La edición más difícil separó el campo la semana pasada; Astra es el primer modelo que cierra la brecha desde el otro lado, trabajando más en lugar de ser más barato. Para los usuarios de Energent, eso añade un tercer vértice a la elección que tomamos por ti: Terra cuando lo que más importa es el costo por pregunta, Fable 5.1 cuando importan tanto la precisión como el costo, Astra cuando solo importa la respuesta.
Agradecimientos
De nuevo al equipo de Databricks por un benchmark que viene en dos ediciones de la misma tarea. Cada modelo que se suma a la clasificación hace más valiosa esa continuidad.
Referencias
- La publicación de los siete modelos, con el método completo y las tablas de v1 y v2
- Página del modelo GPT-6 Astra, OpenAI
- Precios de la API de OpenAI
- Página del modelo Claude Fable 5.1, Anthropic
- Conjunto de datos OfficeQA Pro V2, Databricks