Özet
- Bunun için çalışıyor: soru başına diğer yedi modele kıyasla yaklaşık 2.5× model çağrısı ve 4× araç çağrısı.
- Bunun bedelini ödüyor: v2’de soru başına $11.46; Fable 5.1 için bu rakam $1.24.
- Energent kullanıcıları için hiçbir şey değişmedi. Ajan modelden bağımsız olduğundan, perşembe günü gelen bir model cuma gününe kadar ölçüldü ve ödünleşimin üç köşesi artık şöyle: en ucuz GPT-5.6 Terra, dengeli Fable 5.1, en güçlü GPT-6 Astra.
Aynı test, bir model daha
Düzenek, yedi modelli yazıdaki düzenek: OfficeQA v1 Hard, 697 Hazine Bülteni üzerinde 133 soru ve OfficeQA Pro V2, 1,435 taranmış defter üzerinde 90 soru; aynı araçlar, istemler ve adım bütçesi, her model için yüksek muhakeme çabası, resmî puanlayıcıyla puanlanmış model başına tek çalıştırma. Astra, sıralama tablosundaki diğer tüm modeller gibi doğrudan OpenAI’ın API’sinde çalıştı; sürüm başına tek çalıştırma.
Sonuçlar
Doğruluk, v1’den v2’ye
Bu yazının başındaki grafik, sekiz modeli v1 puanından v2 puanına uzanan oklar olarak gösteriyor. Rakamlar tabloda.
| Model | v1 (133 soru) | v2 (90 soru) | Değişim |
|---|---|---|---|
| GPT-6 Astra | 72.2% | 73.3% | +1.1 |
| Fable 5.1 | 72.2% | 70.0% | −2.2 |
| GPT-5.6 Sol | 71.4% | 68.9% | −2.5 |
| Opus 5 | 74.4% | 63.3% | −11.1 |
| Fable 5 | 72.2% | 57.8% | −14.4 |
| GPT-5.6 Terra | 60.9% | 54.4% | −6.5 |
| Gemini 3.1 Pro | 56.4% | 44.4% | −12.0 |
| Sonnet 5 | 67.7% | 38.9% | −28.8 |
Maliyete karşı doğruluk
| Model | $ / soru v2 | Dakika v2 | Model çağrısı | Araç çağrısı |
|---|---|---|---|---|
| GPT-6 Astra | $11.46 | 14.8 | 56.3 | 142.6 |
| Fable 5.1 | $1.24 | 3.2 | 18.1 | 17.6 |
| GPT-5.6 Sol | $2.12 | 6.9 | 24.3 | 61.9 |
| Opus 5 | $0.98 | 2.7 | 17.0 | 19.4 |
| Fable 5 | $2.00 | 4.0 | 14.8 | 19.5 |
| GPT-5.6 Terra | $0.63 | 3.8 | 20.7 | 43.4 |
| Gemini 3.1 Pro | $1.01 | 5.3 | 38.4 | 36.9 |
| Sonnet 5 | $0.83 | 7.0 | 25.9 | 33.0 |
Sonuç
Daha zor sürüm geçen hafta alanı ayrıştırdı; Astra, daha ucuz olarak değil daha çok çalışarak farkı diğer taraftan kapatan ilk model. Energent kullanıcıları için bu, sizin adınıza yaptığımız seçime üçüncü bir köşe ekliyor: soru başına maliyet en çok önemliyse Terra, doğruluk ve maliyet birlikte önemliyse Fable 5.1, yalnızca yanıt önemliyse Astra.
Teşekkür
Aynı görevin iki sürümü olarak sunulan bir benchmark için Databricks ekibine bir kez daha teşekkürler. Sıralama tablosuna eklenen her model bu sürekliliği daha da değerli kılıyor.
Kaynaklar
- Yedi modelli yazı, tam yöntem ve v1 ile v2 tablolarıyla
- GPT-6 Astra model sayfası, OpenAI
- OpenAI API fiyatlandırması
- Claude Fable 5.1 model sayfası, Anthropic
- OfficeQA Pro V2 veri kümesi, Databricks