الخلاصة
- وهو يبذل جهدًا لقاء ذلك: نحو 2.5× من استدعاءات النموذج و4× من استدعاءات الأدوات لكل سؤال مقارنةً بالنماذج السبعة الأخرى.
- ويدفع ثمن ذلك: $11.46 لكل سؤال على v2 مقابل $1.24 لنموذج Fable 5.1.
- لم يتغير شيء لمستخدمي Energent. فالوكيل محايد تجاه النموذج، ولذلك فإن نموذجًا وصل يوم الخميس قد قيس بحلول الجمعة، وأصبحت زوايا المفاضلة الثلاث الآن: الأرخص GPT-5.6 Terra، والمتوازن Fable 5.1، والأقوى GPT-6 Astra.
الاختبار نفسه، ونموذج إضافي
الإعداد هو نفسه المستخدم في منشور النماذج السبعة: OfficeQA v1 Hard، أي 133 سؤالًا على 697 نشرة من نشرات وزارة الخزانة، وOfficeQA Pro V2، أي 90 سؤالًا على 1,435 سجلًا ممسوحًا ضوئيًا، مع الأدوات نفسها والموجّهات نفسها وميزانية الخطوات نفسها، وجهد استدلال مرتفع لكل نموذج، وتشغيل واحد لكل نموذج مُقيَّم بأداة التقييم الرسمية. شُغّل Astra على واجهة برمجة تطبيقات OpenAI مباشرة، بتشغيل واحد لكل إصدار، مثل كل نموذج آخر على اللوحة.
النتائج
الدقة من v1 إلى v2
يعرض الرسم البياني في أعلى هذا المنشور النماذج الثمانية على هيئة أسهم من نتيجتها في v1 إلى نتيجتها في v2. والجدول يحوي الأرقام.
| النموذج | v1 (133 سؤالًا) | v2 (90 سؤالًا) | التغيّر |
|---|---|---|---|
| GPT-6 Astra | 72.2% | 73.3% | +1.1 |
| Fable 5.1 | 72.2% | 70.0% | −2.2 |
| GPT-5.6 Sol | 71.4% | 68.9% | −2.5 |
| Opus 5 | 74.4% | 63.3% | −11.1 |
| Fable 5 | 72.2% | 57.8% | −14.4 |
| GPT-5.6 Terra | 60.9% | 54.4% | −6.5 |
| Gemini 3.1 Pro | 56.4% | 44.4% | −12.0 |
| Sonnet 5 | 67.7% | 38.9% | −28.8 |
الدقة مقابل التكلفة
| النموذج | $ / سؤال في v2 | الدقائق في v2 | استدعاءات النموذج | استدعاءات الأدوات |
|---|---|---|---|---|
| GPT-6 Astra | $11.46 | 14.8 | 56.3 | 142.6 |
| Fable 5.1 | $1.24 | 3.2 | 18.1 | 17.6 |
| GPT-5.6 Sol | $2.12 | 6.9 | 24.3 | 61.9 |
| Opus 5 | $0.98 | 2.7 | 17.0 | 19.4 |
| Fable 5 | $2.00 | 4.0 | 14.8 | 19.5 |
| GPT-5.6 Terra | $0.63 | 3.8 | 20.7 | 43.4 |
| Gemini 3.1 Pro | $1.01 | 5.3 | 38.4 | 36.9 |
| Sonnet 5 | $0.83 | 7.0 | 25.9 | 33.0 |
الخاتمة
فرّق الإصدار الأصعب بين النماذج في الأسبوع الماضي؛ وAstra هو أول نموذج يسد الفجوة من الجهة الأخرى، بالعمل بجهد أكبر لا بكونه أرخص. وبالنسبة إلى مستخدمي Energent، يضيف ذلك زاوية ثالثة إلى الاختيار الذي نتخذه نيابة عنكم: Terra عندما تكون التكلفة لكل سؤال هي الأهم، وFable 5.1 عندما تهم الدقة والتكلفة معًا، وAstra عندما لا يهم سوى الإجابة.
شكر وتقدير
مرة أخرى لفريق Databricks على اختبار معياري يأتي في إصدارين للمهمة نفسها. وكل نموذج يُضاف إلى اللوحة يجعل هذه الاستمرارية أكثر قيمة.
المراجع
- منشور النماذج السبعة، مع المنهجية الكاملة وجدولي v1 وv2
- صفحة نموذج GPT-6 Astra، من OpenAI
- أسعار واجهة برمجة تطبيقات OpenAI
- صفحة نموذج Claude Fable 5.1، من Anthropic
- مجموعة بيانات OfficeQA Pro V2، من Databricks