संक्षेप में
- इसके लिए यह मेहनत करता है: बाकी सात की तुलना में प्रति प्रश्न लगभग 2.5× मॉडल कॉल और 4× टूल कॉल।
- और इसकी कीमत चुकाता है: v2 पर प्रति प्रश्न $11.46, जबकि Fable 5.1 का $1.24।
- Energent उपयोगकर्ताओं के लिए कुछ नहीं बदला। एजेंट मॉडल-निरपेक्ष है, इसलिए गुरुवार को आया मॉडल शुक्रवार तक मापा जा चुका था, और ट्रेड-ऑफ़ के तीन कोने अब ये हैं: सबसे सस्ता GPT-5.6 Terra, संतुलित Fable 5.1, सबसे मज़बूत GPT-6 Astra।
वही परीक्षण, एक और मॉडल
सेटअप वही है जो सात-मॉडल पोस्ट में था: OfficeQA v1 Hard, 697 ट्रेज़री बुलेटिन पर 133 प्रश्न, और OfficeQA Pro V2, 1,435 स्कैन किए गए बहीखातों पर 90 प्रश्न, वही टूल, प्रॉम्प्ट और स्टेप बजट, हर मॉडल के लिए उच्च रीज़निंग एफ़र्ट, प्रति मॉडल एक रन जिसे आधिकारिक स्कोरर से स्कोर किया गया। Astra सीधे OpenAI के API पर चला, प्रति संस्करण एक रन, बोर्ड के हर दूसरे मॉडल की तरह।
परिणाम
सटीकता, v1 से v2
इस पोस्ट के शीर्ष पर दिया चार्ट आठों मॉडलों को उनके v1 स्कोर से v2 स्कोर तक तीरों के रूप में दिखाता है। आँकड़े तालिका में हैं।
| मॉडल | v1 (133 प्रश्न) | v2 (90 प्रश्न) | बदलाव |
|---|---|---|---|
| GPT-6 Astra | 72.2% | 73.3% | +1.1 |
| Fable 5.1 | 72.2% | 70.0% | −2.2 |
| GPT-5.6 Sol | 71.4% | 68.9% | −2.5 |
| Opus 5 | 74.4% | 63.3% | −11.1 |
| Fable 5 | 72.2% | 57.8% | −14.4 |
| GPT-5.6 Terra | 60.9% | 54.4% | −6.5 |
| Gemini 3.1 Pro | 56.4% | 44.4% | −12.0 |
| Sonnet 5 | 67.7% | 38.9% | −28.8 |
लागत के मुकाबले सटीकता
| मॉडल | $ / प्रश्न v2 | मिनट v2 | मॉडल कॉल | टूल कॉल |
|---|---|---|---|---|
| GPT-6 Astra | $11.46 | 14.8 | 56.3 | 142.6 |
| Fable 5.1 | $1.24 | 3.2 | 18.1 | 17.6 |
| GPT-5.6 Sol | $2.12 | 6.9 | 24.3 | 61.9 |
| Opus 5 | $0.98 | 2.7 | 17.0 | 19.4 |
| Fable 5 | $2.00 | 4.0 | 14.8 | 19.5 |
| GPT-5.6 Terra | $0.63 | 3.8 | 20.7 | 43.4 |
| Gemini 3.1 Pro | $1.01 | 5.3 | 38.4 | 36.9 |
| Sonnet 5 | $0.83 | 7.0 | 25.9 | 33.0 |
निष्कर्ष
कठिन संस्करण ने पिछले हफ़्ते मैदान को अलग-अलग कर दिया था; Astra दूसरी तरफ़ से इस अंतर को पाटने वाला पहला मॉडल है, सस्ता होकर नहीं बल्कि अधिक मेहनत करके। Energent उपयोगकर्ताओं के लिए यह उस चुनाव में एक तीसरा कोना जोड़ता है जो हम आपके लिए करते हैं: Terra जब प्रति प्रश्न लागत सबसे ज़्यादा मायने रखती है, Fable 5.1 जब सटीकता और लागत दोनों मायने रखती हैं, Astra जब सिर्फ़ उत्तर मायने रखता है।
आभार
एक बार फिर Databricks टीम का, एक ही कार्य के दो संस्करणों में आने वाले बेंचमार्क के लिए। बोर्ड में जुड़ने वाला हर मॉडल उस निरंतरता को और मूल्यवान बनाता है।
संदर्भ
- सात-मॉडल पोस्ट, पूरी विधि और v1 तथा v2 तालिकाओं के साथ
- GPT-6 Astra मॉडल पेज, OpenAI
- OpenAI API मूल्य निर्धारण
- Claude Fable 5.1 मॉडल पेज, Anthropic
- OfficeQA Pro V2 डेटासेट, Databricks