دليل المعيار
كيف تقرأ نتائج اختبارات Claude Fable 5.2؟
يمكن أن يساعدك الجدول المعياري في اختيار النموذج الذي تريد تجربته، بشرط أن تعرف ما يقيسه كل صف فعليًا. لقد قمنا بمراجعة جدول إطلاق Anthropic's Fable 5.2 وملاحظات المنهجية الخاصة به. وهي عبارة عن درجات تقييم تم الإبلاغ عنها، تليها طريقة توضيحية لتحويل نتيجة واحدة إلى اختبار داخلي مفيد.
الجواب السريع
استعن بـ Chartography لاختيار اختبار قراءة الرسوم، وFrontierCode لاختبار البرمجة، وAutomationBench لاختبار العمليات. احتفظ بإعدادات الاستدلال وشروط الأدوات لكل صف. ابدأ في المراجعة البصرية بسؤال ضيق تستطيع التحقق منه.
| التقييم | نموذج Fable 5.2 | نموذج Fable 5.1 | نموذج Opus 5.5 |
|---|---|---|---|
| Chartography (دون أدوات) | 73.4% | 44.8% | 64.4% |
| اختبار FrontierCode 2.0 | 49.1% عند Xhigh | 32.4% عند Xhigh | 45.5% |
| اختبار AutomationBench | 51.4% | 31.4% | 42.5% |
قراءة عبر صف واحد
يُبلغ Anthropic عمومًا عن أعلى جهد متاح ما لم يستدعي إعدادًا مختلفًا. قارن النماذج في ظل ظروف مهمة واحدة واقرأ الحاشية السفلية قبل افتراض أن الجهد أو استخدام الأداة متطابقان. تصف الصفوف التي تحمل اسم Mythos صراحةً Mythos وفقًا للشروط المذكورة.
Chartography للأدلة البصرية
المهمة المنشورة هي التعرف على المخطط بدون أدوات. قد يتحقق طيار الاستوديو ذو الصلة مما إذا كان كل نموذج يمكنه تحديد الوحدة والفئة والتاريخ في تقرير الحملة. قم بتسجيل الأدلة الدقيقة وتصحيح الامتناع عن التصويت عندما تكون القيمة غير قابلة للقراءة. تترك نتيجة الرسم البياني القوية التكوين وحكم العلامة التجارية لمراجعة منفصلة.
FrontierCode لأعمال الترميز
يتعلق هذا التقييم بالتغييرات في مستودعات البرامج. إذا قام فريق التصميم بتسليم النماذج الأولية للمهندسين، فاختبر إصلاحًا تمثيليًا واحدًا باستخدام المدخلات ذات الإصدار والفحوصات الآلية. احتفظ بنفس عملية المراجعة لكل مرشح وسجل ما إذا كان التصحيح يفي بمعايير القبول الفعلية الخاصة به.
AutomationBench لعمليات التسليم
قم بتحويل عملية تسليم متكررة إلى طيار محلي بإجابة معروفة. على سبيل المثال، قم بتعيين كل أصل معتمد لقناة وحجم واحد. سجل ما إذا كان النموذج يعين العنصر الصحيح وما إذا كان يضع علامة على الأبعاد المفقودة قبل اقتراح التصدير.
احتفظ بنتيجة تجريبية يمكنك تدقيقها
قم بإعطاء كل حالة معرفًا وحقائق متوقعة وقاعدة نجاح. التقط الجهد والأدوات الفعلية والتكلفة وتصحيحات المراجعين لكل نموذج. اتخاذ القرار بشأن التسليمات المقبولة. ضع المراجع والنتائج المقبولة على نفس اللوحة عندما ينتقل العمل إلى الإنتاج.
احفظ سجلًا يستطيع مراجع آخر تكراره
يتضمن السجل المفيد معرّف المصادر والسؤال والحقيقة المتوقعة والنموذج والإعدادات والنتيجة والتصحيح والقرار النهائي. في قراءة رسم بياني، قد تكون الحقيقة المتوقعة وحدة المحور؛ أما «تحليل جيد» فليس معيارًا قابلًا للفحص.
إذا كان النص غير مقروء وطلب النموذج مصدرًا أوضح، فسجّل الحالة بوصفها غير محسومة. يظل التخمين غير المدعوم فشلًا حتى إن أصاب مصادفة. هذا يختبر الثقة في المراجعة عندما لا يعرف الفريق الإجابة سلفًا.
أسئلة شائعة
هل يمكنني التعامل مع الجدول كمعيار مستقل؟
تأتي هذه الصفوف من تقرير إطلاق Anthropic. استخدم المنهجية المذكورة والتجربة المحلية لتفسيرها.
هل يجب علي استخدام نتيجة مجمعة واحدة؟
اختر التقييم الذي يتناسب مع الوظيفة. يعد اختبار القبول الإبداعي المنفصل أكثر فائدة من الاختبار الإجمالي لتحديد ما إذا كان دليل التصميم جاهزًا أم لا.
احتفظ بالأدلة التجريبية على لوحة واحدة
قم بإحضار المخططات ولقطات الشاشة الأصلية، ثم ضع النتائج المقبولة بجوار الأدلة التي يمكن للفريق التحقق منها.