基准指南
Claude Fable 5.2 基准测试怎么看

知道每项测试在测什么,评测表才能帮助选择值得试用的模型。本文阅读了 Anthropic 的 Fable 5.2 发布表格及方法说明。分数来自厂商报告,后面的内部测试方法为示例,不是独立复测结果。
快速结论
用 Chartography 选择图表识读试验,用 FrontierCode 选择代码试验,用 AutomationBench 选择流程试验。比较时保留每一行的推理设置和工具条件。创意团队应先选一个能人工验证的小范围视觉问题。
| 评测 | Fable 5.2 | Fable 5.1 | Opus 5.5 |
|---|---|---|---|
| Chartography(无工具) | 73.4% | 44.8% | 64.4% |
| FrontierCode 2.0 | 49.1%(Xhigh) | 32.4%(Xhigh) | 45.5% |
| AutomationBench | 51.4% | 31.4% | 42.5% |
一次只横向比较同一项测试
Anthropic 通常使用最高可用推理设置报告结果,另有说明时除外。先读同一行的脚注,再判断推理和工具条件是否一致。标为 Mythos 的结果只对应其注明条件下的 Mythos。
用 Chartography 选择视觉证据试验
该任务测试不使用工具的图表识别。团队可以试验模型是否准确读出报表的单位、类别和日期。按证据准确性评分,读不清时正确表示不确定也应记录。图表分数不能替代构图与品牌判断。
用 FrontierCode 选择代码任务
这一评测涉及软件仓库修改。设计团队若向工程师交付原型,可选择一个有版本输入和自动检查的代表性修复。对每个模型使用相同审核流程,记录补丁是否符合实际验收要求。
用 AutomationBench 思考交接流程
把一个重复交接变成有已知答案的小试验,例如将批准素材对应到渠道和尺寸。记录模型是否选对素材,以及在建议导出前是否发现缺少尺寸。
保留可复核的试验结果
每个案例设置 ID、预期事实和通过条件,记录推理设置、实际工具、费用及人工修改。按可采用的交付物决策。进入制作环节后,把参考资料与接受的发现放在同一画布。
保留其他人能复核的试验记录
一条有用的记录应包括资料包 ID、问题、预期事实、模型、设置、发现、修正和最终结论。例如核对图表时,预期事实可以是坐标轴单位,而不是“分析得不错”这样的印象。
标签看不清、模型要求补充更清晰的资料时,应记为未解决。无依据的猜测即使碰巧答对,也应算失败。这样才能判断:当团队事先不知道答案时,审查结果是否仍然可信。
常见问题
这张表是独立评测吗?
不是。分数来自 Anthropic 发布报告,应结合其方法说明和自己的任务试验阅读。
应该只看一个总分吗?
应选择与任务匹配的评测。判断设计校样是否可用,具体的创意验收比一个综合分更有帮助。
把试验依据放在同一画布
保留原始图表与截图,并把接受的发现放在可由团队核对的依据旁。