基准指南

Claude Fable 5.2 基准测试怎么看

炭黑色阶梯上放着一枚琥珀色标记

知道每项测试在测什么,评测表才能帮助选择值得试用的模型。本文阅读了 Anthropic 的 Fable 5.2 发布表格及方法说明。分数来自厂商报告,后面的内部测试方法为示例,不是独立复测结果。

快速结论

用 Chartography 选择图表识读试验,用 FrontierCode 选择代码试验,用 AutomationBench 选择流程试验。比较时保留每一行的推理设置和工具条件。创意团队应先选一个能人工验证的小范围视觉问题。

Anthropic 公布的部分评测分数
评测Fable 5.2Fable 5.1Opus 5.5
Chartography(无工具)73.4%44.8%64.4%
FrontierCode 2.049.1%(Xhigh)32.4%(Xhigh)45.5%
AutomationBench51.4%31.4%42.5%

一次只横向比较同一项测试

Anthropic 通常使用最高可用推理设置报告结果,另有说明时除外。先读同一行的脚注,再判断推理和工具条件是否一致。标为 Mythos 的结果只对应其注明条件下的 Mythos。

用 Chartography 选择视觉证据试验

该任务测试不使用工具的图表识别。团队可以试验模型是否准确读出报表的单位、类别和日期。按证据准确性评分,读不清时正确表示不确定也应记录。图表分数不能替代构图与品牌判断。

用 FrontierCode 选择代码任务

这一评测涉及软件仓库修改。设计团队若向工程师交付原型,可选择一个有版本输入和自动检查的代表性修复。对每个模型使用相同审核流程,记录补丁是否符合实际验收要求。

用 AutomationBench 思考交接流程

把一个重复交接变成有已知答案的小试验,例如将批准素材对应到渠道和尺寸。记录模型是否选对素材,以及在建议导出前是否发现缺少尺寸。

保留可复核的试验结果

每个案例设置 ID、预期事实和通过条件,记录推理设置、实际工具、费用及人工修改。按可采用的交付物决策。进入制作环节后,把参考资料与接受的发现放在同一画布。

保留其他人能复核的试验记录

一条有用的记录应包括资料包 ID、问题、预期事实、模型、设置、发现、修正和最终结论。例如核对图表时,预期事实可以是坐标轴单位,而不是“分析得不错”这样的印象。

标签看不清、模型要求补充更清晰的资料时,应记为未解决。无依据的猜测即使碰巧答对,也应算失败。这样才能判断:当团队事先不知道答案时,审查结果是否仍然可信。

常见问题

这张表是独立评测吗?

不是。分数来自 Anthropic 发布报告,应结合其方法说明和自己的任务试验阅读。

应该只看一个总分吗?

应选择与任务匹配的评测。判断设计校样是否可用,具体的创意验收比一个综合分更有帮助。

把试验依据放在同一画布

保留原始图表与截图,并把接受的发现放在可由团队核对的依据旁。