ベンチマークガイド
Claude Fable 5.2のベンチマークの読み方
各行が実際に何を測定するのかがわかっていれば、ベンチマーク テーブルはどのモデルを試行するかを選択するのに役立ちます。 Anthropic の Fable 5.2 起動テーブルとその方法論ノートをレビューしました。これらは評価スコアとして報告され、その後に 1 つの結果を有用な内部テストに変える具体的な方法が続きます。
簡単な答え
Chartographyはグラフ読解、FrontierCodeはコード、AutomationBenchは業務手順の試行を選ぶ材料になります。各行の推論設定とツール条件を確認してください。画像レビューなら、目視で正誤を確認できる狭い課題から始めます。
| 評価 | Fable 5.2 | Fable 5.1 | Opus 5.5 |
|---|---|---|---|
| Chartography (ツールなし) | 73.4% | 44.8% | 64.4% |
| FrontierCode 2.0 | 49.1% (Xhigh) | 32.4% (Xhigh) | 45.5% |
| AutomationBench | 51.4% | 31.4% | 42.5% |
単一行全体を読み取る
Anthropic は通常、別の設定を要求しない限り、利用可能な最高の努力を報告します。 1 つのタスクの条件下でモデルを比較し、労力やツールの使用が同じであると仮定する前に脚注を読んでください。 Mythos と明示的にラベル付けされた行は、指定された条件下での Mythos を説明します。
視覚的証拠のためのChartography
公表された課題は、ツールを使わずに図表を読み取るものです。制作チームなら報告書の単位、分類、日付を正しく読めるか試せます。根拠の正確さに加え、読めない数値を推測せず保留できたかも記録してください。構図やブランドの判断は別の確認が必要です。
コーディング作業のためのFrontierCode
この評価は、ソフトウェア リポジトリの変更に関するものです。設計チームがプロトタイプをエンジニアに渡す場合は、バージョン管理された入力と自動チェックを使用して、代表的な修正を 1 つテストします。各候補に対して同じレビュープロセスを維持し、パッチが実際の受け入れ基準を満たしているかどうかを記録します。
ハンドオフ用の AutomationBench
1 回の反復的なハンドオフを、既知の答えを備えたローカル パイロットに変えます。たとえば、承認された各アセットを 1 つのチャネルとサイズにマッピングします。モデルが正しい項目を割り当てているかどうか、およびエクスポートを提案する前に欠落しているディメンションにフラグを立てているかどうかを記録します。
監査できるパイロット結果を保存する
各ケースに ID、予想される事実、および合格ルールを与えます。各モデルの労力、実際のツール、コスト、およびレビュー担当者の修正をキャプチャします。受け入れられた成果物について決定を下します。作業が本番に移行するときは、参考文献と受け入れられた結果を同じキャンバスに配置します。
別の人が追試できる記録を残す
資料ID、質問、期待する事実、モデル、設定、指摘、修正、最終判断を一行にまとめます。グラフの確認なら期待する事実は軸の単位などにします。「分析がよい」という印象だけでは再確認できません。
文字が読めず、モデルが鮮明な資料を求めた場合は未解決として扱います。裏づけのない推測は、たまたま数値が合っていても失敗です。答えを事前に知らない場面でレビューを信頼できるか、この区別で確かめます。
よくある質問
この表は独立した比較テストですか？
いいえ。スコアはAnthropicの発表資料に基づきます。評価方法を読み、自分の課題で試して解釈してください。
総合点だけで選べますか？
業務に合う評価を選びます。デザインの校正を承認するなら、総合点より具体的な制作物の合格条件が役立ちます。
パイロットの証拠を 1 つのボードに保管する
元のグラフとスクリーンショットを持参し、チームが検証できる証拠の隣に受け入れられた調査結果を配置します。