Opus 5.5 は AI が作ったグラフの間違った数字に気づけるか

使ったスライド

元のスライドは、架空のカフェ Pier Six Coffee のための棒グラフで、9月21日に Ciyo で作ったものです。そのときに実測しており、印字された四つの数字 320、410、380、505 は、棒の高さと 1% 以内で一致していました。

テスト用のコピーでは、第3週のラベルだけを 380 から 430 に書き換え、棒には手を加えませんでした。どちらのファイルも sales-chart.png という中立的な名前でアップロードしたので、ファイル名から手がかりが漏れることはありません。

出した質問

両モデルに、Medium の設定で同じ指示を出しました。各棒の値を高さから読み取り、印字された数字と比べ、不一致があれば差とともに列挙する、というものです。

この棒グラフのスライドは AI の画像生成ツールで作られたものです。各棒について、y 軸の目盛り線に対する棒の高さから値を読み取ってください。そのうえで、棒の上に印字された数字がそれぞれ棒の高さと一致しているかを教えてください。不一致があれば、印字された数字、あなたが読み取った高さ、その差を列挙してください。

どちらも仕込んだ誤りを見つけた

Opus 5.5 は見つけました。第3週の印字は 430、読み取りは約 380、差は約 50 で、棒は明らかに 400 の線より下にある、という指摘です。さらに、プレゼンにとって最も重要な点も付け加えていました。間違ったラベルは、第3週の落ち込みを着実な成長に見せてしまう、というものです。そして、画像だけではラベルと棒のどちらが正しいかは判断できないので、元データを確認するよう勧めていました。

GPT-6 Sol も同じ誤りを同じ読み取りで見つけました。回答はより短く、傾向についての指摘はありませんでした。

Sol の回答

Sol の表には不一致だけが載っていました。第3週、印字 430、読み取り約 380、約 50 高すぎる。はいかいいえかを手早く確認したいなら、この簡潔さは長所です。

誤報のテスト

何にでも警告を出す確認役は、確認役として役に立ちません。手を加えていないスライドについて、Opus は不一致なしと報告し、100 単位の目盛り線では高さを約 ±5 の精度でしか読み取れないと述べました。Sol は第1週を不一致として指摘し、320 に対して約 325 と読み取りました。

Sol の読み取りは気のせいではありません。私たちのピクセル単位の実測では、その棒は約 323 です。しかし三単位の差は目盛り線で示せる範囲を下回っているので、実際のスライドでこの警告を受けると、存在しない誤りを探し回ることになります。

会議の前にどう使うか

数字は表計算に置いたまま、画像生成ツールにはその周りのスライドを描かせてください。そのうえで、完成したスライドを Opus 5.5 のようなモデルにアップロードし、棒の値を読み返してもらいます。一分もかからず、本当に問題になる誤りを見つけてくれます。棒とは違う話を語るラベルです。

Ciyo は Claude Opus 5.5 も GPT-6 Sol も提供していません。スライドは Ciyo で作り、確認はどちらかのモデルで行えます。

• AI が作ったグラフの棒を実測した

人前に出るグラフも間違える

公開週には、確認が必要なグラフの実例も一つ現れました。