プレゼン資料 · 実測
AI が作ったグラフの棒を実測した
画像モデルに数字は任せられない、というのが通り相場です。桁を壊し、見栄えのいい高さで棒を描き、生成器から出てきたグラフはデータではなく飾りだ、と。
こちらもそれを実証するつもりで始めました。四つの正確な数字を指定して一枚のスライドを依頼し、返ってきたファイルの棒の高さを目分量ではなく実測しました。結果は予想と違い、この記事で役に立つのは判定ではなく測り方のほうです。
依頼の内容
スライド一枚、週末が四回、そして架空のコーヒーバーのために作った四つの数字。320、410、380、505 です。失敗すると見込んでいた点について、指示はわざと厳しくしました。
Pier Six Coffee 向けに、16:9 のプレゼンスライドを1枚作ってください。タイトルは「Weekend cold brew sales」。直近4回の週末について、次の数字ちょうどで簡単な棒グラフを入れてください。第1週は 320、第2週は 410、第3週は 380、第4週は 505。棒の高さも印字されるラベルも、その四つの数字と正確に一致させてください。返ってきたもの
タイトルがあり、軸が 600 まで百刻みで伸び、ラベル付きの棒が四本あり、それぞれの上に値が印字された、すっきりしたスライドでした。印字された四つの値はすべて正しく、320、410、380、505 でした。
これだけでも記録に値します。描かれた数字こそ、この種のモデルが歴史的に間違えてきた場所だからです。とはいえ、間違った棒の上に正しいラベルが載っているほうが、目に見える誤りよりたちが悪いともいえます。だからラベルは試験になりません。
実測
そこで測りました。返ってきた画像から各棒の高さをピクセルで読み取り、いちばん高い棒を基準にして残りを換算し、それぞれの棒の形が実際にはどの値を意味しているのかを出しました。
換算された値は 323、409、379、505。依頼した 320、410、380、505 に対する最大の誤差は一パーセントの十分の九で、描かれた棒の縁の太さより小さい差でした。
このスライドについて、この日については、グラフは正直でした。棒はラベルが言うとおりの意味を持っていました。
これで言えること、言えないこと
生成器が単純な四本棒のグラフを正しく描けることは言えます。通り相場が認めているより多くのことです。
ただし、いつもそうなるとは言えません。これはグラフ一枚、棒は四本、数字は切りがよく、値の幅が広く、軸もそれに合っていました。どれかを押し広げれば確率は変わります。十二本の棒、二パーセント以内に収まる近い値、途中で切られた軸、二系列目、凡例、あるいは円グラフ。円グラフは誰も生成器に頼むべきでない形です。
誠実な結論は「使える」ではありません。推測する代わりに九十秒で確かめられる、そして大事なときには必ず確かめるべきだ、ということです。
| 状況 | 妥当か | 理由 |
|---|---|---|
| 四本か五本の棒で、値がはっきり違う | 確認したうえで、はい | 今回測ったのがこれで、最も無事に済みやすい形 |
| 値が互いに近い | いいえ | 一パーセントの誤差は見えず、しかも話を変えてしまう |
| 監査人・投資家・規制当局が読むもの | いいえ | 表計算でグラフを作り、その画像を貼る |
| 円グラフなど、角度を使うもの | いいえ | 角度は正しく描くのも確認するのも難しい |
| 仮データを置いたレイアウト案 | はい | 誰も数字を読まないので、間違いようがない |
九十秒の確認
スクリプトは要りません。画像を開き、いちばん高い棒を目盛り線と見比べる。軸が 500 と言っていて、棒がその 500 の線に乗っていれば、それで一点は確認できます。
次に棒どうしを比べます。第4週は第1週の一・五倍より少し高いはずです。505 は 320 の一・五倍より少し多いからです。指か紙を画面に当ててみてください。
最後に、軸も含めてすべての数字を声に出して読みます。今回のスライドの軸は百刻みできれいでしたが、生成器が 0、100、250、400 のような軸をでっち上げていたら、それは明白な兆候であり、黙って見逃しやすいものでもあります。
それでも取るべきやり方
実際に人前で見せるものなら、グラフは数字がある場所で作ってください。表計算のグラフを画像として書き出せば、構造上それは正しく、どれだけ確認しても「確認しなくてよい」には勝てません。
そのうえで、生成器には本当に得意なことをやらせます。グラフの周りのスライドです。タイトルの処理、背景、章の区切り、写真の扉、締めの一枚。そこに数字はなく、間違えようがありません。
これだけよい結果が出たあとでも、私たちはこの分担を変えません。合格したグラフを実測したうえで、それでも生成されたグラフを銀行の前には出しません。
グラフのスライドについての質問
AI は数字を正しく描きましたか
このスライドについては、はい。印字された四つのラベルはすべて正しく、実測した棒の高さは、依頼した 320、410、380、505 に対して 323、409、379、505 を示しました。
では生成されたグラフを信用してよいのですか
いいえ。単純なグラフ一枚が、ある一日に一度の試験を通っただけです。値が近い場合、棒が増える場合、角度を使う図はいずれも難しく、今回の結果は何も予測しません。
グラフを手早く確認するには
いちばん高い棒を目盛り線と比べ、棒どうしを比率で比べ、軸を含めてすべての数字を読む。九十秒ほどで終わります。
代わりに何を生成すべきですか
グラフの周りのスライドです。タイトルの処理、背景、区切り、扉。グラフ自体は数字のある場所で作って貼り込んでください。
スライドは作り、グラフは確かめる
資料のアートワークは Ciyo で生成し、数字は表計算に置いたまま、生成器が描いたものは必ず実測してください。