AIの「精度のばらつき」が次の評価軸になる

最新の研究論文（arXiv: 2608.19140）が、AIモデルの評価軸に関してひとつ興味深い主張を打ち出している。要約すると「フロンティアモデル同士の能力差はほぼ消えた。次に問われるのは安定性だ」という内容だ。

射撃の喩えを使った論文の説明がわかりやすい。「能力（capability）」とは弾が平均的にどこに着弾するか。「精度（precision）」とは、毎回どれだけ同じ場所に当たるかのばらつきだ。いま主要なAIモデルは、平均的な着弾点ではほとんど差がなくなってきている。差が出るのは、繰り返したときのブレ幅のほうだ、というのが論文の主張だ。

これは直感的にも納得しやすい。ChatGPT、Claude、Geminiをどれ使っても「それなりの回答は返ってくる」と感じている人は多いはず。ベンチマーク上の数字が並んでいても「どれが本当に使えるのか」の判断がしづらいのは、能力軸の差がほぼ誤差の範囲に収まってきているからでもある。

論文が提案しているのは、評価方法そのものの転換だ。いわく、中央値や平均スコアを報告するいまのベンチマーク文化は、ばらつきを完全に見落としている。

提案している測定の考え方はシンプルで、同じ問いを固定した設定で複数回繰り返し、回答の一致率（consistency）を計測する、というものだ。この方法には「AIに採点させない」という利点もある。正誤が明確に決まる問題を使えば、人間が設計したルールで機械的に採点できるため、モデルが自分自身を評価するという循環を避けられる。

論文はさらに、ばらつきの種類が「改善策の種類」を教えてくれると指摘する。的の中心を外れているが弾のグループが密集している場合（consistent failure）は、プロンプト設計や運用ルールで修正できる可能性が高い。逆に弾が散らばっている場合（scattered failure）は、モデルそのものかサンプリングの設定を変えないと改善しない、という区別だ。

以前紹介したプロンプトの「ちょっとした言い回し」でAIが操れるの話とも接続する視点で、プロンプト調整で直せる問題かモデルを変えるべき問題かを分類する手掛かりになる。

使う側として押さえたいのは、「平均スコアの高さ」だけでツールを選ぶ時代は終わりつつある、という点だ。

特に影響が出やすいのは、繰り返し実行する用途だ。たとえば毎日の情報整理、定型的な文章チェック、コードレビューの補助など、同じ種類のタスクを何度も走らせるケースでは、一回の出来よりも「100回やって何回同じクオリティが出るか」のほうが重要になる。出力のばらつきが大きいモデルを使っていると、結果をそのまま使えずに毎回人間が確認・修正する手間が発生し続ける。

また、複数のAIを組み合わせて使っている場合（たとえば要約→翻訳→チェックを別々のモデルで回す構成）では、一段階のばらつきが次の段階の品質を崩すドミノ効果が起きやすい。こうした構成を持つ人ほど、安定性の評価が選定基準に入ってくるはずだ。

AIの判断を「証拠つき」で記録する新発想で触れたような、AIの出力を記録・検証する動きとも方向性は一致している。「何を出したか」の記録と「どれくらいブレずに出せるか」の把握は、AIを実務に組み込む上でセットで考えるべき視点になってきている。