「自己反省AIは繰り返し試行に勝てない」論文が示す真実

arxivに公開された論文が、生成AI活用の定説に一石を投じています。Self-Refine（自己修正）やReflexion（自己反省）といった、AIに自分の出力を振り返らせて改善させる手法が、「同じ質問を繰り返して多数決をとる」という極めてシンプルな方法に精度で勝てなかったというものです。

実験の設計がポイントです。これまでの研究は「自己批評ありのAI vs チェーン・オブ・ソートのAI」という比較が多く、使ったトークン数（＝AIが生成したテキスト量）が揃っていませんでした。今回の研究はそこを修正し、「同じトークン予算を使ったとき、自己批評と繰り返しサンプリングのどちらが正確か」を7つの手法・3つのモデルサイズ（1.5B〜7B）・2つの数学ベンチマークで比較しています。

結果は明確でした。36の比較条件すべてで、繰り返しサンプリングに「確実に勝った」手法はゼロ。逆に10手法は繰り返しサンプリングより統計的に有意に劣っていました。そしてその10手法はすべて、AIが自分の出力を読み返す「自己検査」を含む手法でした。

直感に反するように見えますが、理屈は整理できます。

AIが自分の出力を批評・修正するとき、そのプロセス自体が大量のトークンを消費します。「修正前の出力」「批評テキスト」「修正後の出力」と3段階分の生成コストがかかるわけです。同じコストで「最初から5回答えさせる」ことと比べると、使えるトークン数あたりの「独立した試行回数」が圧倒的に少なくなります。

さらに問題があります。AIが自分の間違いを正しく検知できるかは保証されていません。誤りを「正しいと再確認」してしまうケースが多く、論文はこれを「自己検査の失敗」と捉えています。間違えているモデルが自分の間違いを指摘するのは、そもそも難しい話です。

注目したいのは、モデルのサイズが上がるにつれて、「自己修正系」と「自己検査系」の手法の差が開き始めることです。小さいモデルでは両方とも繰り返しサンプリングに負けていますが、モデルが大きくなると挙動が分岐する兆候があり、研究の続報が待たれます。

この研究が示すのは、AI出力の品質を上げたいとき、「プロンプトを複雑にして振り返らせる」より「シンプルなプロンプトで複数回出力させる」ほうが、コストあたりの期待値が高い可能性があるということです。

たとえばランディングページのキャッチコピーをAIで作る場面を考えてみてください。よくあるアプローチは、「まずドラフトを出させ、次にそれを批評させ、最後に改善版を出させる」という3ステップです。この研究の知見を踏まえると、「同じシンプルなプロンプトで5〜7パターン出させ、自分の目で選ぶ」ほうが同じトークン予算でより多様なアウトプットを得られる可能性があります。

ただし研究対象は数学の問題です。「正解・不正解が明確な課題」と「クリエイティブな文章生成」では状況が異なります。多数決（最も頻出する答えを採用）がそのまま機能するわけではなく、最終判断は人間の目で行う前提で考える必要があります。使う側として知っておくべきは、「AIを振り返らせるという設計が万能ではない」という事実と、「試行回数を増やすことが一つの有力な戦略である」という判断軸です。

なお以前紹介したAIが「みんな同じ文章」を生む？研究が示すリスクとも関連します。繰り返しサンプリングを増やすだけでは出力の多様性が失われるリスクもあり、どちらの研究も「AIの出力を鵜呑みにしない」という姿勢を支持しています。