AIの自己採点が精度を下げる？新手法で解決

AIモデルの学習には、大型モデル（先生）が小型モデル（生徒）の出力を評価・修正しながら訓練する「オンポリシー蒸留」という手法が広く使われている。直感的には理にかなった仕組みに見えるが、今回の研究（CriticOPD）はその構造的な欠陥を指摘した。

問題の核心はこうだ。生徒が途中で間違えると、先生モデルは「この解き方は間違っている」と認識していながら、その誤った流れをそのまま引き継いで回答を完成させてしまう。間違いを認識しているのに、それを訂正せずに乗っかってしまう。これを論文では「回復可能性の失敗」と呼んでいる。

temperature 0でもAIの回答はブレるという記事でも触れたように、AIの出力精度は設定や仕組みの細部に大きく影響される。今回の研究はその「仕組みの細部」がさらに根本的なところにあることを示している。

CriticOPDが提案する解決策はシンプルだ。生徒が間違えたとき、先生はその間違いをそのまま引き継ぐのではなく、まず「どこがどう間違っているか」を指摘（クリティーク）する。その指摘を踏まえて生徒は解答を書き直す。先生はその書き直し後の回答に点数をつける。

ただし、訓練時に生徒が見るのは「指摘なしの書き直し後の解答」だけだ。指摘（クリティーク）は採点のために使われるが、生徒の訓練データには含まれない。これにより、生徒は「指摘に頼らず自力で正しい答えを出す力」を身につける方向に誘導される。

検証はQwen3をベースにした2つのモデル、数学的推論の6つのベンチマークで行われた。結果として、通常のオンポリシー蒸留よりも精度が向上し、特に競技数学レベルの難問ほど改善幅が大きかった。難しい問題でこそ間違いが起きやすく、その分「指摘して書き直す」方式の恩恵が出やすいということだ。

今すぐ自分のワークフローに取り込める段階ではない。CriticOPDはモデルの訓練手法そのものへのアプローチであり、エンドユーザーが設定を変えれば再現できるものではない。

注目したいのは、この研究がQwen3という「オープンに使えるモデル」を対象にしている点だ。今後、この手法で追加訓練されたモデルが公開・派生される可能性は十分にある。特に高難度タスク——複雑な分析、ロジックの組み立てが必要な作業——でAIを使い倒したい人にとって、「どの訓練手法を経ているか」はモデル選定の軸になりうる。

AIエージェントは仕組みより「頭の良さ」が全てという過去記事で整理したように、エージェント設計においてもベースモデルの質が結果を左右する。その「質」の中に、今回のような訓練手法の違いが含まれてくるということだ。

現実的な判断軸としては、「難しいタスクを任せるモデルを選ぶとき、訓練手法に関する情報を確認する習慣を持つ」こと。公開モデルの場合、HuggingFaceのモデルカードやarXivの紐づき論文にその情報が記載されていることが多い。