AIは「組み合わせ技」を自力で編み出す

AIに難しい問題を解かせようとするとき、よくある発想は「とにかくたくさん試行させて、正解が出たらそれを学ばせる」という方法だ。論文（arxiv.org/abs/2607.07646）はその常識に疑問を投げかける。

研究チームが比較したのは、強化学習（RL）による追加訓練と、リジェクション・ファインチューニング（RFT）と呼ばれる手法の2つ。RFTは「大量に試行して、正解だったものだけを訓練データに加える」という、いわばふるいにかける方式だ。対してRLは、最終的な正誤フィードバックだけを使ってモデルの行動を絞り込んでいく。

結果として、RFTは序盤こそ伸びるものの頭打ちになった。しかも生成された解法の多くが「一見もっともらしいが実際には成り立たないショートカット」だった。一方のRLは、使い回せる有効な解法を着実に積み上げ、最終的にRFTが解けない問題を次々とクリアした。量ではなく質の選別が鍵だったということになる。

この研究で特に面白いのは、RLが何をやっているかをトレース解析で可視化したくだりだ。

RLによる追加訓練を受けたモデルは、最初から複雑な解法を「一発で」学んだわけではない。段階的な仕組みが観察された。まず基本操作（論文では「プリミティブ」と呼ぶ）の精度を上げ、次にそれらを組み合わせた上位の手順を発見していく。この「組み合わせ技」には2種類ある。一つは順番に連鎖する操作をまとめて一手にする「順次合成」、もう一つは独立した操作を同時に実行する「並列合成」だ。

そして重要なのは、こうして発見された合成手順がその場限りの偶然ではなく、繰り返し使われて安定したレパートリーとして定着していった点だ。これは「AIは学習済みの知識を再利用するだけ」という見方を覆す観察であり、適切な訓練設計によってAIが「知識の組み合わせ方そのもの」を習得できる可能性を示している。

日本でいえば、料理の基本技術を覚えた調理師が、ある時点から「この下処理とあの加熱を組み合わせれば新しい料理になる」と気づくようなプロセスに近い。

この研究は純粋な学術実験だが、AIを使い倒す側として読み取れるインサイトがある。

一点目は「フィードバックの質が訓練の質を決める」ということ。どんなに多くの事例を与えても、評価基準があいまいだと有効な解法ではなくショートカットが育つ。自前でファインチューニングやプロンプトの改善ループを回すときも、「なんとなく良い答えを集める」より「明確な正誤基準で選別する」方が結果に差が出る理屈と重なる。

二点目は「複雑なタスクを丸投げするより、基本操作を分解して渡す方が伸びしろがある」という点。現在のAIツールに難しい作業をそのまま投げても限界があるが、タスクを構造的に整理してフィードバックを与え続けるアプローチは、AIの出力品質を引き上げる可能性がある。

AIの限界は「賢さ」より「評価」にあるでも触れたように、評価設計がAIの実力を左右するという視点は、使う側として意識しておきたい基本軸だ。