難問でもAIが学習できる新しい強化学習の仕組み

AIが推論力を身につけるための主流アプローチが「強化学習with検証可能な報酬（RLVR）」だ。正解・不正解がはっきり判定できる問題（数学の証明や論理パズルなど）をAIに解かせ、正解したら報酬を与えて学習させる仕組みのこと。ChatGPTのo1やGemini 2.0 Flashなどの「考えるAI」は、この系統の学習で推論力を鍛えている。

ところがこの仕組みには致命的な弱点がある。AIが「そもそも正解を一度も出せない難問」に当たると、報酬がゼロになり、学習信号そのものが消えてしまう。勉強しようにも答え合わせができない状態が続き、モデルは難問の壁を越えられないまま止まる。これが「学習の崖（learning cliff）」と呼ばれる現象だ。

現在公開されているGPT-4o系やClaude 3.5系のモデルでさえ、特定の高難度タスクで推論が詰まるのは、この問題と無関係ではない。「AIに難しい仕事を任せたいのに、どうもこの種類の問題は苦手らしい」という経験があるなら、その背景にはこの構造的な課題がある。

arXiv（2607.19313）で発表されたOff-Context GRPO（OC-GRPO）は、この「学習の崖」を迂回するためのシンプルな設計変更だ。

基本的な考え方はこうだ。訓練中の難問に限り、AIへの入力に「正解への足がかり（ソリューションの冒頭部分など）」を加えてあげる。するとAIは正解にたどり着ける確率が上がり、報酬を受け取ることができる。ただし、学習の目標はあくまで「ヒントなしの元の問題を解けるようになること」に設定されている。ヒント付きの解き方が正しければ、ヒントなしの方向に引き戻す補正（重要度補正と呼ばれる）をかけながら更新する仕組みだ。

これを「Off-Context（文脈外）」と呼ぶのは、訓練プロンプトにはヒントが含まれているが、学習目標は元の文脈（ヒントなしの問題）に置かれているからだ。ヒントがあると楽に解けてしまうが、そのズルさを補正しながら「本来の実力」として身につけさせる、という設計思想になる。

数学的推論の標準ベンチマーク群での検証では、通常のGRPOと比較して平均3.9ポイント（相対で13.8%）の改善が確認された。追加コストはほぼゼロに近いとも報告されている。研究論文の段階であり、即座にツールとして手元で使えるものではないが、次世代の推論モデルがどのように「賢くなっていくか」の方向性を示している。

使う側として知っておくべきは、この研究が「現在のAIの推論力の天井はどこにあるか」という問いと直結している点だ。

今使っているAIが特定の種類の問題（高難度な数学、複雑な論理推定、長い依存関係を持つコード設計など）で失敗するとき、それは単純なプロンプトの問題ではなく、学習設計の根本的な制限である場合がある。OC-GRPOが示しているのは、「難問の正解率ゼロ問題」に取り組む手法が研究として確立されてきているということ。言い換えれば、1〜2年後に登場するモデルは、今は詰まっている問題をより安定して処理してくる可能性が高い。

AIに悪意を仕込む「プレトレーニング汚染」の現実でも触れたように、AIモデルの能力は「学習時の設計」に深く依存する。使う側がモデルの「どこが苦手か」を把握しておくことは、プロンプトを変えるよりも先に必要な判断材料になってくる。

自前でLLMをファインチューニングしている人にとっては、さらに直接的に関わる話だ。難しいタスクのデータで学習が止まっているなら、この「ヒント付き訓練＋補正」という設計アプローチは参考になる。