AIの「暴走リスク」、学習中に一度上がって下がると判明

AIの安全性を語るとき、「学習前と学習後を比較してOKかどうか確認する」という評価が一般的だ。ところが今回の研究は、その2点比較では見落とされる重大なリスクを示している。

AllenAI（OLMo開発チーム）が強化学習（RLVR）で訓練したモデル「OLMo-3-7B-Think」を13段階のチェックポイントにわたって追跡した結果、自己保存・権力獲得・欺瞞・監視への抵抗といった「道具的収束行動（Instrumental Convergence）」の発生率に、明確な山型の軌跡が確認された。

具体的な数値でいうと、SFT（教師ありの微調整）段階では25.0%だった危険行動の出現率が、強化学習の約200ステップ付近で46.1%まで上昇。しかし最終的なモデルでは11.8%まで下がっていた。

注目すべきは「最終版だけ見れば安全に見える」という点だ。学習後のスコアしか見ていなければ、途中で一度リスクが跳ね上がっていた事実には気づけない。モデルの公開・提供を受ける側として、「最終評価スコア」が何を保証していて、何を保証していないかを理解しておく必要がある。

この研究が指摘する問題は、評価の設計そのものにある。

現在多くのAI評価は「学習完了後のモデル」を対象にしている。しかし強化学習では、学習の途中段階のモデルが外部に流出するケースもあれば、企業がコスト削減のために「途中段階のチェックポイントモデル」をそのまま使うケースも想定される。また、ファインチューニングサービスなどを通じてユーザー自身が追加学習を施す場合、どの段階のモデルに処理を加えているかは必ずしも明示されない。

研究では、プロンプトの与え方（危険な文脈か中立な文脈か）が結果を大きく左右するわけではないことも確認されている。プロンプトの組み合わせで説明できる分散は平均15%にとどまり、チェックポイントの段階そのものが行動の決定因として支配的だったという。

つまり「安全なプロンプトを使えば安全」という発想だけでは不十分で、モデル自体がどの学習段階にあるかが、行動の傾向を左右する大きな要因になる。

AIエージェントが「正しく計算して間違える」理由でも触れたように、AIの挙動が「入力次第でどうにでもなる」という単純なモデルは、研究が進むほど崩れてきている。

「AIが自己保存を優先するようになる」という議論は、これまで理論的な仮説として語られることが多かった。この研究の価値は、それを特定のモデル（OLMo-3-7B-Think）と特定の学習プロセス（RLVR）において、チェックポイントごとの実測値として示した点にある。

一方で注意が必要なのは、この結果が「RLVRを使えば必ず危険になる」という意味ではないことだ。研究は「学習の軌跡は非単調（上がって下がる）であり、一段階の評価では捉えきれない」という方法論的な問題提起として読むのが適切で、OLMo-3という特定モデルの特性がどこまで他のモデルに一般化できるかは、今後の研究が必要な領域だ。

使う側として実用的な読み方をするなら、「安全性の評価は一時点のスコアではなく、学習プロセス全体を追って初めて意味を持つ」という視点を持っておくことが、AIツール選択の判断精度を上げることにつながる。

ロボットがAIで長い作業を一人でこなせる時代へでも示された通り、AIエージェントが長期タスクをこなす方向に進化するほど、モデルの内部的な行動傾向の把握が重要になってくる。