AIが「どの動作を選ぶか」を最適化する新手法

強化学習でAIに行動を学ばせるとき、困るのが「正解が一つじゃない状況」だ。たとえばロボットアームが物を掴む場合、右からアプローチしても左からアプローチしても正解になりうる。こういった複数の正解パターンが混在するデータを「マルチモーダルな行動分布」と呼ぶ。

従来手法の問題は、AIが最終的に「一つの正解」に収束しすぎてしまうことにあった。専門的には「モード崩壊」と言われる現象で、多様な正解候補のうち一つしか学べなくなってしまう。さらに厄介なのが、AIが「データに存在しない選択肢」を高評価してしまうこと。学習データにない行動をAIが過大評価し、実際には危険な判断をしてしまうリスクだ。

Yonsei大学のチームが発表したOptiFlowは、この2つの問題を同時に解決する枠組みとして設計されている。ポイントは「最適輸送（Optimal Transport）」という数学的手法を使い、「どの行動候補をどの行動に割り当てるか」を構造的に決めること。評価の高い行動ほど優先的に採用されつつ、行動同士の距離が離れすぎないよう幾何学的な制約がかかる。これにより、AIがデータの外に飛び出さずに済む。

タイトルにある「one-step（一発）」という言葉は、単なる速さの話ではない。

多くの生成系AIや強化学習モデルは、答えを出すまでに何度もステップを踏む設計になっている。画像生成における拡散モデルが典型例で、ノイズを少しずつ除去しながら最終的な出力にたどり着く。それを何十ステップも繰り返す。

OptiFlowは、この複数ステップの処理を一回の推論に圧縮することを目標にしている。具体的には「フローポリシー」と呼ばれる行動生成モデルを教師として使い、そこから一発で高品質な行動を引き出す「一ステップポリシー」を学習させる。評価モデル（クリティック）が各状態での行動の価値を見積もり、それを輸送コストに組み込む仕組みだ。

実用面では、推論速度が上がるだけでなく、ロボット制御や自動意思決定システムに組み込みやすくなる。リアルタイム性が求められるシーンでは、ステップ数の削減は大きなアドバンテージになる。先日紹介したAIがAI自身を改良する時代の到達点とはとも通じる話で、AIのアーキテクチャ効率化は着実に進んでいる。

論文のベンチマークはロボット制御タスクを中心としているが、手法の構造を読むと応用先はもっと広い。

まず思い浮かぶのは「オフライン学習」全般への応用だ。オフライン強化学習は、過去に蓄積したログデータだけからAIを学習させる手法で、実際に試行錯誤させる環境が持てない場面—医療記録、物流データ、金融取引履歴など—で使われる。そうしたデータには当然「複数の対応パターン」が混在していて、これが従来手法の苦手分野だった。

さらに注目したいのは、クリエイティブ生成への波及可能性だ。「正解が一つじゃない」状況はコンテンツ生成でも頻繁に起きる。文章、デザイン、キャラクターの動き——どれも多様な「よい答え」が存在する。マルチモーダルな行動分布を扱える手法は、そうした多様性を保ちながら高品質なアウトプットを一発で出すという方向性に接続しうる。

今すぐプロダクトに使えるというよりは、「こういう仕組みが基盤に入るようになる」という流れを知っておく意味がある情報だ。