AIの学習、捨てていたデータに宝が眠っていた

AIを強化学習で訓練する現場では、学習の途中に何十・何百ものバージョン（チェックポイント）が生まれる。現在の標準的なやり方は「検証スコアが一番高い1つだけを残して、あとは全部削除する」というもの。シンプルで合理的に見えるが、今回の論文「Agentic-OPD」が指摘するのは、この慣習がかなりの損失を生んでいるという事実だ。

具体的に何が起きているかというと、「最良チェックポイント」が解けない問題を、途中の別のチェックポイントはすでに解けていた、というケースが実験で多数確認された。最終的に捨てられたモデルたちの「正解の範囲」を全部合わせると、どの単体モデルより大幅に広くなる。つまり捨てたはずのモデルの中に、最終版が持っていない知識が分散して眠っていた。

この問題に対してAgentic-OPDが提案するのは、捨てずに保存した過去のチェックポイントを「教師役のプール」として扱い、最終モデルが苦手な問題をどの教師が解けるかを動的に判断しながら知識を継承していく仕組みだ。さらに、「教師が得意な範囲だけを取り込み、学生がすでに習得した部分は上書きしない」という局所的な蒸留を行うため、過去モデルから悪影響を受けにくい設計になっている。追加の学習コストはほぼゼロ。すでに生成されたチェックポイントを再利用するだけだ。

AIの学習精度を左右するもう一つの問題が、学習データの質だ。人間が「こちらの回答が良い、こちらが悪い」と選好を付ける作業（プリファレンスアノテーション）は、どうしてもミスや曖昧さが混入する。「良い」とされた回答の中に細かいミスが入り込んでいたり、「悪い」とされた回答にも有用な推論ステップが含まれていたりする。

今回の別の論文「PORT」が解決しようとしているのはこの点だ。従来の手法はデータを「回答丸ごと正解／不正解」として扱うが、PORTはトークン（単語の最小単位）レベルで精度を評価し、問題のある箇所だけを学習から除外する。技術的には、各トークンの対数確率の経験的累積分布関数（CDF）を使ってノイズの高い箇所に低い重みを割り当てる仕組みで、追加の計算コストをほとんど増やさずに実装できるのが特徴だ。

使う側として知っておくべき実務インサイトは、「データ品質 × モデル選択」の両方に手を入れられるフェーズに入りつつあるということだ。学習データを細かく制御する手法（PORT）と、途中モデルを無駄にしない手法（Agentic-OPD）は、方向性は違うが「同じ計算コストからより良いモデルを引き出す」という目標を共有している。AIがAIの思考回路を「逆読み」できるようになったでも触れたように、AI内部の動きをより精緻に制御しようとする研究の流れは加速している。

これら2つの研究が示す変化は、AIを自分でファインチューニングしている人にとって、今すぐ判断基準を変える根拠になる。

まず「最良スコアのモデルだけが正解」という前提は崩れつつある。検証スコアが一番高くても、それ以外の問題で負けているモデルが必ず存在する。チェックポイントの保存コストはストレージだけの問題であり、後から論文の手法を試したいときに「データがない」では手の打ちようがない。

次に、ファインチューニングに使う学習データを「回答単位で正否を判断するしかない」と思い込む必要もなくなってきた。PORTのようなトークンレベルの重み付けが実装レベルで使えるようになれば、アノテーション品質が低めのデータでもモデルの精度を維持する余地が生まれる。

またLogCDMの研究（同日公開）では、8億パラメータ以上の巨大モデルでないと難しいとされていたログ異常検知を、わずか810〜880万パラメータ・GPU不要のコンパクトなモデルで同等水準まで持っていける設計が示された。「大きいモデルじゃないと精度が出ない」という思い込みも、少なくともこの分野では崩れている。AIは「役割分担」で使う時代へで整理したように、単一の巨大モデルに頼らず機能ごとに適切なモデルを使い分ける発想は、研究レベルでも裏付けが取れてきている。