AIの出力を壊さず、そっと方向を変える技術

言語モデルの出力を特定の方向へ誘導したいとき、通常はファインチューニング（追加学習）を行う。しかしそれはコストがかかるうえ、元のモデルが持っていた性質を損なうリスクがある。今回発表されたMISVO（Minimally Invasive Steering Vector Optimization）は、モデルのパラメータにはいっさい手を触れない。かわりに、モデルが出力を生成する直前の「最終隠れ状態」と呼ばれる内部表現に、小さなベクトルを足し算するだけで方向性を変える。

わかりやすくいえば、料理の最後にほんの少しだけ調味料を足す感覚に近い。レシピ（＝モデル）自体を書き換えるのではなく、盛り付けの直前に微調整する。変化量が小さければ元の味はほぼ保たれる。この研究の肝は「どれだけ小さく、かつ効果的に足すか」を数学的に担保している点にある。

これまでの誘導手法には共通した落とし穴があった。「報酬を最大化する」という目標だけを追いかけると、モデルが本来持っていた自然な文章生成の傾向から大きく外れてしまう。高い点数を取るためにはっきりした回答を出しすぎたり、多様性が失われて同じパターンの文章ばかり生成されたりする現象が起きる。

MISVOはこの問題に対して「KL幾何学」という考え方を使う。難しい数式の話は省くが、要するに「介入前と介入後のトークン分布がどれだけ離れているか」を罰則として組み込み、変化量を抑える仕組みになっている。論文によると、1Bから14Bパラメータ規模のモデル、7つのモデル・タスク設定のうち6つで最高の平均報酬を達成しつつ、多様性と一貫性のスコアも「Best-of-N」（複数回生成して最良を選ぶ方法）に近い水準を維持したとのことだ。

「Best-of-N」は手軽に使える誘導策として知られているが、生成コストがN倍かかるという現実的な問題がある。MISVOはその代替として、単一生成でも品質を保てる可能性を示した点で注目に値する。

この研究が直接関係してくるのは、「手元にあるモデルを、特定の用途に寄せたい」という場面だ。たとえばコード生成の精度を上げたい、あるいはプロンプトだけでは制御しきれない文体や回答傾向を調整したいといったケースがあたる。

ファインチューニングは計算資源・データ・時間のいずれもかかる。プロンプトエンジニアリングには限界がある。その中間に位置する手法として、ステアリングベクター（誘導ベクトル）の研究は近年活発になっている。MISVOはその流れの中で、「品質を保ちながら最適化する」という課題に対して実用的な回答を出した研究として位置づけられる。

また、AIエージェント同士が「なあなあ」になる現象、研究で確認でも触れたように、モデルの振る舞いを細かく制御したいニーズはエージェント構成においても高まっている。誘導の粒度が上がれば、エージェント間の役割分担をより精密に設計できる可能性がある。