AIが長く考えるほど、中間の思考は捨てていい

AIに「深く考えさせる」アプローチ——いわゆるテスト時スケーリング——は、ここ1〜2年で推論性能を上げる主力手段になっています。モデルが答えを出すまでの思考プロセスを長く取れば取るほど、難しい問題も解けるようになるという発想です。

ただし、構造的な欠点があります。モデルは推論中に生成したトークン（思考の断片）をすべてメモリに保持し続けるため、考える時間が長くなるほどメモリ消費が線形に増え続けます。10万トークン規模の長い推論を走らせようとすると、コストと計算資源が現実的な水準を超えてしまう。これが「AIに長く考えさせる」ことの実用上の壁でした。

今回の論文（Prefix Sliding）が出発点にしているのは、一見シンプルな観察です。モデルが推論を続けるにつれ、過去の中間トークンの大半は重要度が下がっていく——つまり、数万トークン前の「思考の断片」は、モデルが現在考えていることにほとんど影響を与えていない、ということです。

だとすれば、捨ててしまっても問題ないのではないか。この問いから生まれたのがPrefix Slidingです。仕組みは明快で、モデルが保持するトークンを「最初の指示・ツール情報（プレフィックス）」と「直近数千トークンのウィンドウ」のみに絞り、その間の中間トークンは推論中に順次削除していきます。

これにより、どれだけ長く推論させてもメモリの総量が一定に保たれます。論文によると、追加学習なしで既存モデルの処理速度が最大3倍に向上し、性能は維持されることが確認されています。さらに強化学習を使ってPrefix Sliding込みでモデルを訓練すると、10万トークンを超える推論トレースへのスケーリングが可能になり、性能自体も向上するとされています。

比較対象として、「中間トークンを要約して保持する」手法や「単純なスライディングウィンドウ」との比較実験も行われており、Prefix Slidingはどちらも上回る結果が出ています。「プレフィックス（文脈の土台）だけは残し、あとは流す」という設計の巧妙さがここに表れています。

この研究が実用化・普及した場合、最も直接的に変わるのはAPIコストと応答速度の関係です。現在、Claude・GPT-4o・Geminiのような推論モデルで「長く考えさせる設定」を使うと、トークン消費量が跳ね上がります。1回のAPIコールで数万トークンを消費するようなタスク——複雑な分析、多段階の計画立案、長いコードのデバッグ——は、現実的なコストの範囲で回すのが難しい。

Prefix Sliding的なアプローチが各モデルに組み込まれれば、「深い推論」と「コスト」のトレードオフが根本から変わります。いまは「あまり考えさせないようにする」という方向でプロンプトを調整している人も多いはずですが、その制約が緩和される可能性があります。

一方で注意が必要なのは、中間トークンの削除が「どこで何を切っているか」によっては、特定のタスクで精度が落ちるリスクがある点です。論文の実験は特定のベンチマーク上での結果であり、実際のユースケースでの挙動はこれから検証が積み重なっていく段階です。AIの「精度のばらつき」が次の評価軸になるでも触れたように、平均性能だけでなくばらつきへの目線が重要になります。