24GBのMacで20万トークン処理できる推論技術が登場

論文「JustFit」が提案するのは、ローカルで大規模LLMを動かすための新しい推論ランタイムだ。M4 Pro MacBook（メモリ24GB）上で、Qwen3-27B（MXFP4量子化）を使って196,608トークンの入力と16,384トークンの出力を完走させた。これはAppleのMLXフレームワーク向けベースラインである「mlx-vlm」が実現できていた30,720トークンと比べると、実に約6.9倍の文脈長にあたる。

ポイントは「メモリをいつ・どれだけ使うか」を精密にコントロールする仕組みにある。JustFitは3つのコンポーネントを組み合わせている。①KVExec（Key-Valueキャッシュを圧縮実行）、②PhaseSwap（モデルの各コンポーネントをメモリに乗せるタイミングを制御）、③StateTrans（処理の状態を保ったままサービング条件を切り替える）。これらが連動することで、必要なデータだけを必要な瞬間にメモリへ展開し、使い終わったら即座に解放する「ジャストインタイム」な運用が可能になる。重要なのは、この仕組みがモデルの量子化（4ビット化など）とは独立して機能する点だ。量子化に頼らずメモリ効率を高められるため、精度を犠牲にせずにコンテキストを伸ばすアプローチとして注目できる。

論文の検証結果を整理しておく。入出力フルスケールのテストでは3回独立して実行し、いずれも196,608入力＋16,384出力を完走。2リクエスト同時の場合は合計229,376トークンをメモリ上に保持できた。速度面では、32Kトークン入力・64トークン出力という条件で19.11トークン/秒を記録している。処理中のメモリ使用量のピーク中央値は16,374MiBで、24GBの上限内に収まっている。

推論の品質面では、数学競技問題「AIME 2026」の30問中29問を正解している。ローカルで動く27Bモデルとしては高い水準だ。ただし「20万トークン全域で常にこの速度・精度が出る」わけではなく、論文記載のテストは特定条件下でのベンチマークである点は押さえておきたい。実際の用途――長い資料の一括読み込み、複数ドキュメントの横断分析、長い推論チェーンの生成――でどこまで安定するかは、ユーザーが自分の環境で確認する必要がある。

これまでローカルLLMの最大の制約は「コンテキストの短さ」だった。32KやせいぜいQwen系の64K程度が現実的な上限とされており、長い文書を扱いたい場面ではClaudeやGPT-4oなどのクラウドAPIを使わざるを得なかった。JustFitが示すのは、その前提がM4 Pro Mac環境において崩れつつあるという事実だ。

使う側の視点で考えると、影響が大きいのは「API利用コストを気にせず長文処理を繰り返したい」「プライバシー上、社外サーバーにデータを送りたくない」「オフライン環境でも動かしたい」という3つのシナリオだ。契約書や社内ドキュメントの一括読み込み、長尺のリサーチログ整理、コードベース全体を一度に食わせた上での質問応答といった用途が、ローカルで現実的な速度で動く可能性が出てきた。ただし現時点では研究論文の段階であり、一般ユーザーがすぐにインストールして使えるパッケージとして公開されているわけではない。今後のMLXエコシステムへの統合がどう進むかが、実用化の速度を左右する。