AIがAIの思考回路を「逆読み」できるようになった

大規模言語モデルは、テキストを処理するとき内部に「残差ストリーム」と呼ばれる数値ベクトルの流れを持っている。平たく言えば、モデルが「何かを処理しているときの内部状態」が数値の塊として存在するわけだが、その数値が人間の目にはまったく意味をなさないのが長年の課題だった。

今回 arxiv に公開された論文（2611.08465）が提案するのは、MAEM（Maximally-Activating Example Metamodels）という手法。仕組みを一言で言えば、「ある内部状態ベクトルを渡すと、そのベクトルを最も強く活性化するテキストを逆生成する別のモデル」を作る、というものだ。

従来の解釈アプローチは主に「大量のテキストコーパスを検索して、該当ベクトルを強く反応させる例文を探す」というものだった。これはコーパスに含まれる表現にしか対応できず、珍しい概念やドメイン固有の表現になると途端に精度が落ちる。MAEMはその制約を突き破ろうとしている。

論文の評価結果で注目したいのは、MAEMが単に「それっぽいテキストを出す」だけでなく、複数の具体的な課題でコーパス検索や既存の説明モデル（NLA: Natural-Language Autoencoder）を上回った点だ。

評価対象として使われたのは3種類の問い。①AIの内部にある「SAEフィーチャー」（解釈可能性研究でよく使われる特徴素子）の活性化——89%をMAEMが言語化できた。②ステアリングベクター（モデルの出力を特定方向に誘導するベクトル）が表す概念の特定——ここでもNLAと同等以上の精度。③バックドア攻撃のペイロード復元——コーパス検索より高い成功率。

バックドア攻撃の内容が言語化できた、という点は単なる学術的な成果にとどまらない。「このAIは特定のキーワードに反応して別の挙動をする設定が仕込まれているのでは」という疑いを、外部から検証できる可能性を示唆しているからだ。

さらに実用面で大きいのは、MAEMの出力が「検証可能」であること。生成されたテキストをそのまま元のモデルにフォワードパスして、実際に該当ベクトルが強く活性化するかを確認できる。説明が正しいかどうかを別の手段でチェックできないNLAとは、ここが決定的に違う。AIは指示なしでも「嘘をつく」、8モデル比較で判明でも触れたように、AIの内部挙動を外から検証できる手段の整備は、AI信頼性の議論で核心的なテーマになりつつある。

MAEMが万能ではない点も押さえておきたい。論文が明示しているのは「コーパスに10Mトークン以上ある言語・ドメインでは、コーパス検索に対して多数派で勝てる」という結果であり、低リソース言語や極端にニッチなドメインでの挙動は今後の課題だ。

また、MAEMはQwen3.6-27Bという270億パラメータ規模のモデルを「逆引き用のメタモデル」として使っている。解釈したい対象モデルとは別に、それと同等以上の規模のモデルが必要になる構造は、個人や小規模チームが気軽に動かせる設計ではない。

AI解釈ツール全体を俯瞰すると、現在市場にはSAEベースのツール、プロービング（内部表現への線形分類器の当てはめ）、アテンション可視化など複数の手法が並立している。MAEMはその中で「テキストによる逆引き」という軸を初めて本格的にスケールさせた手法として位置づけられる。どの手法が「何を見るのに向いているか」という比較軸を整理する上で、今回の論文はひとつの参照点になりそうだ。