AIを分割して騙す手口と、その検知技術

AIの安全性対策はこれまで、1回の会話（セッション）の中で何か悪いことが起きていないかを監視する設計が中心だった。しかし論文が指摘するのは、そのアーキテクチャの前提そのものを崩す攻撃手法だ。

仕組みはシンプルで、有害なゴールを複数の「無害に見える小タスク」に分解し、別々のセッションで実行する。たとえば「情報収集」「加工」「組み合わせ」をそれぞれ独立した会話として実行すれば、個々のやり取りはどれもフィルタリングの基準を通過してしまう。AIエージェントはセッション間で記憶を持たないが、攻撃者は持つ。この非対称性が検知の死角を生んでいる。

論文では、こうしたクロスセッション攻撃が単一セッションの攻撃よりも有害な能力を引き出せることを実証している。つまり「1回の会話では弾いた内容が、分割すれば通ってしまう」という状況が現実に起きうる。

使う側として押さえたいのは、これが「悪意ある外部攻撃者の話」だけでは終わらない点だ。

複数のAIエージェントを組み合わせて業務フローを自動化する構成は、2025年以降急速に広まっている。調査エージェント・文章生成エージェント・投稿エージェントをそれぞれ独立して動かすような設計は、まさにこの論文が問題にしているアーキテクチャと同じ構造を持つ。AIエージェントに長時間仕事を任せる仕組みでも触れたように、エージェントへのタスク委譲が進むほど、各セッションの「何をやったか」が見えにくくなる。

論文が示唆するのは、この見えにくさが外部からの悪用だけでなく、自分が設計したフローの内側にも潜んでいるというリスクだ。エージェントAが生成した出力をエージェントBが受け取る流れが、後から追えない状態になっていないか。AIエージェントの「記憶」に価値を付けて管理する新技術のような仕組みへの関心が高まっているのも、同じ文脈で理解できる。

論文が提案する検知システム「Magnet」は、各セッションで何が「生産されたか（capability）」を記録・蓄積し、上位の相関器で一連の流れを評価する設計だ。

重要なのは、これが「各会話の内容が悪いかどうか」ではなく「複数の会話を通じて何が積み上がっているか」を見ようとする発想の転換だという点。ツールの実行結果やモデルの応答を、後から一連の経路として再構成できるようにしておくことが検知の前提になっている。

現時点でMagnetは研究段階のシステムであり、すぐに導入できるプロダクトとして公開されているわけではない。ただしその設計思想——出力ログを「時系列で蓄積・参照できる形」で残すこと——は、自分でエージェント構成を組む際にも直接応用できる考え方だ。また、AIサービスの「隠しルール」を監査する仕組みが登場でも示されたように、AIシステムの監査可能性は今後の主要テーマになりつつある。