ロボットへの指示、言葉は安全でも動作は危険になる

LLMがロボットや自動化エージェントの「司令塔」として使われる場面が増えている。だが、テキストレベルで完全に無害な指示でも、それが物理世界の動作に変換された瞬間に危険になる、という問題が研究で明確に示されている。

論文が指摘するのは、「危険」には2種類あるという点だ。ひとつは通常のテキスト危険（Content Danger: CD）、つまり「爆発物の作り方を教えて」のような言語的に有害な内容。もうひとつが**物理的危険（Physical Danger: PD）**で、「このエリアを通ってドアを開けて」という無害に見える指示が、ロボットの動作に変換されると人や設備への危険を引き起こす、というタイプだ。

重要なのは、この2種類の危険がLLMの内部表現（隠れ状態）において別々のシグナルとして存在することが確認されたことだ。Qwen2.5シリーズ（3B〜32B）、Phi-3.5、SmolLM2といった複数のモデルで再現されており、モデル規模に依存しない現象として捉えられている。

現在広く使われているAI安全フィルターは、「危険なキーワードや表現を検出する」仕組みを前提に設計されている。これはテキスト単体の危険を弾くには機能するが、物理エージェントの文脈に適用すると深刻な問題が起きる。

論文内でLLMをジャッジとして使った実験では、安全なタスクを24〜39%の割合で誤ってブロックしてしまう結果が出た。つまり、ロボットや実行系エージェントを既存の安全フィルターで守ろうとすると、まともに動かない確率が4回に1回どころか、3回に1回に達するケースもある計算になる。

これに対して論文が提案するのがPRISMというアプローチだ。LLMの隠れ状態を直接プローブ（探索）する単層のロジスティック分類器で、SafeAgentBenchでの精度は86〜87%、誤検知率は11〜13%と、LLMジャッジより大幅に改善されている。さらに、危険ワードを含まない1000件の物理リスク事例集「PSB-1K」でのテストでは精度99.6%、誤検知率0.7%という結果も出ている。

日本でいうところの「ファクトチェック用のAIがフェイクニュースを見分けるのではなく、文章の雰囲気で判断している」問題に近い。テキスト表面の特徴だけ見ていては、根本的な危険を捉えられない。

この研究が実務的に示唆するのは、「テキスト安全フィルターを通したから安全」という前提が、実行系エージェントには通用しないということだ。

AIエージェントが買い物を代行する時代、ブランドへの「信頼」はどう変わるかでも触れたように、エージェントが「判断する」だけでなく「実行する」役割を担う設計は急速に増えている。またAIエージェントに「入札制」を導入したら精度が上がった話のように、エージェントのアーキテクチャ設計は急速に高度化しており、安全側の設計も同じ速度でアップデートが求められる局面に入っている。

具体的に押さえておきたい設計の前提は3点。

①テキストフィルターは「入力検査」であって「動作検査」ではない。指示が無害でも、実行後の物理的結果まで安全を保証しない。

②LLMをジャッジとして安全判定に使うアーキテクチャは過剰ブロックのリスクがある。特に実行頻度が高いワークフローほど、誤検知コストが積み上がる。

③物理リスクとテキストリスクは別レイヤーで評価する設計が必要になってくる。今はまだPRISMのような手法が研究段階だが、この分離という考え方は実用設計の基準として今から持っておくべきだ。