LLMが作る「世界モデル」、動いても正確とは限らない

LLMに複雑な状況を読み込ませて、ゲームや交渉のルール構造を自動生成させる研究が発表された。5つのLLMを対象に、44のシナリオ（ゲーム・状況判断・文化的交渉など）を与え、「部分観測確率ゲーム」と呼ばれる形式的な世界モデルを出力させたものだ。

結果は一見良好に見えた。134件の生成モデルのうち133件が、エラーなく動作する有効なフォーマットで出力された。実行可能性だけで見れば、ほぼ満点だ。

ところが、内容の正確さはまったく別の話だった。研究チームが用意した「正解モデル」と構造的に一致したのは、わずか28件。平均的な構造一致スコア（F1値）は0.366という水準で、「形は整っているが中身がズレている」出力が大多数だったということになる。

さらに興味深い発見がある。シナリオに「国名を明示する」というちょっとした変更を加えただけで、多くのLLMが生成する構造的表現ががらりと変わった。意味的なスコアの変化はわずかなのに、構造は別物になる。つまりLLMは、同じ問題を「別の解釈で」符号化していた可能性がある。

「世界モデルの生成」と聞くと遠い話に思えるかもしれないが、これは日常的なLLM活用の構造的な問題として読み替えられる。

たとえば、LLMに「要件定義を整理して」「競合分析をまとめて」「このルールをコードに落とし込んで」と依頼するとき、私たちはアウトプットが「エラーなく成立していること」をもって完成とみなしがちだ。ロジックが通っている、動く、文章として読める——そうした表面的な整合性を、内容の正確さと混同してしまう。

この研究が指摘しているのは、まさにそこだ。LLMは「実行可能な何か」を出力する能力が非常に高い。しかし、それが「あなたの意図した問題を正しく表現しているか」は、実行可能性とは完全に独立した問題として存在する。

AIがAIの思考回路を「逆読み」できるようになったでも触れたように、LLMの内部で何が起きているかを人間が追跡するのは難しい。「動く出力」の裏側で、問題の解釈がどうズレているかを見抜くには、外側から構造を照合する視点が必要になる。