LLMの「多数決バイアス」が意思決定を狂わせる

複数のAIエージェントに情報を与えて議論させ、その要約を別のAIに渡して最終判断させる——こうした「マルチエージェント型の意思決定」は、単一AIの限界を突破する手法として注目されている。ところが論文「Rare, Relevant, and Still Wrong」が明らかにしたのは、この仕組みに根本的な落とし穴があるという事実だ。

問題の核心は「社会的証明バイアス」にある。最終判断を担うAIが、「多くのエージェントが言及した情報」を無意識に重視してしまう。人間が「みんなが言ってるから正しいはず」と思い込むのと同じ構造が、AIの中でも起きている。

これはアーキテクチャや規模に依存した問題ではない。Qwen2.5-7B、Llama-3.1-8B、DeepSeekの複数モデルで同様の傾向が確認されており、モデルを変えれば解決する話ではないという点が重要だ。

直感的に考えると、要約の質を上げる方法は二つある。「関連性の高い情報だけ残す」か、「多数に共有されていない珍しい情報を優先する」か。どちらも合理的に聞こえるが、論文はどちらも機能しないことを実験で示した。

関連性フィルターが失敗するのは「囮情報（デコイ）」の問題だ。正答に関係のないが話題として関連しているデコイ情報まで拾ってしまい、正答率はランダムより最大31ポイント低下する。

珍しい情報優先も同様で、「珍しい＝有用」とは限らない。稀な情報が偶然に正答と一致するケースでのみ有効で、平均的にはランダム選択と変わらない結果が出ている。

見逃せないのは「誰が言ったか」という帰属タグの影響だ。「エージェントAが指摘」「3エージェントが言及」という属性情報を要約から取り除くだけで、正答率が13〜24ポイント改善した。改善策が「情報を絞る」ではなく「属性を削除する」という、反直感的な結論がこの研究の肝だ。

論文が使った実験設計「CrossProfile」のベースは、社会心理学の「hidden-profile（隠れたプロファイル）課題」だ。これは、正答を導く情報が特定の人にしか与えられていない状況で、グループ議論が正解に辿り着けるかを測る古典的な手法。人間の集団でも同じバイアスが確認されており、多数派の意見に引きずられて少数派が持つ重要情報が埋もれてしまう。

AIエージェントでこれが起きるのは「社会的証明」のメカニズムが学習データに織り込まれているためと考えられる。人間が書いたテキストから学習したモデルは、人間と同じ認知バイアスを内包しているという点は、設計者として意識しておくべき前提だ。

マルチエージェントのシステムを「より賢い意思決定機械」として使うなら、AIが人間の集合知の模倣であることを忘れないほうがいい。人間の会議と同じく、「多数が言った＝正しい」にはならない。