temperature 0でもAIの回答はブレる

AIツールを使い込んでいる人ほど、「temperature 0に設定すれば毎回同じ答えが返ってくる」と信じている。これは半分正しく、半分は危険な思い込みだ。

論文「Same Query, Different Answer」では、SemBenchをはじめとする複数のベンチマークを通じて、120万件以上のモデル呼び出しログを再分析した。その結果、temperature 0の条件下でも、同じ入力を繰り返すだけで0.07%〜10.2%の行で出力が変化することが確認された。特定のタスクでは最大24.0%まで跳ね上がった。

なぜこんなことが起きるのか。LLMの内部では、同一のトークン確率分布から「最も確率の高いもの」を選ぶはずなのに、モデルの実装や推論インフラの微妙な差異によって結果が揺れる。temperature 0は「ランダム性を下げる設定」であって「完全な決定論を保証する設定」ではない、という点が今回あらためて浮き彫りになった。

単一の判断であればブレ幅は数%にとどまる。だが、実際のAI活用では「複数の行を順番に判断させ、その集計で最終的な答えを出す」ようなマルチステップ処理が多い。ここに本質的な落とし穴がある。

研究では、各ステップの小さなブレが「可能世界モデル」の予測通りに指数関数的に積み重なることを示している。UDA-Benchの実験では、抽出された値レベルのブレは数%程度だったにもかかわらず、最終的な回答では約3分の2が変化していた。

日常的な使い方に置き換えると、たとえばAIに「100件のデータを精査して上位20件を選ぶ」という処理を任せた場合、各行の判断に小さなブレがあるだけで、最終的に選ばれる20件はかなり変わってしまいうる。1回実行して結果を見て「これで確定」とするのは、精度の観点から言えば危うい運用だ。

また興味深いのは、SemBenchの発表済みデータの再分析で、テキスト結果の21%が実行ごとに品質評価自体も変化していたという点だ。「AIで評価した結果の信頼性」を信頼しすぎることの危うさが、ここにも顔を出している。