AIが統計検定でGPT-5超え、研究者が注目するワケ

AIに仮説検定をやらせると、何が起きているか。コードは正確に走り、p値も出力される。でも結論が間違っている——そういうケースが実は頻発していると、今回の論文は指摘しています。

たとえば「このデータは正規分布に従っているか」という前提を確認せずにt検定を走らせる、あるいは多重比較補正をかけ忘れて「有意差あり」と断言してしまう。計算の実行精度とは別の次元で、推論の筋道そのものにエラーが生じている。これは既存のベンチマークでは捉えにくい種類のミスで、「p値が正しく計算されたか」ではなく「そのp値が統計的に有効な文脈で出されたか」を問わなければ見えてこない。

論文チームが作ったベンチマーク「P-Bench」は、まさにその盲点を突いています。経済・生物・医療領域から425問を収録し、エージェントに対して「仮説を受け取り、データを読み込み、適切な手法を選んで結論を出す」一連のプロセスを問う設計です。答えだけでなく、そこに至る統計的推論の妥当性まで評価される。

今回発表された「Fisher-R1」は、仮説検定に特化して強化学習で訓練されたオープンウェイトのLLMエージェントです。14Bパラメータのモデルで、P-Bench上でGPT-5やDeepSeek-V4-Proを超える精度を達成しています。DeepSeek-V4-Proとの比較では平均21%の改善、難易度の高いタスクでは最大26%の差が出ています。

注目したいのは、「どうやってその精度を出しているか」という部分です。Fisher-R1の訓練は合成タスクと強化学習の組み合わせで行われていて、「正しい答えを丸暗記させる」アプローチではなく、「統計的な推論プロセスそのものを矯正する」方向で設計されています。

これは「自己反省AIは繰り返し試行に勝てない」論文が示す真実でも触れた流れと地続きです。「モデルが大きければいい」「反省させればいい」という直感が外れるケースがあり、特定の能力については専門的な訓練ループで補強するほうが効果的だという知見が蓄積されています。Fisher-R1はその具体例として見ておくと整理しやすい。

またモデルがオープンウェイトで公開される点も重要です。GPT-5やClaude系との比較が「外から検証可能」になるため、ベンチマーク結果の信頼性も高くなります。

Fisher-R1の話をAI研究の遠い話として読むのは少しもったいなくて、実際のところP-Benchが提示している問いは「あなたが今使っているAIで統計的結論を出す作業を信頼していいか」に直結しています。

データ分析にAIを使う場面は広がっています。顧客アンケートのクロス集計、施策前後の比較、ABテストの解釈——こうした場面でChatGPTやClaudeにコードを書かせ、出てきた結論をそのまま使っている人は少なくないはずです。

P-Benchが測っているのは、AIが「正しい手順を踏んでいるかどうかの判断力」です。「正規性の検定が必要かどうか」「対応のあるt検定か独立したサンプルのt検定か」「多重比較の補正はかかっているか」——こうした選択の積み重ねで結論の信頼性は大きく変わりますが、GPT系のモデルでも現時点ではここが弱点になっていると今回の論文は示しています。

使う側として知っておくべきは、「AIが出した結論がどのくらい信頼できるか」を判断するには、統計検定のプロセスを最低限把握しておく必要があるという点です。完全に丸投げするより、「手法の選択だけ人間が確認する」ハイブリッドなフローのほうが現実的な精度が出る可能性があります。