AIの「嘘」を95%検出する仕組みが登場

AIが自信満々に「嘘」を語る問題、いわゆるハルシネーション（幻覚）への対策が、検出精度という面で大きな進展を見せた。今回発表された研究は、複数の検出手法を組み合わせた「パイプライン」アプローチで、AIの回答に含まれる虚偽・不確かな主張をF1スコア0.915、正解率93.2%で自動検出することに成功したと報告している。

手法の核となるのは3つの組み合わせだ。①テキスト分類に特化した言語モデル「DeBERTa-v3」のファインチューニング、②「モンテカルロDropout」と呼ばれる確率的な不確実性の測定、③温度スケーリングによる信頼度キャリブレーション——これらを組み合わせることで、単一手法では取りこぼしていた誤りを相互補完している。

用途別の内訳を見ると、QA（質問応答）でF1=0.97、要約でF1=0.96と高精度を達成している一方、対話（チャット形式）はF1=0.82にとどまる。チャットのほうが文脈依存性が高く、正誤の判断が難しいという直感とも一致する結果だ。また、学習データの25%だけで最終性能の77%を達成できるという「学習曲線」の分析も示されており、小規模なデータセットから始めて検出器を構築できる可能性が示唆されている。

この研究で最も実用的な示唆を含むのが、汎用ドメインで学習した検出器を医療分野（SciFact）に転用したときの結果だ。F1スコアが0.52まで急落した。

つまり、一般的なテキストで「嘘を見抜く訓練」をされた検出器は、医療・法律・金融といった専門領域では機能しないという話になる。SciFact（医療文献）に特化した言語モデル「PubMedBERT」をその分野でファインチューニングしたところ、F1=0.63・AUROC=0.81まで回復している。完璧ではないが、方向性は明確だ——「専門分野では専門の検出器が必要」。

これを読者の視点に置き換えると、こういうことになる。ChatGPTやClaudeをどんな用途に使うかによって、同じ出力でも「嘘のリスク」の性質が変わる。一般的な文章生成と、医療情報の確認、法律解釈の補助では、信頼してよい部分とそうでない部分がまったく異なる。「AIの出力を使っているから大丈夫」ではなく、「どの分野でどう使っているか」によってリスクを別々に評価する視点が求められている。

AIがコードを「正しく読めてる」は本当か？でも触れたように、AIの能力評価は「一般的にどうか」より「この用途でどうか」という問いのほうがはるかに有益だ。

検出だけでなく、AI自体が嘘をつきにくくなる方向の実験結果も同論文に含まれている。注目したいのはDPO（Direct Preference Optimization）という手法を小型モデル「Qwen2.5-0.5B」に適用した実験で、ハルシネーション率を85.5%から37.7%に削減（相対比で55.9%減）したと報告されている。

もちろんこれは研究レベルの実験であり、商用モデルにそのまま適用できるわけではない。ただし「検出して弾く」ではなく「そもそも出力させない」という方向のアプローチが小型モデルでも有効であることは、今後の軽量モデル選定・カスタマイズの参考になる視点だ。

AIがAI自身を改良する時代の到達点とはでも紹介したように、AIが自らの振る舞いを最適化するループはすでに実用段階に入りつつある。ハルシネーション低減もその文脈のひとつとして捉えると、流れが見えやすくなる。