AIモデルのセキュリティ検査ツール、どれが信頼できるか

AIモデルのセキュリティスキャナーを比較した研究が公開された。170種類のPickle・PyTorchファイル（145の亜種ファミリー）を対象に、ModelScan・ModelAudit・Ficklingの3ツールを評価したものだ。

結果の中で最も注目したいのは、ModelScanに関する数字だ。ラベルありの135ファミリーのうち、ModelScanが明確なセキュリティ判定を出せたのは67件（約49.6%）にとどまった。一方でModelAuditは135件全件（100%）に判定を出している。

ここで問題になるのは「精度」という指標の使い方だ。ModelScanは、判定を出したケースに限れば精度・再現率・F1スコアのすべてで100%を達成している。数字だけ見れば「最高のツール」に映る。しかし実態は、判定できないケースを半数近く抱えている。検査が完了しなかった48の悪意あるファミリーについては、ModelAuditとFicklingが正解と一致する検出を行っている。

この研究が指摘しているのは、「判定の正確さ」と「そもそも判定が出るかどうか」は別の軸で評価しなければならない、という点だ。セキュリティツールを選ぶ際に「F1スコアが高い」だけを根拠にすると、見えていないリスクが存在する可能性がある。

3ツールの特性を整理すると、それぞれ役割が異なることがわかる。

ModelAuditは網羅性が最も高く、全ファミリーに対して判定を出した。カバレッジという点では今回の比較で最も信頼できる動作をしている。

Ficklingは135ファミリー中110件（81.5%）に判定を出した。ただし、ModelAuditとModelScanの組み合わせが検出できたファミリーを超える「Ficklingだけが拾えた」真陽性は存在しなかった。単独で使う理由は薄いが、組み合わせの中に置く分には補完的に機能しうる。

ModelScanは判定の精度そのものは高い。判定を出した範囲では信頼できるが、判定が出ないケースを前提にした運用設計が必要になる。「出なかった＝安全」とは解釈できない点を理解して使う必要がある。

安全設定で性能を下げない、新しいAI調整の仕組みでも触れたように、AIのセキュリティ・安全性の設計は「何かひとつを完璧にする」より「複数の仕組みで互いの穴を塞ぐ」方向へ進んでいる。スキャナー選定も同じ発想が当てはまる。