ロボットは失敗したとき、誰に聞くべきか

ロボットが作業に失敗したとき、何が原因かを突き止めるのは思ったより難しい。研究では、失敗の原因をあらかじめ注入した上でシミュレーションを構築し、「カメラ画像」と「力センサーのデータ」がそれぞれどこまで原因を特定できるかを比較した。結果は明快だった。力センサーのデータを使えば精度0.99で原因を特定できる失敗も、カメラ画像では最良の手法でも0.55止まり。つまり画像を渡すだけでは、相当数の失敗は「見えていない」状態になる。

これはロボット工学だけの話ではない。AIに何かを「判断させる」システムを設計する際、「どのデータを渡すか」が性能の天井を決める、という原則がここで明確に示された。画像・テキスト・音声・数値ログ——入力の種類を変えるだけで、同じモデルでも別物の精度が出る。

研究の中でもとりわけ注目したい発見がある。視覚AIモデル（オープンな視覚言語モデル6種類）に「自分で判断する・別センサーを確認する・人に聞く」の3択を示したとき、選択肢の並び順を変えただけで回答が激変したというデータだ。「拒否する（人に聞く）」を選択肢の最後に置くと78〜100%がその選択肢を選ぶが、最初に移動させると同じモデルが0〜6%しか選ばなくなる。6モデル中3つでこの現象が確認された。

さらに、モデルが出力する「自信スコア」が実際の正解率と無相関だったことも記録されている。「70%の確信度でこの原因です」と言われても、その数字は当たっているかどうかの情報を一切持っていない。

これは「AIに判断を任せる」という設計の構造的な問題として受け取るべきだ。AIがどの動作を選ぶかを最適化する新手法でも触れたように、AIの出力を最終判断の根拠にする設計は、入力の形式や順序といった「本来関係ないはず」の要因に大きく揺さぶられる。ここは今のAI利用の現実として直視しておきたい。

ただし、研究はAIを否定する結論で終わっていない。カメラ画像の代わりに力センサーのデータを「10行のテキスト」として同じモデルに渡したところ、6モデル中4つでベースラインを上回る診断精度が出た。モデルの能力が不足していたのではなく、そもそも渡すデータが不適切だったという解釈が成立する。

ここから引き出せる実務的な視点は二つある。一つは、「AIに何をどの形式で渡すか」の設計が、モデルの選定よりも先に考えるべき問いだということ。もう一つは、「画像で判断させているからうまくいかない」と感じたとき、モデルを変える前にデータの種類や形式を変えてみる価値があるということ。テキスト化・数値化・構造化——変換の余地は意外と広い。

AIの誤アドバイスから量子コンピュータを守る研究が登場でも整理されているように、AIの判断の信頼性は「何を入力するか」の設計段階で8割決まる。