AIに渡す権限、どこまでが正解か

UCSFをはじめとする米国7病院が、ChatGPTを電子カルテシステムと連携させた事例が報告されています。医師4,300件超のレビューを経て、安全性の判定率は99.1%。これだけ聞くと「すごい精度」で終わりそうですが、注目すべきはその設計にあります。

AIに渡しているのは「読み取り権限」だけです。カルテの内容を参照して医師の記録作成を補助するところまでは任せる。しかし「書き込む」「確定する」というアクションは、必ず医師が行う。このワンステップが安全性を担保した、と報告では評価されています。

この構造はシンプルですが、実は多くの場面で崩れがちです。「AIがそこまでやれるなら、最後の送信も任せちゃおう」という発想は自然に出てきますし、ツール側もそれを促すUIを用意していたりします。医療という最もリスクの高い領域で「絞ること」を選んだ事例は、他の業務設計を考えるときの参照点として読んでおく価値があります。

医療の話だからといって他人事にするのはもったいないです。AIをワークフローに組み込んでいる人なら、同じ問いを自分の仕事に当てはめてみる価値があります。

考えるべき軸は3つです。

1. AIは「見る」だけか、「動かす」か SlackにAIを連携してメッセージを要約させるのと、AIがSlackに投稿できるようにするのでは、リスクのレイヤーがまったく違います。「読む」と「書く」の境界線はどこに引いているか、一度確認してみてください。

2. 「承認ステップ」は誰が持っているか AIが生成した文章をそのまま送信・公開・登録できる状態になっていませんか。メールの下書きはAIに作らせてもいい。でも「送信」ボタンは自分が押す。この区別を明示的に設計しているかどうかです。

3. 取り返しのつかないアクションは何か 削除、送信、決済、外部公開——これらはAIの操作フローから外すか、必ず確認フローを挟む設計にする。現実的な被害規模で考えると、ここのコストは小さくないです。

ClaudeがSalesforceと連携、営業AIが現実になったでも触れましたが、AIが外部システムに直接アクションを起こせる連携が増えている今、この設計の問いはより切実になっています。

今回の元情報の中に、別の角度から気になる話が混じっていました。ChatGPTのFreeプランで「Lunaなら無制限だよ」とAI自身が説明したにもかかわらず、実際には制限がかかったという報告です。

これはAIに権限を渡す議論と地続きの問題です。AIが「できる」と言ったことをそのまま信じてワークフローを組んでしまうと、実際の仕様と乖離した設計になる。自分のシステムがどう動いているかをAIから聞いて確認するのは便利ですが、そのAIの説明自体が誤っていることがあります。

プラン仕様・API制限・権限の範囲——こういった「仕様の確認」は、AIに聞くより公式ドキュメントやステータスページで直接確認する習慣を持つほうが、設計ミスを防ぐ上では現実的です。AIは「知っているっぽく答える」生き物です。仕様確認だけは一次ソースに当たる、という線引きをしておくと安心です。