AIサービスの「隠しルール」を監査する仕組みが登場

ChatGPTやClaude、Perplexityなど商用AIサービスの裏には、開発者が仕込んだ「システムプロンプト」が存在する。「どんな人格で話すか」「何を話してはいけないか」「ユーザーの個人情報をどう扱うか」——こうした指示が、私たちが意識しないところで会話の質や安全性を左右している。

ところがこのシステムプロンプト、これまでほぼ外部から確認する手段がなかった。ユーザーにも規制当局にも非公開のまま、商用AIの動作を陰で支配してきたわけだ。

この不透明な領域に対し、AISPA（AI System Prompt Assurance）という監査フレームワークを提案した論文が公開された。88の商用AIサービスから3,249件のシステムプロンプト指示を収集・分析した研究で、「ユーザーを守るための指示」と「ユーザーにとって問題のある指示」を8つの軸で分類している。

分析の結果から浮かび上がった構造は、一見安心できて、実際には薄い——という現実だ。

「ユーザーを守る指示が1つ以上ある」サービスは98.9%にのぼる。数字だけ見ると、ほぼすべてのサービスが安全設計を施しているように見える。しかし研究が設定した8つの評価軸（ユーザー保護・情報開示・偏り抑制・プライバシー・操作防止・誤情報対策・自律性の尊重・責任の所在など）をすべてカバーしているサービスは、わずか24%だった。

「ひとつでもある」と「全部ある」の間には、4倍近いギャップが存在する。

さらに印象的なのが組織間の格差だ。手厚いサービスでは1製品あたり平均60以上の保護指示が設けられている一方、最も薄いサービスでは5件未満。10倍以上の差が組織間に生じており、「安全設計への投資量」がサービスによってまったく異なることがわかる。

一方で傾向としては、システムプロンプトは年々長くなり、ユーザー保護に関する記述が増えている。「透明性」が商用AIにとって無視できない関心事になってきた、とも読める。

システムプロンプトが非公開であること自体は、商業的な理由から一定程度理解できる。プロンプトエンジニアリングは競争優位の源泉でもあるからだ。しかし今回の研究が指摘するより深い問題は、「非公開かどうか」ではなく「そもそも設計が薄い」という点にある。

ユーザー保護の指示が1つしかないサービスと60以上あるサービスを比べたとき、その差は「透明性の差」ではなく「ユーザーへの配慮の厚さの差」だ。開示していないけれど実は手厚く守られているサービスもあれば、開示していないし実際に薄いサービスもある。

この研究が社会的に意味を持つのは、「AIサービスを選ぶ・使う際の評価軸」をユーザー側に渡してくれた点だ。規制当局だけでなく、使う側の人間が問いを立てられるようになることで、市場から透明性への圧力をかけられる。AIが「みんな同じ文章」を生む？研究が示すリスクのような均質化リスクと同様、AIの品質劣化は「能力」ではなく「設計の怠慢」から起きることがある。その文脈で、この研究は覚えておく価値がある。