AIは研究者になれるか？最新評価の実態

最先端のAIエージェントに「研究インターンと同じ仕事をしてみて」と頼んだら、どこまでできるか。それを測る新しい評価基準「AARR（Act As a Real Researcher）」が発表された。結果は、最も優秀な組み合わせ（Claude Opus 4.7 × Mini-SWE-Agent）でも正答率68.3%止まり。要は「補助ツールとしては優秀だが、研究者の代わりにはまだなれない」というのが現時点のデータが示す実態だ。この評価が従来と違うのは、タスクの「完了率」ではなく、人間の研究者が当たり前に持っている繊細な判断力——倫理感覚、分野ごとの文脈理解、微妙なニュアンスの読み取り——をどれだけ再現できるかを測っている点にある。コーディングでは高いスコアを出すAIが、研究領域になると途端に伸び悩む。その背景には、モデルの能力だけでなく、研究インフラ（データベースや文献管理システムの設計）がAIの使い方に対応していないという構造的な問題があるとAnthropicは指摘している。

注目したいのは、このタイミングでこの種の評価が出てきた背景だ。AIエージェントが「コードを書く」「実験を自動実行する」といった単体タスクをこなせるようになるにつれ、「研究者そのものを代替できるか」という問いが現実味を帯びてきた。AIの研究力、人間を超え始めた件でも触れたように、マクロな実行能力では人間に匹敵するスコアを出すケースが報告されはじめている。だからこそ、「全体として動けるか」より「研究者らしく動けるか」を問うAARRのようなベンチマークが意味を持つ。

Anthropicが指摘するもう一つの問題は、データインフラ側にある。生物学などの研究データベースは、人間の研究者が手作業でアクセスすることを前提に設計されており、AIエージェントが大量に並列アクセスして活用する構造になっていない。コーディングの分野でAIが急速に進化できた理由のひとつは、GitHubやStack Overflowといった「AIが使いやすい形でデータが整備されていた」ことにある。研究領域ではそのインフラ整備がまだ追いついていない。

使う側として知っておくべきは、この「68.3%」という数字の意味だ。これは「3割以上のタスクで失敗する」ということではなく、「人間の研究者なら見落とさない微細な判断で躓く」という文脈で出た数値だ。定型的な文献整理や構造化されたデータ分析では十分使えても、「この実験設計に倫理的な問題はないか」「この結果の解釈は分野の慣習に合っているか」といった判断を一任するのは、現時点では危うい。

Q. 68.3%という正答率は、使い物にならないということ？ そうとは言い切れない。AARRベンチマークが測っているのは「研究者らしい繊細な判断」であり、通常のタスクより難易度が高い設定だ。文献の要約や構造化データの分析といった定型タスクでは、別のベンチマーク上では高いスコアが出ている。「研究全体を代替する」用途には不十分だが、「特定の補助タスクを任せる」用途では現時点でも十分機能する場面がある。数字だけを取り出して「使えない」と判断するより、どのタスクで使うかを絞って考えるのが実用的な見方だ。

Q. AnthropicがAIのインフラ問題を指摘しているのはどういう意味？ 研究用データベース（PubMed、ChEMBLなど）は、人間が目で見てキーワードで検索することを前提に設計されている。AIエージェントが複数の問いを並列で処理しながら大量のデータにアクセスするという使い方には構造的に対応していない。これはモデルの問題ではなく、インフラ側の設計の問題だ。Anthropicはこれを「車が走る前に作られた街」と表現しており、今後はAIエージェントが使いやすい形でデータを整備する動きが研究機関や学術データベース側にも求められるという主張だ。

Q. AARRベンチマークは誰でも確認できる？ 論文はarXivで公開されており（arxiv.org/abs/2606.07462）、無料で読める。ベンチマーク自体の詳細な設計やタスク一覧も論文内に記載されている。自分が想定している用途と照らし合わせて「この種のタスクで68.3%なのか」を確認するための一次情報として参照できる。