AIの研究力、人間を超え始めた件

Anthropicが公式に発表した内容が、AI業界において一つの節目として注目されている。要点は二つある。一つは、最新モデル「Mythos Preview」がAI研究の判断タスクで人間の研究者を64%の場面で上回ったこと。もう一つは、コード最適化のスピードが1年間で「約3倍」から「約52倍」へと急伸したこと。

Anthropicの発表によると、測定方法は毎回同じ。「小さなAIモデルを学習させるコードを渡し、新モデルに高速化させる」というタスクで、熟練した人間が4〜8時間かけて達成できる速度改善を基準にしている。2024年5月時点のClaude Opus 4は約3倍。それが今年4月のMythos Previewで約52倍へ到達した。

要は、「AIが人間の研究補助をする」フェーズから、「AIが研究の判断そのものを担い始める」フェーズへの移行が、数値として見え始めたということだ。

注目したいのは、この発表が「性能自慢」にとどまらない構造を持っている点だ。

Anthropicが示したもう一つのベンチマークは、研究セッションにおける「次の一手」の判断精度だ。人間の研究者が判断を誤った地点でセッションを一時停止し、そこまでの文脈をモデルに渡して「次に何をすべきか」を問う。Mythos Previewはこのタスクで64%の場面において人間より優れた判断を示した。2024年の同測定では22%だったため、1年で約3倍の精度向上を果たしている。

この「次の一手を判断する」という能力は、研究の文脈に限らない。プロジェクトの意思決定、コンテンツの改善、戦略の修正——どれも「途中の文脈を与えて、次に何をすべきかを問う」構造と同じだ。つまりこの能力の向上は、AIをツールとして使い倒したい人間にとって、実用範囲が一気に広がることを意味する。

タイミングとして見逃せないのは、東大とAnthropicが日本の生成AI利用実態を共同調査すると同時期に発表されたことだ。研究機関が「AIがどこまで研究を代替できるか」を本格的に検証し始めたことと、Anthropicが具体的な数値でその進捗を示したことが重なっている。「AIが研究・開発の何をどこまで担えるか」という問いは、産学の両軸で検証フェーズに入ったと見るのが自然だ。

AIの「正確さ」を測る戦いが始まったでも触れたように、AIの能力評価をめぐる方法論自体が議論されている。Anthropicが「毎回同じテストで測る」という方針を明示していることは、その文脈においても興味深い動きといえる。

Q. Mythos Previewはいつ使えるようになる？ Anthropicの公式発表時点では、一般公開のスケジュールは明示されていない。「Preview」という名称が示す通り、現時点は限定的な評価フェーズにある。最新情報はAnthropicの公式サイト（anthropic.com）またはXの@AnthropicAIアカウントで確認するのが確実だ。

Q. 「64%の場面で人間を上回る」は、何でも任せられるということ？ そうは読まない方がよい。発表によると、測定対象は「人間の研究者が判断を誤った特定の地点」でのリカバリー精度だ。つまり「間違えやすいポイントでの軌道修正」という限定された文脈での数値であり、研究全体をAIが代替できることを意味するものではない。「AIが人間の判断を補完できる場面の比率が上がった」と読むのが適切だ。

Q. コード最適化「52倍」は自分のコードでも期待できる？ Anthropicが使用したテストは、AIモデルの学習コードという特定のタスクに絞った測定だ。汎用的なコード全般に同倍率が出るわけではない。ただし「熟練者が数時間かけてやる最適化をAIが代替できる方向性に近づいている」という傾向は、現行モデルにも程度の差こそあれ存在する。自分のコードで試してみて、その差分を自分で確認するのが現実的なアプローチだ。