AIは「1週間の開発作業」をこなせるか？Googleが検証

GoogleがAIモデルの開発能力を測るベンチマーク「Android Bench 2.0」を公開した。旧バージョンとの最大の違いは、課題の難易度ではなく「時間軸」だ。従来のベンチマークは数時間以内に解けるような短いコーディングタスクが中心だったが、今回はエンジニアが数日かけて取り組む長期・複合タスクを評価対象に据えた。結果、最高通過率は約91%から約28%へと急落した。

数字だけを見ると「AIはまだダメだ」という印象になりがちだが、もう少し丁寧に読む必要がある。これはAIが退化したのではなく、物差し自体が現実に近づいたということだ。「コードを1関数書く」と「仕様を読んで複数ファイルにまたがる実装をこなし、テストまで通す」は、難易度の次元が違う。Android Bench 2.0はその後者を問うている。言い換えると、これまでのスコアは「試験問題を解く能力」を測っていたに過ぎず、Googleは今回「実際の仕事ができるか」を問う物差しに切り替えた。

今回の結果が示す実務上のポイントはシンプルだ。現状のAIエージェントは、タスクが長くなればなるほど、文脈の引き継ぎ・判断の積み重ね・想定外への対処でエラーが蓄積しやすい。

整理すると、現時点でAIに任せやすいのは「スコープが明確で、1セッション内で完結するタスク」だ。コードの部分修正、特定関数のリファクタリング、テストコードの生成、ドキュメントの初稿作成といった領域はここに入る。一方、「複数の判断ポイントをまたいで進む長期タスク」は、現状のエージェントが最も苦手とする領域であることがAndroid Bench 2.0の数字として確認された形だ。

注目したいのは、28%という数字が「全く使えない」を意味するわけでもない点だ。裏を返せば、一定の条件下では長期タスクを部分的に完遂できるモデルも存在する。ここで重要なのは「どのモデルがどの種のタスクで何割通過しているか」という粒度の情報だ。Googleが詳細なスコアを公開しているのは、この選別材料を提供するためでもある。

AIエージェント同士が「なあなあ」になる現象、研究で確認でも触れたように、エージェントに長めのタスクを丸投げするほど、途中の判断が甘くなるリスクは複数の研究で観測されている。今回はそれを「コーディング」という具体的な業務領域で定量化したと言える。

Android Bench 2.0が面白いのは、単なる「AIの成績発表」ではなく、評価基準が現実の仕事に近づいてきたことを示している点だ。これまでのベンチマーク競争はある種の「試験対策」になりやすく、スコアが高くても実務では使い物にならないケースが批判されてきた。

Googleが今回の刷新で「数日かかる現場レベルのタスク」を採用したのは、そのギャップを埋ようとする意図がある。今後、各AIプロバイダーはこの新しい物差しに向けてモデルを改良してくる。つまりAndroid Bench 2.0のスコア推移を追うことは、「どのモデルが実務のコーディングタスクで使えるようになってきたか」を定点観測するひとつの手段になる。

月に一度、最新スコアを確認する習慣をつけておくと、ツール選定や依頼設計の更新タイミングがわかりやすくなる。AIの出力を壊さず、そっと方向を変える技術のようなプロンプト設計の工夫も、モデルの実力の変化に合わせてアップデートしていく必要があるためだ。