AIが法律業務の「試験問題」を解く時代へ

法律特化AIスタートアップのHarveyAIが、「Harvey Labs」というベンチマークをGitHubで公開した。これは、AIエージェントが法律業務においてどれだけ使えるかを評価するための専用テスト群で、契約書レビュー・判例調査・法的リサーチといった実務に近いタスクが含まれている。

注目すべきは、これが「ベンチマーク」として独立して公開されている点だ。AIの能力を測る指標といえば、これまでは数学や論理推論、コード生成などの汎用テストが主流だった。AIが統計検定でGPT-5超え、研究者が注目するワケでも触れたように、特定ドメインでのAI評価は年々精緻化している。今回のHarvey Labsはその法律版と位置づけられる。

公式リポジトリによると、1,000以上のスターをすでに獲得しており、法律テック・AI研究・LLMの実用評価に関心を持つ層から注目を集めている。法律は「正確性が極めて重要で、ミスのコストが高い」という点で、AIエージェントの実力が問われやすいドメインだ。そのため、このベンチマークは法律業界だけでなく、「AIを業務に使う際の精度基準」を考えるうえで広く参照価値がある。

Harvey Labsの公開が示しているのは、単なるツールの話ではない。「法律業務向けの評価基準が存在する」という事実そのものが、AIの選び方の変化を映している。

これまでは「ChatGPTで試してみた」「Claudeのほうが文章がいい」といった感覚値での比較が多かった。しかしドメイン特化のベンチマークが整備されてくると、「このAIは契約書レビューで正答率が何%か」「判例を見落とす頻度はどちらが低いか」という数値ベースの選定が現実的になる。

日本でいうところのSPI試験や技能検定に近い発想だ。「なんとなく頭が良さそう」ではなく、「この業務の試験問題を解けるか」で評価する。法律に限らず、医療・会計・建築など専門知識が要る領域では今後同様のベンチマークが整備されていく流れが加速すると見られている。

AIを「使い倒す側」に立つなら、ツールを直感で選ぶ段階から「どのベンチマークでどのくらいのスコアか」を確認してから選ぶ段階へ移行する準備をしておく価値がある。汎用的な賢さより、自分が使いたいタスクでの精度を見る目線が、これから差になってくる。

Harvey Labsで特に参考になるのは、ベンチマーク項目そのものだ。「AIに何をテストしているか」を読めば、逆に「AIが今どこで詰まりやすいか」がわかる。

公式リポジトリ（https://github.com/harveyai/harvey-labs）はPythonで書かれており、タスクの定義・評価ロジック・スコアリングの仕組みを確認できる。コードが読めなくても、READMEやタスク一覧のファイルを眺めるだけで「法律AIが何をできると主張しているか」「どこが難しいとされているか」の感覚が掴める。

法律業務に直接関係がなくても、このアプローチは応用できる。たとえば自分がAIを使っている業務に置き換えて、「自分なりのテスト問題を3問作ってみる」だけでも、ツール選定の精度が上がる。「このAIは使える」の判断を、感覚ではなく自分なりの基準で行えるようになるのが目標だ。