26MBのAIが関数呼び出しをこなす時代

cactus-computeが公開した「needle」は、わずか2600万パラメータという超軽量モデルでありながら、関数呼び出し（function calling）を実行できると発表されている。

関数呼び出しとは、AIがユーザーの指示を受け取って「この処理はこのツールに渡せ」と判断し、外部のAPIや処理系に命令を投げる仕組みのこと。ChatGPTやClaudeがプラグインやツールを呼び出すときに裏で走っているあの仕組みと同じ構造です。

これまでこの機能を実現するには、GPT-4クラスの巨大モデルか、少なくとも7B〜13Bパラメータ規模のローカルモデルが必要とされていた。needleの26Mという数字はその100分の1以下。モデルサイズでいえば、画像一枚分にも満たない領域です。

公式リポジトリの説明によると、スマートフォンや組み込みデバイスのような「信じられないほど小さなデバイス」での動作を想定して設計されており、クラウドAPIへの依存なしにエッジ側でエージェント的な処理を完結させることを目指しています。

これまでAIエージェントの構成を考えるとき、ほぼ必ずクラウドAPIが前提にあった。OpenAIやAnthropicのAPIを叩いて推論させ、その結果をもとに次のアクションを決める。そのためには通信が必要で、APIコストが発生し、レイテンシの問題もついて回る。

needleが示しているのは、「推論の中核をデバイス側に置く」という別の設計思想です。ツール連携の判断ロジックをオンデバイスで処理できるなら、ネットワークが不安定な環境でも動き、通信コストが発生せず、入力データをクラウドに送らずに済む。

以前紹介したAIエージェントに「危険操作」をさせない仕組みでも触れたように、エージェントがどのツールをどう呼ぶかをコントロールする仕組みは設計上の核心です。その判断ロジック自体がデバイス上で動くようになると、セキュリティやプライバシーの文脈でも考え方が変わってくる。

現時点でneedleがどこまでの複雑な指示に対応できるかは、リポジトリのデモやコード例を読んで判断する必要があります。ただ方向性としては、「大きいモデルを使えば何でもできる」から「用途に合わせて小さく賢く切り出す」という流れが加速しているのは確かです。