工場のAIアシスタント、小型化でも品質を保つ仕組みが登場

社内マニュアルや機器ドキュメントをAIに読ませて質問応答させる構成、いわゆるRAG（検索拡張生成）を組み合わせた場合、モデルのパラメータ数と回答品質が比例しなくなることが論文で示された。

通常、モデルを小型化（構造的な圧縮）すると一般的な能力はほぼ線形に落ちる。ところがRAGを組み込んだ状態で評価すると、品質の低下曲線がフラットになる。要するに、社内資料を参照させる前提であれば、小型モデルでも十分に戦える場合があるということだ。

使う側として押さえたいのは、「どのモデルが賢いか」という軸だけで選定を進めると、現場用途では判断を誤る可能性があるという点。RAGありの構成で評価した場合の品質を基準に選ぶ必要がある。これは、クラウド上の大規模モデルをAPIで叩く構成だけでなく、ローカルやオンプレで動かす構成を検討している人にとって特に重要な視点になる。

今回の論文が対象にしたのは工場の現場という特殊な環境だが、仕組みそのものは汎用的だ。研究では「サンドイッチ式蒸留」と呼ばれる手法を使い、小型化で失った回答品質をRAGを活用した再調整で回収している。数字で言うと、圧縮によって生じた品質低下のおよそ3分の2を取り戻せることが確認されている。

注目したいのは、このアプローチが単なる「小さいモデルでも使えます」という話ではなく、デプロイ先のハードウェア（メモリ、消費電力、処理速度）に合わせて最適なモデルのサブネットワークを選ぶ「選定の問題」として再定義されている点だ。サイズだけ、速度だけ、品質だけを最適化しようとすると他の要素を犠牲にしてしまう。複数の制約を同時に扱う設計が求められる。

日本の文脈に置き換えると、工場や倉庫の現場タブレット、店舗のPOSに付随した小型端末、あるいはオフラインで動かしたい業務用アプリなど、「クラウドに投げられない・投げたくない」シナリオがこの論文の射程に入る。社内情報を外部サーバに送りたくない場合のローカルRAG構成とも相性が良い。