古典アーキテクチャが最新AIに並んだ

時系列分類の世界で、ちょっと面白い研究結果が出た。2022年に登場した自己教師あり学習モデル「TS2Vec」を、わずか160万パラメータのまま「一度学習すれば使い回せる基盤モデル」に改造したところ、現在の最先端モデル「MantisV2」と精度差わずか0.3ポイントに収まったというものだ。

ここ数年、時系列AIの世界でも「大きなTransformerを作る、パッチに分割してトークン化する、複数の中間層から特徴を抜く」という方向が主流になっていた。ところがTS2Vec-FMと名付けられたこの改造版は、そのどれも使っていない。注意機構（Attention）なし、パッチ分割なし、中間層抽出なし。膨張畳み込みという2010年代から存在する構造を使い続けている。

研究チームが行った変更は実質3つだけ。①合成データで事前学習する、②入力を「振れ幅の生信号」と「形状を正規化した信号」の二視点に分けて入力する、③それぞれの視点で学習した専門エンコーダを1つのエンコーダに蒸留する、以上だ。複雑さを足すのではなく、学習の設計を変えることで基盤モデル化を実現した点が興味深い。

この研究で実用的に注目したいのは「二視点入力」の設計だ。同じ時系列データを、そのまま（振れ幅＝振幅の情報を保つ）と、インスタンス正規化したもの（値の大小を消して形の変化だけを残す）の2種類に変換して同時に食わせている。

日本の文脈で言えば、売上推移データを「金額そのまま」と「増減パターンだけ」の2種類で見るイメージに近い。急増・急落などのパターンは形状視点から、絶対値の水準は振れ幅視点から学ぶという分業だ。

この発想は時系列に限らない。センサーログ、アクセス解析の時系列、在庫推移など、「値そのもの」と「変化のパターン」を切り分けて考えたいデータは多い。TS2Vec-FMそのものを使わなくても、前処理の段階でこの二視点を意識するだけで特徴量設計の質が変わりうる。

また、モデルが「凍結したまま（frozen）」でも高精度を出せた点も見逃せない。ファインチューニングなしで線形プロービング（最終層だけ学習）が機能するということは、手元のデータが少なくても転用しやすい構造になっているということだ。

以前の記事「AIエージェントが「正しく計算して間違える」理由」でも触れたように、モデルの構造そのものが推論の質を左右する。大きさで補うのではなく、設計で解決するアプローチが改めて注目されている。

TS2Vec-FMが示したことは、精度の話だけじゃない。160万パラメータという規模は、GPT系のモデルと比べると文字どおり桁が違う。それでも汎用的な時系列分類で最先端と肩を並べたという事実は、「どのデータにどのアーキテクチャが合うか」を改めて問い直すきっかけになる。

現在のAI開発の主流は「スケールを増やしてデータを増やせば汎用性が上がる」という方向に傾いている。それ自体は否定されていないが、TS2Vec-FMはその路線を選ばずに近い結果を出した。合成データで事前学習することでリアルな学習データを大量に必要とせず、変数長の入力をリサンプリングなしで受け付ける柔軟性も維持している。

「大規模モデルを使う」以外に「軽量・特化型を設計で仕上げる」という選択肢が有効だと示されたことは、自前でデータを持つ人間にとって判断材料になる。汎用LLMに時系列データを投げ込む前に、特化型の軽量アーキテクチャを検討する余地があるという話だ。