視線データでドライバーの疲労をリアルタイム検知
朝の出汁版（通勤2分）
- 目の動きや瞬きのデータから「今、脳にどれだけ負荷がかかっているか」をリアルタイムで推定するAIフレームワーク「MambaGaze」が発表された。
- 注目したいのは、瞬きや追跡失敗による欠損データを「欠けていること自体」として学習に組み込む設計で、現実のノイズに強い点。精度は既存モデルを4〜12ポイント上回り、低消費電力の小型ボード上でも毎秒43〜68フレームの推論が可能と報告されている。
- ドライバー監視や作業者の集中度モニタリングに応用を考えている人は、論文（arxiv: 2605.22775）とあわせてNVIDIA Jetsonでの実装例を参照するところから入るのがおすすめ。
出汁の素（深読みモード）
これって結局どういうこと？
視線の動きや瞬きのデータから「今、脳にどれだけ負荷がかかっているか」をリアルタイムで推定するAIフレームワーク「MambaGaze」が発表された（arxiv: 2605.22775）。
要は「目の動きを見るだけで、その人が集中しているか疲れているかを機械が判断できる」ということ。ドライバーの居眠り検知や、工場・航空管制室など安全が求められる現場での作業者モニタリングが主な想定用途だ。
従来のこの種のシステムが苦手としていたのが「まばたきや追跡ミスによるデータの欠け」。MambaGazeはその欠落を「ノイズとして除外する」のではなく、「欠けていること自体を情報として学習に組み込む」設計を採用している。精度は既存モデルを4〜12ポイント上回り、小型の組み込みボード上でも毎秒43〜68フレームの推論が動くとされている。
なぜこのタイミングで重要？
この研究が興味深いのは、精度の向上だけでなく「現実のノイズとの向き合い方」にある。
AIを使った生体センシング系のプロジェクトで最初につまずくのが、「きれいなデータが取れない」問題だ。視線追跡であれば、まばたき・カメラの角度・外光の影響で欠損が頻発する。従来のモデルはこれを前処理で補完・除外していたが、MambaGazeが採用した「XMDエンコーディング」は欠損のパターン自体をモデルに教える。発表内容を読むと、これにより実環境でのロバスト性が大きく改善されている。
もう一つのポイントが計算効率。Transformerベースのモデルは時系列が長くなると計算コストが二乗で増えるため、リアルタイム処理との相性が悪かった。MambaGazeが採用する「双方向Mamba-2」は線形の計算量で長期依存を捉えられる構造で、NVIDIA Jetson（小型・低消費電力のエッジAIボード）での動作を前提に設計されている。消費電力は7.5W以下と報告されており、ウェアラブル用途への展開も視野に入る。
心拍センサーで「脳の疲れ」をリアルタイム検知でも触れたように、生体信号からの認知負荷推定はここ数カ月で急速に実用段階へ近づいている。心拍と視線、複数のセンサーを組み合わせるマルチモーダルなアプローチも、今後の論文で増えてくる可能性が高い。
具体的に始めるなら
まずアーキテクチャを把握したい人へ
論文本体（arxiv: 2605.22775）のFigure 1〜2がシステム全体像をつかむのに最もわかりやすい。「XMDエンコーディング」「双方向Mamba-2」の2つのコンポーネントがどう繋がっているかを把握するだけで、このフレームワークの設計思想が見えてくる。英語が苦手な場合はDeepLやNotebookLMに論文PDFを投げてサマリーを取るところから入ると早い。
実装に踏み込みたい人へ
論文に記載されているデータセットは「CLARE」と「CL-Drive」の2つ。どちらも公開データセットであり、CL-Driveはドライバーの認知負荷タスクを収録した視線追跡データで検索するとアクセスできる。自前のデータで試す前に、まずこのデータセット上でベースラインと比較してみるのが現実的なスタート地点だ。
エッジ実装まで視野に入れている人へ
NVIDIA Jetsonシリーズは秋葉原や通販で入手できる組み込みAIボード。JetsonNano（旧世代・安価）からJetson Orin NXまで複数の選択肢がある。論文ではJetsonプラットフォームでの実装例が示されているため、ハードウェア選定の参考になる。まずはクラウドのGPU環境（Google ColabのT4インスタンスなど無料枠あり）でモデルの動作確認をしてから、エッジ移植を検討する順番が効率的だ。
自分のユースケースに照らして考えたい人へ
「視線追跡センサーが手元にない」という場合でも、このフレームワークの設計思想（欠損を情報として扱う）は時系列センサーデータ全般に応用できる考え方だ。手元に心拍・加速度・音声などの欠損込みの時系列データがある場合、XMDエンコーディングの考え方を自分のモデルに取り入れる参考になる。
よくある疑問
Q. 視線追跡センサーは何を使えばいい？
論文ではTobii系のアイトラッカーを想定した実験環境が多い。業務用途ではTobii Proシリーズが代表的だが高価（数十万円〜）。開発・研究用途なら比較的安価なGazepointやWebGazer.js（Webカメラ使用）も選択肢に入る。ただし安価なデバイスほどデータの欠損率が上がるため、むしろMambaGazeのような欠損対応設計のモデルとの親和性は高いと言える。
Q. リアルタイム推論に必要なスペックは？
発表内容によると、NVIDIA Jetson Orin NXで43〜68FPS、消費電力7.5W以下での動作が確認されている。PCであればエントリークラスのGPU（RTX 3060以上）があれば余裕を持って動作すると考えられる。CPUのみの環境ではフレームレートが大きく落ちる可能性があり、リアルタイム用途には向かない。
Q. 日本語のドキュメントや実装例はある？
現時点では論文（英語）が一次情報のすべてで、公式リポジトリや日本語解説は確認できない。ただしMambaアーキテクチャ自体はGitHubに複数の実装例があり（state-spaces/mambaなど）、日本語の技術解説記事も増えている。MambaGaze固有の実装を試すには、論文の付録に記載されている実装詳細を読み解く必要がある。
もう一歩踏み込みたい人へ
MambaGazeの核心であるXMDエンコーディングは、時系列の各タイムステップに「観測マスク（その時刻にデータがあるかどうか）」と「直前の有効観測からの経過時間（Δt）」を付加する手法だ。これはもともと医療系の不規則サンプリング時系列（例：患者ごとに採血タイミングが異なるEHRデータ）で使われてきたアイデアを視線データに適用したもので、GRU-DやTransformer系の欠損対応手法と同系統の発想に位置付けられる。
双方向Mamba-2については、state-spaces/mambaリポジトリ（GitHub）が実装の出発点になる。双方向化のラッパーは比較的シンプルに実装できるため、PyTorchに慣れていれば論文の記述を参考に自前で組むことも現実的な範囲だ。
応用として面白いのは、視線データ以外の欠損が多い時系列センサーへの転用。加速度センサー・筋電図・脳波（EEG）など、ウェアラブルデバイス特有のノイズ問題を抱えるドメインで同じアーキテクチャが有効になる可能性がある。論文が使用したCL-Driveデータセットはドライバー文脈だが、CLARE（教育・学習場面での認知負荷）は別の応用文脈であり、両方を読み比べると設計の汎用性が見えてくる。論文中の実験セクション（Section 4）にハイパーパラメータの詳細も記載されているため、再現実装の際の参考になる。
参照ソース
- [GitHub]666ghj/MiroFish→ github.com/666ghj/MiroFish
- [ArXiv]MambaGaze: Bidirectional Mamba with Explicit Missing Data Modeling for Cognitive Load Assessment from Eye-Gaze Tracking Data→ arxiv.org/abs/2605.22775v1
- [ArXiv]SDPM: Survival Diffusion Probabilistic Model for Continuous-Time Survival Analysis→ arxiv.org/abs/2605.22776v1