手ブレ動画から精密な3Dモデルを作る技術が登場

3D Gaussian Splatting（3DGS）は、複数視点の映像から3次元空間を再構成する技術で、近年急速に実用化が進んでいる。ただし従来手法には大きな前提条件があった。「フレームがある程度きれいに撮れていること」だ。手ブレ、ピンぼけ、露出ムラが混在する日常的な動画では、精度が大きく落ちていた。

この課題に正面から取り組んだのが、arXivで公開された論文「ClearGS」だ。スマホで撮った手持ち動画のように、フレームごとに品質がバラバラな映像を入力として、高品質な3Dモデルを生成することを目標にしている。発表内容を読むと、従来の「使えるフレームだけを選ぶ」という発想から、「粗いフレームも捨てずに活かす」という方向に設計思想が転換しているのがわかる。

ClearGSの核心は2つの仕組みにある。

1つ目が「信頼度ベースのビュー割り当て（RVA）」。従来手法では「使う／使わない」の二択でフレームを選別していたが、RVAは各フレームに対して「どれだけ信頼できるか」をスコアリングし、その重みを学習に反映させる。スコアの算出には、見た目の信頼性・劣化リスク・幾何学的な有用性の3軸が使われる。さらに、一度スコアが低くて抑制されたフレームも「弱い形で再活性化」することで、撮影軌跡のカバレッジを保つ設計になっている。

2つ目が「レンダリング誘導型のインビデオ修復（RIVR）」。重み付けしても、ブレや歪みで失われた情報は重みだけでは戻らない。そこでClearGSは、現在の3Dレンダリング結果をガイドとして使い、対応する生フレームをAIで修復する。修復後のフレーム・元フレーム・レンダリング結果を比較し、品質スコアで最良の候補を選ぶ仕組みだ。ここで使われる品質評価は「クリーンな参照画像なし」で動くのがポイントで、理想的な正解映像がなくても機能する。

ベンチマーク（GS2EおよびGSOTM）では、既存手法と比較してCLIP-IQA・MUSIQスコアの改善と、LPIPS（画質劣化指標）の低減を多くの条件下で達成している。

この技術が実用に近づくと、影響を受ける領域はいくつかある。

3D素材の制作コスト：現状、品質の高い3Dスキャンや3DGS生成には「きれいに撮れた映像」か「専用機材」が必要とされていた。ClearGSのような手法が実装ツールに組み込まれれば、スマホの手撮り素材がそのまま3Dアセット化できる可能性がある。

動画を素材として再利用する流れ：既存の映像アーカイブや、過去に何気なく撮った動画が3Dモデルの素材になるシナリオも視野に入ってくる。撮影品質のばらつきを後処理で吸収できるなら、素材の「使えるか使えないか」の基準が大きく変わる。

現時点の限界：論文段階であり、一般向けのツールとして公開されているわけではない。また、極端に品質が低いフレームへの対応や、長尺・複雑な動線の動画での性能については、継続的な検証が必要だ。