音声文字起こしのタイムズレを自動修正する新手法

Whisperをはじめとする現代の音声文字起こしモデルは、「いつしゃべったか」を示すタイムスタンプを文字と一緒に出力できる。ところが、インタビューの休憩、CMカット後の再開、Zoomの一時停止など「長い無音区間」が挟まると、出力テキスト自体は正確なのに時刻だけが徐々にズレていく現象が起きる。論文の言葉を借りれば「タイムスタンプが音声の実時間軸から離れていく（drift）」状態だ。

字幕ファイルを使い回す人、文字起こしに時刻情報を組み合わせて検索・インデックスを作っている人にとっては、地味に厄介な問題だ。テキストが読める以上エラーには見えないが、「34分12秒の発言」を参照しようとしても実際の動画位置と合わない——という状況が静かに起きる。

今回、Whisperなど15種類のASR・音声言語モデルを横断してこの問題を体系的に調査した論文「REDDIT」がarXivに公開された。研究者チームが独自のベンチマーク（無音ギャップあり・長ギャップありの2種類）を構築し、どのモデルがどの程度ズレるかを測定している。

時刻ズレを直そうとすれば、単純には「正しいタイムスタンプのデータでファインチューニングすればいい」という話になる。ところが論文が明らかにしたのは、この単純な方法では「カタストロフィック・フォーゲッティング（破滅的忘却）」——つまりタイムスタンプ以外の文字起こし精度が大きく落ちる——という副作用が生じるという事実だ。特定のバグを直そうとしてほかの機能が壊れる、という開発あるあるに似た構造が、モデル学習でも起きる。

REDDITはこれを2段階で回避する。第1段階では、モデル自身が「もし普通に出力したらこう書くだろう」という文脈（リプレイ）を活用しながら、タイムスタンプ部分のターゲットだけをこっそり書き換える形で学習させる。タイムスタンプ以外のトークンについては、元のモデルの出力分布に合わせることで既存能力を守る。第2段階は「編集済みプレフィックス」を使った短い追加調整だ。

注目すべきは人手コストの低さ。修正用の教師データは、人間が書いたトランスクリプトも人間によるタイムスタンプ注釈も使わず、VAD（音声区間検出）で切り出した音声と既知の連結オフセットから自動生成している。Whisper-tinyでの実験では、34.9時間分の音声データを使い、更新したパラメータはモデル全体のわずか1.6%。小さい改変で的を絞った修正ができている点が、実務的な観点で興味深い。

AIがドラマの「誰がしゃべったか」を聞き分ける時代へでも触れたように、音声AI分野はここ数ヶ月で「精度が高い」だけでなく「時間軸の扱いが正確か」という評価軸が重要になっている。タイムスタンプの信頼性はその延長線上にある。

実務でWhisperを使い込んでいる人が「自分ごと」として受け取れるかどうかは、用途次第だ。

まず直撃するのは、動画に字幕を自動生成して使い回しているケース。YouTubeのSRTファイルを手動で作る代わりにWhisper出力をそのまま使っている場合、長い無音（OPカット、BGM尺、場面転換）のあとからじわじわとタイムコードがズレはじめている可能性がある。視聴者がオフで字幕を確認するとセリフと映像が合わない、という状態だ。

次に議事録の時刻参照。「30分あたりの意思決定の箇所を再確認したい」という使い方をしていると、テキストはあっているのに該当シーンに飛べないという問題が出る。特に1時間超えの会議音声では影響が顕著になりやすい。

もう一つは音声インデックス・検索システムを自分で組んでいるケース。タイムスタンプをキーにして特定セリフに直接ジャンプする仕組みを作っているなら、ドリフトがそのまま検索精度の劣化になる。

なお、AIの限界は「賢さ」より「評価」にあるでも指摘されていたように、AIの出力品質の問題は「そもそも評価できているか」から始まる。今回の研究がベンチマーク自体を新たに構築した点は、問題の見える化という意味でも意義がある。