ASADASHI
動画フレームをAIに渡すミニチュア紙工作のジオラマシーン
バイブコーディング2026.07.07·読了 2·難易度: ふつう

Claudeに動画を「見せる」ツールが話題

動画フレームをAIに渡すミニチュア紙工作のジオラマシーン

朝の出汁版(通勤2分)

  • ポイント1: GitHubで4,000スター超えのOSSツール「claude-video」が公開され、動画URLを渡すだけでダウンロード・フレーム抽出・文字起こしをまとめてClaudeに渡せるようになった。
  • ポイント2: 動画広告やYouTube競合調査・インタビュー動画の要約など、これまでテキストや画像でしかAIに投げられなかった作業が、動画ごと投げ込む形に切り替えられる点が注目どころ。
  • ポイント3: GitHubのREADMEにPythonでの導入手順が記載されているので、Pythonが多少触れる人なら `/watch [URL]` のコマンド一本から試し始められる。

出汁の素(深読みモード)

動画URLを渡すだけでClaudeが内容を読む仕組み

GitHubで4,000スター超えを記録しているOSSツール「claude-video」は、動画URLを引数として渡すと、ダウンロード・フレーム抽出・音声文字起こしの3工程を自動でこなし、その結果をまとめてClaudeに渡す仕組みになっています。使う側がやることは /watch [URL] のコマンド一本だけです。

これまでClaudeをはじめとするテキスト系AIに動画の内容を分析させようとすると、スクリーンショットを手動で切り出したり、文字起こしを別ツールで用意したりと、「AI本体に投げる前の準備」に手間がかかっていました。claude-videoはそのパイプライン全体をスクリプト一本に集約した点が評価されています。

技術スタックはPythonで、READMEにはセットアップ手順が記載されています。Pythonが多少触れる人であれば、ライブラリのインストールからコマンド実行まで一通りたどれる構成です。

動画広告・競合調査・インタビュー要約、使い道はどこにある

このツールが面白いのは、「動画」という媒体の扱い方を変えてくれる点です。たとえばこういった使い道が現実的なラインとして考えられます。

競合の動画広告を解析する:YouTubeやSNSに公開されている競合のプロモーション動画を流し込んで、訴求ポイント・構成・キーメッセージをテキストとして取り出す使い方です。これまでは再生しながらメモを取るか、別途文字起こしサービスを挟む手間がありました。

インタビュー動画を要約する:収録したインタビューやウェビナーの録画を渡して、発言内容の要点や発言者ごとの論点整理に使えます。テキスト化してからAIに投げるという二度手間がなくなります。

自分が作った動画のセルフレビュー:YouTubeに投稿する前の動画や、プレゼン録画を渡して、話の構成に抜け漏れがないか・メッセージが伝わっているかを確認するチェックツールとして使う方法もあります。

共通しているのは「動画の中にある情報をテキストの扱いに変換する」という発想で、AIへの投げ込み口を広げるための前処理ツールとして機能します。NotebookLMが資料を60秒動画に自動変換するなど、動画とAIの接点が広がっている流れの中で、入力側の整備が追いついてきたイメージです。

Pythonなしで試す場合・ありで試す場合の分岐点

カテゴリがdevのため、コードを書く・書かないで試し方が変わります。

Pythonを触らずに近いことをする場合:動画の文字起こし単体であれば、YouTubeの自動字幕をテキストで取り出してClaudeに貼る方法や、MacのWhisperアプリ、あるいはAssemblyAIなどのAPIを使う手段があります。フレーム抽出なしでよければ、この経路のほうが手軽です。

Pythonが書ける・触れる場合:claude-videoの本領は「フレーム抽出+文字起こし+Claudeへの受け渡しを一本化している」点なので、コードが読める人は動作確認後にプロンプト部分をカスタマイズできます。たとえばClaudeへの指示を「動画広告の構成を分解して」「話し手の主張を時系列で整理して」などに固定しておけば、繰り返し作業のテンプレートとして機能します。

注目したいのは、OpenAIがClaudeのコードレビュー連携プラグイン(codex-plugin-cc)を公開するなど、AI間の連携が当たり前になりつつある今、「入力をどう整えるか」というパイプライン設計の重要性が増しているということです。claude-videoはその一例として、動画という非テキスト情報をAIに投げる入口を整備するツールとして位置づけられます。

今すぐ試す最初の一手

触りたい人はGitHubリポジトリ(https://github.com/bradautomates/claude-video)からREADMEを確認するところから始まります。

手順の大まかな流れはこうです。

  1. リポジトリをクローンまたはZIPでダウンロード
  2. 必要なPythonライブラリをインストール(READMEに記載)
  3. Claude APIキーを環境変数に設定
  4. /watch [動画URL] を実行

はじめて試すなら、自分がすでに内容を把握している動画(自分で撮ったものや、内容を知っているYouTube動画)を使うのがおすすめです。出力結果が正確かどうかを判断しやすくなります。

Pythonの環境構築が初めての場合は、ターミナルで複数AIエージェントを束ねるツールの記事でも触れたように、まずPythonの動作確認から入るのが現実的なスタートラインです。

ClaudeのAPIキーはAnthropic公式(https://console.anthropic.com)から取得できます。無料枠での利用も可能ですが、動画の長さによってはトークン消費が増えるため、まずは短い動画(2〜3分程度)で動作を確かめる方が費用の見通しが立てやすいです。

フレーム抽出とClaudeのビジョン機能を組み合わせる先

claude-videoの仕組みを理解した上で踏み込むなら、フレーム抽出部分とClaudeのビジョン機能(画像入力)の連携に注目する価値があります。ドキュメントを読むと、このツールは動画から一定間隔でフレームを静止画として切り出し、それをClaudeのマルチモーダル入力として渡す構成になっています。

つまり「どのくらいの間隔でフレームを取るか」を調整することで、処理コストと情報密度のバランスを変えられます。テロップやスライド中心の動画であれば粗いフレームレートで十分ですし、視覚的な変化が多い動画広告であれば細かく取ったほうが情報が落ちにくくなります。

このあたりのパラメータを調整するには、ソースコードを直接編集することになります。Pythonが書ける人であれば、用途に合わせてチューニングした自前のパイプラインに育てていく起点として使えるリポジトリです。ブラウザをAIが操作する時代、3つの動きを整理でも触れた「AIへの入力をどう設計するか」という問いと根本的に同じ課題感がここにもあります。

参照ソース