動画編集もAIにお任せ！Claude Codeを駆使した最新ポッドキャスト制作術(ep.67)

おちつきAIラジオ第67回（EP.067）／配信日: 2026.05.08／再生時間: 01:18:05

この回の概要

今回はAIエンジニアのしぶちょーが、Claude Codeの動画編集スキル「ビデオユース」を実際に試した結果を報告する回です。素材動画を渡すだけでフィラーカットや字幕付け、ショート動画の切り出しまでできるのか、そしてClaude Codeを使いこなす上で重要になる「ハーネスエンジニアリング」という考え方がわかります。さらに後半は、AIが作るコンテンツの価値や、AI発のアイドル・推し活の可能性まで話が広がります。

きっかけは、かねりんが数ヶ月前にSNSで見かけ、思わず引用リポストした投稿でした。Claude Codeで動画編集が全自動になるスキルが出たらしいという内容で、名前は「ビデオユース」。これはソフトウェアではなく、Claude Codeに対して「こう動いてください」という指示や使うべきツールを書いたテキストの塊で、GitHubにオープンソースとして公開されており、自分のパソコンに持ってくることでClaude Codeが同じ動きをしてくれる仕組みだと説明されました。

しぶちょーが中身を調べたところ、実際にやっていることは主に2つのツールの組み合わせでした。オープンソースの動画編集ソフトFFMPEGと、音声合成や文字起こしができるElevenLabsのAPIです。まず素材動画をElevenLabsでタイムスタンプ付きの文字起こしにし、フィラーや無音の部分の秒数を特定したうえで、その秒数を切ってねとFFMPEGに指示することでカット編集を行わせる流れです。文字起こしデータがあるため、話題の区切りを判断してダイジェスト版を作ったり、話題ごとに切り出してショート動画にすることもできると説明されました。

しぶちょーの結論は「使えなくはない」というもので、DaVinci Resolveのような本格編集には及ばないものの、カットだけで完結するビデオポッドキャストのような素材であれば十分実用に耐えるとのことでした。実際に5分程度のダイジェスト版や、冒頭に盛り上がり部分を差し込む構成、横長16対9の動画から顔をクロップして縦型ショートを作る作業などを試し、字幕の区切り位置がおかしい場合も自然言語で指摘すれば修正でき、設定を「おちつきAI用」として保存しておけば次回から同じ設定で使い回せることもわかりました。ElevenLabsは無料枠でまかなえる範囲であり、FFMPEGも無料のため、追加コストはClaude Codeの利用クレジット程度で済むとのことです。

しぶちょーはこのほかにも、Claude Codeを使った実験を紹介しました。一つは、運営するもう一つの番組「ものづくりの視点」向けに、RSSで毎日収集したものづくり系記事をNotionのデータベースに溜め、Claude Codeがそこから5本を選び、しぶちょー風の話し方を再現したスキルで原稿を書かせ、ElevenLabsで作った自分の声のクローンに読ませてMP3を自動生成するという、完全にAIだけで作るポッドキャストの取り組みです。もう一つは、撮影に失敗して顔の映像が残っていない収録回について、唯一残ったキャプチャー画像からアニメ調の画像を作り、Claude Codeとローカルの動画生成ソフトでリップシンクさせた口パク動画を作成する試みで、2時間の動画の生成に2時間ほどかかったと述べられました。

会話の中では「ハーネスエンジニアリング」という言葉も取り上げられました。プロンプトエンジニアリング、コンテキストエンジニアリングに続く考え方として紹介され、馬の手綱のように、AIエージェントにどのツールを使わせるか、どんなルールで動かすかという環境そのものを設計することを指します。Claude Codeのスキルや、ルールを定義するマークダウンファイルはこのハーネスの一種であり、AIの出力を安定させるために重要になっていくという見立てが語られました。

後半はやや脱線し、AIで代替できないものは何かという話から、AIアイドルやAITuberの可能性、推し活文化についての議論に発展しました。しぶちょーは、ニュース紹介のようなコンテンツはAIに代替されやすい一方、推し活のように人が特定の対象に感情移入していく文化は、意図的に設計されたものであればAIでも再現できるのではないかという仮説を口にし、実在のAI搭載アイドルがランキング上位に入っている事例や、過去に話題になったAI VTuberの例を挙げながら、人間らしい振る舞いを見せられれば人はAIにも感情移入しうるという見解で一致しました。

最後にかねりんは、Claude Codeを使い始めたことで自分の視点にも変化が出てきたと振り返り、しぶちょーも、実際に手を動かしてClaude Codeのスキルや環境設定を試してみることを勧めました。動画編集や音声合成といった具体的な作業を通じて、AIにできることとできないことの現在地を掴んでおくことが、今後コンテンツを作り続けるうえで重要だという考えが今回のまとめとして共有されました。

今回の要チェックキーワード

MuseTalk v1.5: 入力された音声データに合わせて、人物の口の動きを高精度かつ自然に同期させる（リップシンク）AI技術。
LivePortrait: 1枚の静止画（顔写真など）を元に、参照用動画の動きに合わせて表情や頭の向きをリアルに動かすことができるAIアニメーションモデル。
Claude Code: Anthropic社が提供する、開発者のターミナル上で直接動作し、自律的にコードの記述や修正を行うコマンドライン（CLI）AIツール。
FFmpeg: 動画や音声ファイルのフォーマット変換、切り出し、結合などの複雑な処理をコマンド操作で高速に行える、オープンソースの強力なソフトウェア。 —----------------------------

この回でわかること（Q&A）

Claude Codeの動画編集スキル「ビデオユース」とは何ですか？

GitHubにオープンソースで公開されている、Claude Codeに動画編集の手順を指示するテキストファイル（スキル）です。ソフトウェアそのものではなく、Claude Codeがこのスキルを読み込むことで、指示通りに動画のカットや字幕付けを行ってくれる仕組みです。

ビデオユースは実際どんな編集ができますか？

フィラーや無音部分の自動カット、字幕の自動挿入、話題ごとのダイジェスト版やショート動画の切り出し、16対9の動画から顔をクロップした縦型ショートの作成などができると紹介されました。DaVinci Resolveのような本格編集には及びませんが、カット中心のビデオポッドキャストなら十分実用的だと結論づけられています。

ビデオユースの仕組みはどうなっていますか？

ElevenLabsのAPIで素材動画をタイムスタンプ付きの文字起こしにし、フィラーや無音の秒数を特定します。そのうえでFFMPEGというオープンソースの動画編集ソフトに、特定した秒数を切るよう指示することでカット編集を実現しています。

ハーネスエンジニアリングとは何ですか？

プロンプトエンジニアリング、コンテキストエンジニアリングに続く考え方として紹介された用語で、AIエージェントが動く環境やルール、使えるツールを設計し、手綱を引くようにAIの動きをコントロールすることを指します。Claude Codeのスキルやルールを定義するマークダウンファイルもハーネスの一種として説明されました。

ビデオユースを使うのに追加費用はかかりますか？

ElevenLabsは無料枠の範囲で使え、FFMPEGもオープンソースで無料のため、追加でかかるのは基本的にClaude Codeの利用クレジット分のみだと説明されています。

この回を聴く

「おちつきAIラジオ」は、日々のAIトピックを現役のAIエンジニア（しぶちょー）と元刑事のポッドキャストプロデューサー（かねりん）がやさしく解説する対談番組です。