動画生成プロンプトの考察(I2V、R2Vモード)②

動画生成プロンプトの考察(I2V、R2Vモード)②

コンテンツ
IT・テクノロジー
(つづき)

今回の使用ツール「grok_imagine_video_1.5 Creation」

(チャットボットの回答)

習作13.I2Vイメージ動画スクリプト.png
スクリプト(英文)
習作13.I2Vイメージ動画スクリプト(日本語訳).png
スクリプト(日本語:Google翻訳を使用)

チャットボットには、スクリプト記述の依頼の際に、使用するノートブックを参照させています。このことで、チャットボットにgrok_imagine_video_1_5_Creationというツールを使って、grok-imagine-video APIで動画を作ります、ということを理解してもらい、grok-imagine-video API 特有のスクリプトの記述方法(タグ)などを正しい書式で書いてもらっています。

注1 タグ:スクリプト中に参照画像を指示したい場合、参照画像に対応するタグ名"<IMAGE_1>"(今回はImage To Videoで1枚のみ)で指定する。

注2 grok-imagine-video APIは、ナチュラル音声、リップシンクに対応しています。
音声の発生のさせ方:①:音声プリセットを(音声音源)使用する
(Reference To Video モード専用)
②:声色などをスクリプトに直接記述。
今回はImage To Video モードで音声プリセットが使えないため、この女性モデル専用の音声データ(テキストファイル)を参照させます。

オリジナル音源Mio.png
(音声情報「Mio_Voice_V1.txt」の中身)
オリジナル音源Mio(日本語).png
(日本語訳)

これで、

・参照画像:<IMAGE_1>:generated_20260908_062129_042396_1_99.27.png
・音声データ:「Mio_Voice_V1.txt」
・生成スクリプト

動画を作る素材が揃いました。
それではツールに移動して動画の生成をします。

(別に、人物に話をさせる必要がなければ音声情報は必要ありません今回はAIの機能説明も兼ねて発生してもらいます。)
(BGMも毎回同じテーマソングを流したいときなどは、BGMの記述部分だけテキストファイルにしてファイル参照させることも出来ます。)

ツールgrok_imagine_video_1_5_Creationの操作>

ジュピターファイル・アイコン.png

Colabのホームページからアップロードします。
(ただクリックするとVSコードが開きます。)

1. セル0(コメントセル)_待機画面.png
「grok_imagine_video_1_5_Creation」をColabで開いた画面
先頭に簡単な利用ガイドが載っている。

タイトルなし.png

チャットボットが、プロンプトと一緒にツールの操作手順まで表示してくれました。
書かれているとおりにノートブックを操作します。
(セル4でファイルをアップロード)
(今回はチャットボットが作った本文はテキストファイルにし、アップロードして音声データと一緒に登録)


はい、生成できました。
5分もかかりません。

習作13・生成結果.png
(セル13の実行結果。使用したテキストや画像ファイル、生成コストなどわかり、記録として残しておくのが良いと思います。)

こちらが生成画像です。フレームレートを24から48fpsに上げてあります。

ご覧になっていかがでしたでしょうか?

選んだ1枚が最初から正面を向いて、BGMも途切れずに終始流れ、英語になっちゃいましたがしっかり語りかけてくれました。(プロンプトも英語で喋る内容になっていた笑)

元のシナリオに対してもほぼ忠実に再現されていたようで、Take1 1回で完成となりました。

画像1枚によるImage To Video モードでの画像生成は開始0秒の画像が固定されているので、タイムライン方式のシナリオに追従しやすく、初心者でも描きやすいので、まずはImage To Video モード+参照画像1枚で、シナリオの書き方を覚えていただくと良いと思います。


長い前フリになってしまいましたが、次からが本題です。

(つづく)
サービス数40万件のスキルマーケット、あなたにぴったりのサービスを探す