動画生成プロンプトの考察（I2V、R2Vモード）①

先日、新サービスである、Grok Imagine APIをかんたんに操作して動画が作れる「Grok・APIかんたん動画生成ツールを提供します」をリリースいたしました。

前回のコラムでは、テスト生成として作成した動画について、このツールを用いた作成の手順をご紹介しました。

動画生成のご経験のある方は、既に画像生成のご経験もあることと思います。

画像も動画も、作成のプロセスはそれほど難しくありません。

チャットボットでは、かんたんな文章でもAIが足りない情報を補って（補完して）何か画像を作ってくれます。ただし、自分が思い描いていた画像が生成されるとは限りません。

多くのAIユーザーがどのようなプロンプトを書けば思い通りの画像や動画ができるのか、と頭を悩ませています。

動画の場合、時間軸という要素も絡むため、動画生成用のスクリプトの作成は考慮する内容が多いです。

＜動画生成のプロンプトの特長＞

動画生成AIには、それぞれ「動画生成モード」があり、分類すると以下のようになります。

1.Text-to-Video（T2V）

・テキストだけから動画を生成。

・人物、場所、構図、動作、カメラワークなどを文章（プロンプト）で指定。

・自由度は高い反面、人物や衣装の固定性は弱め。

2.Image-to-Video（I2V）

・1枚の静止画を起点に動画化。

・元画像の人物・衣装・背景・構図を保ちながら、表情や身体、カメラを動かす。

・「この1枚を動かしたい」という用途に向く。

3.Start/End Frame-to-Video

・開始画像と終了画像の2枚を指定し、その間を動画生成。

・「AのポーズからBのポーズへ」など、始点・終点を拘束できる。

・モデルによっては First/Last Frame、Start/End Frame などと呼ばれる。

4.Reference-to-Video（R2V）／Multi-Reference Video

・複数の参照画像を与え、人物・衣装・物体・画風などを参照させて動画生成。

・単純なI2Vよりも、「同一人物を維持する」「複数の視点やキー画像を使う」用途に強い。

・ただし、3枚の画像を与えたからといって、それぞれが3秒・6秒・9秒に必ず出現するとは限らない点は重要です。

5.Video-to-Video（V2V）

・既存動画を入力して別の動画へ変換。

・人物差し替え、画風変更、背景変更、実写→アニメ化、動作を維持した外観変更など。

・元動画が持つモーションやカメラワークを利用できるのが特徴。

始めて動画を作成された方は、おそらくImage-to-Video（I2V）か、Start/End Frame-to-Videoで作成されたのではないでしょうか？

動画の開始時の画像（フレーム）を1つ（または2つ）決め、画像がその後どのように変化していくかシナリオ（プロンプト）を書いていきます。

通常は先に動画の長さを決めてから、動画長（尺）にあわせて画像の変化を時刻と同時に記述していくことが多いと思います。

私もそうなのですが、プランがない場合は、開始時の画面をAIに読ませて、

「この画像を開始画像に設定して、10秒の動画を作成します。画像の印象に合うシナリオを500字程度で3パターン提案して」みたいに指示します。

（プロンプト作成に使用した画像）

（チャットボットの回答）

1. ドラマチック・キャンドルナイト編（情緒的・ムーディー）

プロンプト案:

開始画像の女性。彼女は髪をそっとかき上げながら、正面のカメラを優しく見つめている。周囲の暖色のボケ光が柔らかく揺らめき、テーブルのキャンドルの火が優しくゆらゆらと揺れる。3秒目、彼女はフッと小さく微笑み、視線を少しだけ斜め下に落とす。6秒目、ゆっくりと顔をあげ、首を少し傾げながら再びこちらをじっと見つめる。カメラはゆっくりと彼女の表情へズームインしていく。極めて自然で滑らかなスローモーション、シネマティックなライティング。

2. ナイトビュー・ポートレート編（ナチュラル・透明感）

プロンプト案:

開始画像の女性。静かな夜の店内、彼女は片手で髪の毛を整えながら、物憂げな表情でカメラを見つめている。2秒目、背景のボケた街の灯りがキラキラと揺れ動く中、彼女は軽く息を吐き、視線を横の窓の外へと向ける。5秒目、誰かに話しかけられたかのようにハッとしてカメラの方へ視線を戻し、少し驚いたあとで魅惑的にふっと微笑む。髪が微風で柔らかく揺れる。高精細な実写スタイル、浅い被写界深度。

3. パーティー・グラマラス編（動き・躍動感）

プロンプト案:

開始画像の女性。華やかなパーティー会場。彼女は髪に手を添えた美しいポーズから、ゆっくりと体を起こし、カメラに向かって優しく目配せをする。4秒目、グラスを手にするように右手を差し出しながら、少し悪戯っぽく微笑む。背景ではシャンパンの泡や光の反射が美しく煌めいている。8秒目、カメラに向かって首をかしげ、秘密を共有するかのような表情を浮かべる。エレガントで洗練された映像美、リアルな質感。

AIが、3つのバリエーションを考えてくれました。この中から1つ選択します。

●ポイント

・3つとも「開始画像の女性」の描写をしっかり記述し、開始時の映像の詳細をAIに伝えようとしている。

・時刻を指定し、シーンの変化を記述する

（時刻を指示して構図の説明をするやり方を便宜上「タイムライン式シナリオ」と呼びます）

通常、このような質問をAIに投げると、AIはI2Vモードと思い込むのか、動画開始時を詳述し、画像情報とともに、動画生成の基本情報とし、そこから何秒後にどのような構図に変化させるか、というふうに、経過時刻とシーンを同期させるようなプロンプトを書きます。

今回は、3. パーティー・グラマラス編（動き・躍動感）で作ってみます。

（AIへの質問）

それでは、3. パーティー・グラマラス編（動き・躍動感）を採用します。

＜スクリプト2・動画生成スクリプト作成（Image To Video モード）＞

grok-imagine-video APIで、以下の条件の動画を生成します。

＜条件＞

・使用Notebook：grok_imagine_video_1_5_Creation_Master.ipynb

・生成モード：Image To Video

・人物：Mio （Sakura Mio）

・参照画像：1枚<IMAGE_1>：generated_20260908_062129_042396_1_99.27.png

・10秒間ずっと流れる映像に合った軽快でイケてるBGMを流す。

・オリジナル音声情報：「Mio_Voice_V1.txt」をセル7で登録する※

・10秒のうちの何処かのタイミングで4秒ほど映像に合ったフレーズをオリジナル音声で発話する。

・セル6は「Generate the video.」とする※※

・動画尺：10秒

・縦横比：2:3

・解像度：480p

・生成後、フレームレートを24から48fpsへ上げる処理をする

＜コア・シナリオ＞

開始画像の女性。華やかなパーティー会場。彼女は髪に手を添えた美しいポーズから、ゆっくりと体を起こし、カメラに向かって優しく目配せをする。4秒目、グラスを手にするように右手を差し出しながら、少し悪戯っぽく微笑む。背景ではシャンパンの泡や光の反射が美しく煌めいている。8秒目、カメラに向かって首をかしげ、秘密を共有するかのような表情を浮かべる。エレガントで洗練された映像美、リアルな質感。

------------------------------------------------------

コアシナリオを基に、grok-imagine-video APIで生成するのに最適な内容にリライトしてください。

多少文字制限数より多くても構わない。品質を確保するため十分記述する。

※使用Notebook内のセル７（テキストファイル参照処理部分）

※※使用Notebook内のセル6（生成プロンプトの入力処理部分）

（つづく）