動画生成プロンプトの考察（I2V、R2Vモード）③

本当は、こちら（Reference To Video）モードについて時間を割くべきところが、動画生成モードを概観したため、最もポピュラーなImage To Video モードに触れざるを得ませんでした。

本題に移ります。

コラム①で紹介したうち、grok-imagine-video APIでは

① Text To Video

② Image To Video

③Reference To Video

3つのモードが利用できます。

grok-imagine-video APIの仕様では、プロンプトの長さの上限が4096バイトと決まっていて、日本語で書くとろくに記述ができないまま文字数超過でエラーとなってしまうため、プロンプトは英語で記述しております。プロンプト英語は独特なので読みづらいので本当は日本語で描きたいのですがこのような事情で慣れない英語のスクリプトを使うことになっています。

まずは動画をご覧ください。

この動画は、Reference To Videoモードで、 画像6枚を用い、音声はプリセット（登録音声）を使用して作成しました。

Reference To Video モードは、大体の動画生成AIで利用できるようですが、画像の参照枚数が増えてコストがかさむ、参照画像を準備するのが大変など、

手間ひまがかかりますが、先程のImage To Videoでは表現できないような、このような大胆で斬新な表現が可能です。

ただし、プロンプトの記述に慣れるまでに練習と試行錯誤を重ねないとプロンプトの設計通りの動きをしてくれません。

前回のコラムでご紹介した動画

Grok Imagine API 動画生成 支援ツール 発売！ 動画の作成過程を公開します！④

こちらもReference To Videoモードで、画像4枚を参照して生成していましたが、スクリプトの再現度が非常に低かった、設計通りの動きをしていなかったのです。テイクを重ねた中で、映像として成立したものをサンプルとして上げた、というのが実態です。

Reference To Video モードは、名前の通り画像は参照しかしません。しかも、Image To Video モードのように、1枚目の画像が開始時の画像にはなりません。

Reference To Video モードで決まっているのは動画の長さだけ。仮に10秒の長さだとすれば、開始から終了の10秒の間に参照画像が漂っているようなイメージです。つまり、Image To Videoは参照画像は開始画面（1枚）か、開始と終了（2枚）かというふうに時間軸とリンクしてるので、

2.1秒：席に座る

4.5秒：あくびをする

このようなタイムライン方式のシナリオの書き方がAIにも理解されやすかったのですが、Reference To Video モードはタイムラインで動作を固定するという概念が通用しません。確定してる時間は動画の尺だけ。動画の開始から終わりまでの人物や構図の因果関係を時系列順でつなぎながら記述し、AIがその記述と参照画像の映像の中身を確認して尺の長さに合わせて生成を調整しているというのがReference To Video の生成の実態だったということで、そのAIの生成機序に一番あったプロンプトの最初の書き方が出来たのがこの映像でした。

プロンプトについては、今回は大人の事情でまだお見せ出来ないのですが、Image To Video モードや前回コラムで説明したような「タイムライン方式」ではありません。プロンプトには時刻の指定は一切入っていないのです。

タイムライン方式のように時刻と動作を紐づけるのではなく、描写と参照画像が紐づくのがReference To Videoの生成原理なのです。

結論だけ言ってしまうと、タイムライン方式で書かれたプロンプトでは、Reference To Videoモードでほとんど機能しないという事です。

Reference To Video モードは、マルチモーダルな参照形態になります。

grok-imagine-video APIでは、画像と音声プリセット、Seedance2.5では画像、音声、動画を参照でき、それぞれにタグを付与して、タグを自在に記述することによって参照画像と描写の紐づけをおこなっています。

つまり、描写にマッチした参照画像でないと、AIは画像を参照してくれないのです。

そこで、動画の制作工程を一部改め、AIがちゃんと参照してくれる参照画像づくりから始めることにしました。

参照画像づくりに威力を発揮してくれたのが、これらのツールです。

先日お話してましたように、GPT-image API（GPT-image-2対応）と、Grok-imagine-image APIの2つのツールによって、4k/2kサイズの大きさに4枚/6枚の異なるシーンを単一生成することで、画像の同一性を保った品質の高い参照画像を作ることができるようになりました。

これは今回の動画の参照画像をGPT-image-2で生成したものです。（2880×2880）各画像を正確に生成するため、1枚あたりのプロンプト量が増え、相当な長さのプロンプトになりましたが、GPT-image-2は文字数制限が32000字と桁違いに多いので安心して6枚生成が行なえます。ただし、GPT-image-2の画像参照モード（Image To Image）はモデレーションのハードルが高く、しばしばモデレーションエラーで生成できず、Grok-imagine-image APIを使うこともありました。

（Grok-imagine-image APIにて作画、4/8）

Grok-imagine-image APIの場合、モデレーションは厳しくないのですが、プロンプトの文字数制限がネックとなり、2Kというサイズの制約もあって4枚の同時生成が限度のようで、上記の画像は8枚必要だったので2回に分けて生成せざるを得ませんでした。2度に分けても参照画像の質が落ちないよう色々工夫を重ね、GPT-imageとGrok-imagineでお互いの短所を補いながら参照画像が作れるようになりました。

まだ試行錯誤をしているところがありしっかりした再現性が確認できるようになれば皆様に何らかの形でご提供できればと考えております。

というわけで、Reference To Video モードで鍵となるのが良質な参照画像だったということでした。

Reference To Video モードで苦労されてる皆様にはAPIでの画像生成をおすすめしたいと思います。