Grok Imagine API 動画生成 支援ツール 発売！ 動画の作成過程を公開します！④

（③からのつづき）

動画の出来はいかがでしたでしょうか？

出来上がった動画は、人物が前方を進み（カメラは背後から）、撮影に気づき、振り返ってカメラ側に進行方向を変える、と言う流れでした。

問題点は、

・カメラの存在に気づいて「あ、撮ってた？」という部分のリップシンクが出来ていない。

この一点でした。

音声は出てたのに、口が動いてない。

映像の動きだけ見れば、かなり良い出来だと思っていました。

出来上がった動画をスクリプトを作成したAI（Grok）に読み込み、リップシンクの件を伝え、自己評価させました。

AI（Grok）は動画の内容も認識できるので、スクリプトが反映されたところとうまくいかなかったところを確認し、このような応答を返してきました。

こんな感じでTake2用のスクリプトを書いてきました。

Take2を生成したものの、リップシンクの部分は解消されず、Takeを重ねた結果...

・顔が小さく正面を向いていないときは、リップシンクさせるのはこのAIでは難しいらしい。

...というものでした。

ただし、今回の生成モードは「Reference To Video」であり、参照画像を1枚のみとし、その画像を動画の冒頭の画像として生成する「Image To Video」モードは違う動きをするかもしれません。

つまり、grok-imagine-video-1.5 APIでは、画像の参照モード（Text To Video、Image To Video、Reference To Video ）によって、スクリプトの書き方を変えないとスクリプトが正確に反映されない、という事です。

その後、Takeを重ね、冒頭（コラム①）に紹介した動画に落ち着きました（Take10）。

生成時のスクリプトを掲載します。

この映像でひとまず満足し、解像度を720p上げて生成した結果が以下の動画です（Take11）。

フレームレートを24fpsから48fpsに上げてあります。（フレームレート補完セルを搭載）

プロンプトは、「720p」以外変更していないのですが、どういうわけか、動画の途中で「お礼」みたいな動作が入り込み、お蔵入りとなりました。

480pで試作していても、720pに解像度を上げても同じような動きをしてくれるとは限らないようです。

本来なら、720pでTakeを重ねて完成版を作るべきだったのでしょうが、次回の課題ということにして、480pで解像度が低く大変残念ですが、Take10を完成版としてサービスページに掲載することとしました。

---

画像に比べ、動画は生成コストが高いので何本も作って検証するというのがなかなか大変です。

ただ、今回要求したシナリオ（設計）はかなり動きのある構成になっていて、AIもかなり頑張って生成してくれたのではないかと思います。

とても残念ですが、grok-imagine-video-1.5には「Video To Video」モードがありません。

一方、Seedance-2.5 APIやKling APIには「Video To Video」モードがあり、より高品質な動画が作れるのではと考えています。

当初、上位の動画生成AI用ツール開発（Video To Video 対応）の対象としてOpenAIのSoraを考えておりましたが、今月でサービスが終了となり、非常に残念です。

代替AIとして、Seedance-2.5 APIを利用できないかと考えました。ご存じの方も多いと思いますが、本家のModelArkで生成しようとすると、API版は登録された人物しか利用できない（モデレーション・エラーが発生する）という大きな壁があり、それを乗り越えられれば、サードパーティーのAPIよりずっと安い価格で動画生成が可能と考えており、鋭意調査をおこなっております。

Seedance-2.5 APIのModelArk版のツール（ジュピターファイル）はすでに完成しており、現在BytePlusと交渉をしております。

この「登録人物のみ利用可能」という制限がクリアになりましたら、ぜひ商品化したいと考えております。

---

grok-imagine-video-1.5 APIは、上位動画生成AIに対し、機能が限られているもののコスパは悪くなく、スクリプトを極めていくことでもっとスクリプトでしっかり制御できる可能性はあると考えています。特に、Image To Video モードは試験生成が1度しか無く、人物の固定度はReference To Videoよりもかなり高いような印象を持っています。

Image To Video モードで生成した動画はこちらになります。

サービスページでも掲載しております。

以上、新サービスのご紹介でした。

興味のある方はサービスページをご覧いただき、ご質問があればお送りいただければと思います。

ありがとうございました。