Twinkle Stars

こんにちは。たつやです。

前回の『欠伸するねこ』では、txt2img + AnimateDiff を使って動画を作りました。Seed値を振ると、いろんな『欠伸するねこ』を生成することができます。

旅するプロンプトねこ

一方で、動画にしたい参照画像がある場合には、img2img + AnimateDiff で動画を作ることもできます。

試しに、きらきら星（Twinkle star）をいろんなモデルで生成してみました。

※動画のタイリングについては、記事末尾。

Xの記事でも書きましたが、モデルごとに表情が違って面白いですね。

プロンプトの工夫でもっとダイナミックな動きにもできると思います。

X

ちなみに、初期フレーム用の参照画像はこれです。

Inkscapeで描いたものです。

ComfyUIには、このような動画の初期画像だけでなく、キーフレームを柔軟に与える仕組みがあるので、そっちでもいろいろやりたいです。

FFmpegによる動画のタイリング

FFmpegの（オンライン）ドキュメントで、xstackについて探すと動画を行列状に配置する方法が説明してある。例示があるので、そのままコマンドを入力すればよい。

下記のコマンドは、Windowsのbatファイル向けに書いてあり、%1～%9が配置したい入力動画のファイルパスである。

ffmpeg -i %1 -i %2 -i %3 -i %4 -i %5 -i %6 -i %7 -i %8 -i %9 -filter_complex "xstack=inputs=9:layout=0_0|0_h0|0_h0+h1|w0_0|w0_h0|w0_h0+h1|w0+w3_0|w0+w3_h0|w0+w3_h0+h1" -c:v libx264 -crf 23 output.mp4