SeaArtに新しいAI動画生成ツールが追加されました
SeaArtにimage-to-videoのAI動画生成ツールが追加されました。
それ用の動画生成プロンプトの書き方を解説します。
＊text-to-videoも追加予定のようですが、まだありません。
今までもStable Diffusion SD1.5で作成した画像を動画化する機能はありましたが、画像生成時に動画用のプロンプトを記載しないと上手く動かない、などちょっと面倒でした。
それではさっそくプロンプトの書き方を見てみましょう。
プロンプトの書き方
プロンプトの書き方の基本はこんな感じです。
- 全体の動き
- 主役の動き＋主役のパーツごとの動き
- サブキャラの動き＋サブキャラのパーツごとの動き
- 背景の動き
- 光の動き
- カメラワーク
ちなみにこれは固定カメラで主役を動かすことをメインに考えた構成です。
必要に応じて順番は変えてみるとよいでしょう。（カメラワークを2番目に入れるとか）
実際の動画プロンプト
これが「ハムスターコンサート」の動画プロンプトです。
Concert by hamsters,Hamsters singing while playing musical instruments,Audience hamsters moving their bodies to the rhythm of the performance,Guitar: natural guitar movement,natural movement of hands playing guitar,(Fluffy hamster's natural movements: natural whisker movements: natural facial expressions: natural mouth movements: natural eye movements: natural facial movements),nice cafe,(Studio lighting: natural lighting),(static camera: natural movement)
それでは一つずつ見ていきましょう。
全体の動き
まずは全体を説明します。タイトルをつけるような気持で書きましょう。
「ハムスターコンサート」
Concert by hamsters
AIに理解させることを最優先に、単語・ワンフレーズなどで記入することをお勧めします。
6秒の動画が生成されますが、おそらく3秒ぐらいに切り替えがあります。
3秒で動作が終了して静止画になることがあります。
それを防ぐために6秒維持できそうな内容にするか、主役やサブ、背景の動きを多めに記入して下さい。
主役の動き
メインで動かすキャラクターの動きを説明します。
「楽器を演奏しながら歌うハムスター」
Hamsters singing while playing musical instruments
「happy」や「relaxed」など雰囲気を入れる単語も入れるといいですね。
誰が・何をしてる、SV構文で記入すると良いでしょう。AIが理解しやすいように記入して下さい。
主役のパーツごとの動き
キャラクターの動きを説明します。
「(ふわふわハムスターの自然な動き:自然なヒゲの動き:自然な顔の表情:自然な口の動き:自然な目の動き:自然な顔の動き)」
(Fluffy hamster's natural movements: natural whisker movements: natural facial expressions: natural mouth movements: natural eye movements: natural facial movements)
大体ほとんど「自然な動き（natural movements）」です。
動かしたいパーツ全部記入して下さい。
サブキャラの動き
主役以外の動きがある物・キャラクターを全部説明します。
「演奏のリズムに合わせて体を動かす観客のハムスター」
Audience hamsters moving their bodies to the rhythm of the performance
「自然な動きをするギター」
Guitar: natural guitar movement
ギターは（）で纏め忘れました。
サブキャラのパーツごとの動き
観客もハムスターなので兼用しています。
(Fluffy hamster's natural movements: natural whisker movements: natural facial expressions: natural mouth movements: natural eye movements: natural facial movements)
ギターでは手を動かして弾いてもらうことを記入します
Guitar: natural guitar movement,natural movement of hands playing guitar
背景の動き
背景を説明して、動きを記入します。
今回は背景は動く必要がなかったので、背景の説明だけになっています。
nice cafe
光の動き
光の動きも指定します。通常はコピペで十分です。
「(スタジオ照明:自然照明)」
(Studio lighting: natural lighting)
カメラワーク
カメラワークは大切です。絶対記入して下さい。
「(静止カメラ: 自然な動き)」
(static camera: natural movement)
描画スタイルの指定
私は記入していませんでしたが、フォトリアル以外の画像（イラストなど）は描画スタイルを記入した方が上手く動く可能性があります。
上手く動かない画像例
今の所、動かし方がわかってない画像例です。
ファンタジー
Dog barking at the dragon, Dragon barking at the dog, flickering flame,
途中で止まってしまいました。
まずキャラクターや背景、物をAIが上手く理解できてないように思えます。
battle between dragon and black dog,Dog barking at the dragon,Dragon barking at the dog,(flickering flame: natural movement of flame),(Natural movements of a dog's limbs: Natural movements of a dog's tail: Natural movements of a dog's mouth: Natural barking movements),(Natural movements of the dragon: Natural movements of the dragon's wings: Natural movements of the dragon's mouth: Natural barking movements),natural lighting,(static camera: natural movement)
ちなみに細かく書いても静止画。
複雑に色が絡み合っている画像
Dragon swimming in a sea of ink, loop video, (splashes of ink water: natural movement of water), (natural movement of dragon: splashing water with hands: natural expression: natural eye movements),
(static camera: natural movement)
AIは色で判断していることが多いとよく思うのですが、カラフルで細かい柄の画像は動きがおかしくなります。
いかにも動かなさそうなキャラクター
There is a peacefully sleeping calico cat in the forest.
眠っている猫は眠り続けました。
参考リンク
Runwayでのキャラクターを躍らせるプロンプトを解説して下さってるNOTE記事です。
コメント