カテゴリー: comfyUI

アルパカの出現

「崖の上の家」には、新しい動物が訪ねてきて、動物園の様相を呈してきた。
映像の整合性を保つには、これが都合のいい成り行きの気がする。

ウォンバットもこんなふうに跳ねる動物ではなさそうだが、ファンタジーの世界ならば何でもありになる。

これは7月24日にアップロードした詩の朗読ファイル。

パンダたちのバーベキュー

だんだん当初の考えとは違ってきたが、イベントを積み重ねていってイメージに厚みが出るかもしれないとも思う。
崖の上の家の上から2段目の平地でバーベキューをやっているという設定。
Adobe Fireflyで画像を作って、それを元にビデオを作っている。
パンダが大所帯になっているが、平地のこぢんまりした感じが出ている。

これは16日にYouTubeにアップロードした朗読ファイル。

静止画からビデオへ

ComfyUIで静止画からビデオへというワークフローだと、画面の意図が拡散しないようで、これを使おうと思う。たぶん、あと数年もすれば生成容量も格段に上がるかもしれない。あるいはイノベーションが起きれば、1本の映画も生成できるようになるだろう。
下のはChatGPTで生成した画像だが、スイカを食べている様子をビデオにすることができる。

朗読のビデオは「障子絵」がもうじきで終わるところまできた。

オオサンショウウオを登場させようとしたが

崖の上の家の裏庭に、岩の間から水が流れていて、そこでパンダがオオサンショウウオと出会う、という流れにしようとした。生成AIはよくわからなかったようだ。焚火はすぐに反応する。

詩の朗読は、7月10日にYouTubeにアップロードしたもの。

動画生成の精度

昨日から長尺（といっても5～7秒）の動画を生成するようになって、なんとなくプロンプトを読み込むのがまとまってきたような感じがある。シチュエーションにあまり過剰な動きや関係を入れると、無視される指示があることがあるが、とにかくまとめようとする感じが出ている。

動きとして「屋根の上を滑って遊ぶ」ということを実現しようとした動画の一コマ。
犬まで屋根に上がってしまった。
まとまると、整然とした形になるが、ワイルドさがそがれる。

朗読のファイルは7日にアップロードしたもの。

高層ビルの上階の住まい

崖の上と住まいの位置は似たようなものだから、生成してみた。

シラサギがいることにしたら、部屋に入っていた。お握りは皿ライスのような感じ。
スイカが多すぎる。「1個なっている」というぐらいの指示でいいのかもしれない。
朗読のファイルは、7月4日にアップロードしたもの。

カボチャ

まだよくわかっていないが、生成AIのモデルによって作って映えるテーマがあるような気がしてきた。
今つかっているのを進めていくが、「崖の上の家」の場合の限られた空間で短い時間に活発な動きをさせて美しいという素材を考えて書き出すという感じでやってみる。 屋根の蔓にカボチャが成ったという描写をしたら、ハロウィンのカボチャのようなものになってしまった。

詩の朗読ファイルは7月1日にアップロードしたもの。

パソコン型置物？

「崖の上の家」ビデオを生成AIで作っていて、YouTubeのチャンネル内容の関係でパソコンを全面に出したほうがいいので、プロンプトでパソコンを置くように書いておいたら下のように外に置物のように設置された。
生成AIにしてみれば、唐突にパソコンを置く指示が理解できないのかもしれない。

多肉植物を屋根に生やす指示はよく実行できている。
上はビデオ画面をキャプチャしたもの。
下の詩の朗読ビデオは6月28日にアップロードしたもの。