ComfyUIの公式テンプレートに、Wan Animate 2 Distilledのワークフローが追加されました。
以前公開したWan Animate 2の蒸留版で、用途は同じく画像に動画のモーションを反映できるものです。
この記事では、必要なモデルの配置から公式ワークフローの読み込み、実際の結果を紹介します。
Wan Animate 2 Distilledとは？
Wan Animate 2 Distilledは、動画の動きをキャラクター画像へ移すWan Animate 2の蒸留版モデルです。
ポーズ抽出やスケルトンの前処理を挟まず、動画のフレームから直接モーションを転写します。
参照したキャラクターの見た目は保ったまま、背景とカメラの動きはテキストプロンプトから新しく作られる仕組み。
ベースは通常版のWan Animate 2で、それを蒸留して効率よく生成できるようにしたのがこのDistilled版です。
通常版のWan Animate 2については、こちらの記事でまとめています。
主な特徴
- ポーズ抽出やスケルトンの前処理なしで、動画フレームから直接モーションを転写する
- 参照キャラクターの同一性を保ったまま動かせる
- 背景とカメラワークはテキストプロンプトから新しく生成される
- 蒸留版のため、高い再現性を保ちつつ効率よく生成できる
- モーション転写、アクションの模倣、キャラクターの差し替えといった用途に向く
ライセンス
ComfyUI向けに再パッケージされたモデルファイルは、Comfy-OrgのHugging Faceリポジトリでapache-2.0として配布されています。
モデルの配置
ComfyUI本体の導入がまだであれば、こちらの記事を参考にしてください。
この公式ワークフローが読み込むモデルは4つあり、以下のファイルをそれぞれのフォルダへ入れます。
| 種類 | ファイル名 | 配置先 |
|---|---|---|
| 拡散モデル | wan_animate_2_distill_int8_convrot.safetensors | ComfyUI/models/diffusion_models/ |
| テキストエンコーダ | umt5_xxl_fp8_e4m3fn_scaled.safetensors | ComfyUI/models/text_encoders/ |
| CLIP Vision | clip_vision_h.safetensors | ComfyUI/models/clip_vision/ |
| VAE | Wan2_1_VAE_bf16.safetensors | ComfyUI/models/vae/ |
ComfyUI/
└── models/
├── clip_vision/
│ └── clip_vision_h.safetensors
├── diffusion_models/
│ └── wan_animate_2_distill_int8_convrot.safetensors
├── text_encoders/
│ └── umt5_xxl_fp8_e4m3fn_scaled.safetensors
└── vae/
└── Wan2_1_VAE_bf16.safetensors公式ワークフローの読み込み
ComfyUIのメニューからワークフロー、テンプレートを参照と進み、「Wan Animate 2 Distilled: Motion Transfer」を選んでください。
設定する項目
Load Image (Reference Image)に動かしたい画像をセットします。
Load Video (Pose Video)に画像に反映したい動画をセットします。
Promptは無印と同じで上に参照画像に写るキャラクターの外見、下に動きや背景について入力します。
Character appearance description:anime style illustration, a young woman with long wavy dark brown hair and brown eyes, gentle soft smile, wearing an oversized off-white long-sleeve sweatshirt with sleeves pushed up, high-waisted light blue denim jeans with rolled cuffs, white low-top canvas sneakers, slim build, clean flat anime shading, soft line art
Background description:anime style, a bright open dance studio with a polished light wood floor and a large mirrored wall, tall windows on one side letting in warm afternoon sunlight, soft glowing dust in the air, gentle lens flare, camera slowly orbits around her at full body distance, clean and airy atmosphereあとはサブグラフ内でダウンロードしたモデルをセットしてください。
生成結果
VRAM 16GB、RAM 64GB、482×854、length81（3秒）で処理時間は6分 37秒でした。
前回が7分 57秒だったので1分以上短縮できています。
動画：
まとめ
処理時間は速くなり、クオリティも劣化はほとんど見られませんでした。
ただ前回も書いた通り3秒の動画で6分かかるので、私のスペックだと実用的ではないかなという印象です。
あと蒸留だからか分かりませんが背景が反映されてませんでした。
書き方おかしい可能性もあるのでここはよく分からなかったです。
モーションを自作したり、ある程度スペックある環境で動かせる人なら自分の好きなキャラクターを自由に動かせるかもしれません。
以上Wan Animate 2 Distilledの使い方について紹介しました。
参考になれば幸いです。
