ComfyUIの公式テンプレートに、Wan Animate 2のワークフローが追加されました。
動かしたいキャラクターの画像1枚と動きの元になる動画を用意すると、その動きをキャラクターへ移した動画を作れます。
この記事では公式テンプレートで使うモデルの置き場所と、実際に触るノードをまとめました。
Wan Animate 2とは？
Wan Animate 2は、キャラクター画像と動きの基準になるドライビング動画から、新しいキャラクター動画を生成するエンドツーエンドのキャラクターアニメーションモデルです。
ポーズ抽出やスケルトンの前処理を挟まず、動画のフレームから直接モーションを移す仕組み。
再設計されたDiffusion Transformerにより、高精度な動きとキャラクターの同一性維持を両立し、テキストで出力映像のカメラ視点も制御できます。
主な特徴
- ドライビング動画をDiffusion Transformerへ直接入力し、中間のモーション抽出器を使わない
- 高精度な動きの生成とキャラクターの同一性維持を両立
- テキストで出力映像の視点を制御し、元動画のカメラ視点から切り離せる
- Wan-Animate-2-Liteはストリーミング用途に向けて推論遅延をリアルタイム水準まで削減
Wan Animate 2のライセンス
Comfy-Orgのリポジトリに記載されているライセンスはApache 2.0です。
元になっているモデルはWan-AIのWan2.2-Animate-2-14Bで、リポジトリの冒頭にリンクが置かれています。
ComfyUIのインストール
ComfyUIをまだ導入していない場合は、先にインストールが必要です。
またバージョンが古いと使えない可能性があるので、アップデートしておいてください。
モデルのダウンロードと置き場所
公式テンプレートで使うファイルは5つで、置き場所は以下の通りです。
| ファイル | 置き場所 |
|---|---|
| wan_animate_2_int8_convrot.safetensors | models\diffusion_models |
| lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors | models\loras |
| umt5_xxl_fp8_e4m3fn_scaled.safetensors | models\text_encoders |
| clip_vision_h.safetensors | models\clip_vision |
| Wan2_1_VAE_bf16.safetensors | models\vae |
ワークフローの読み込み
ComfyUIの左上メニュー→Browse TemplatesからWan Animate 2: Motion Transferを選べば取り込めます。
Wan Animate 2の使い方
Load Image (Reference Image)とLoad Video (Pose Video)で参照画像・動画を読み込みます。
ワークフローをそのまま使いたい場合はModel Linksにアセットがあるのでそこからダウンロード可能です。
プロンプト入力、モデルなどはMotion Transfer (Wan Animate 2)というサブグラフで設定します。
各ノードはそれぞれこんな感じです。
| ノード | 設定するもの |
|---|---|
| LoadImage | 動かしたいキャラクターの参照画像 |
| LoadVideo | 動きの元になる動画 |
| CLIPTextEncode | 背景やカメラの動きを指示するプロンプト |
| UNETLoader | wan_animate_2_int8_convrot.safetensors |
| LoraLoaderModelOnly | lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors |
| CLIPLoader | umt5_xxl_fp8_e4m3fn_scaled.safetensors |
| CLIPVisionLoader | clip_vision_h.safetensors |
| VAELoader | Wan2_1_VAE_bf16.safetensors |
| SaveVideo | 出力する動画のファイル名 |
Promptの書き方
サブグラフだと上に参照画像に写るキャラクターの外見、下に動きや背景について入力しているみたいです。
公式リポジトリだと中国語ですが、それぞれラベルをつけて書いてます。
人物外観描述：一只银灰色的虎斑猫，穿着深蓝色制服和白色衬衫，系着红色蝴蝶结。
背景描述：背景为纯白色，光线明亮均匀。
Character appearance description: A silver-grey tabby cat wearing a dark blue uniform and a white shirt, with a red bow tie.
Background description: A plain white background with bright, even lighting.Wan Animate 2の実行結果
まずComfyUIのアセットで試してみました。
VRAM 16GB、RAM 64GBで、処理時間は477.38秒でした。
こっちは画像の説明だけAIに作ってもらい、動きはシンプルに「A woman dancing」で生成しました。
参照画像・動画の大きさとかが影響してるのか、処理時間は22分39秒もかかりました。
お借りした動画：https://www.pexels.com/ja-jp/video/32156304/
まとめ
品質は悪くないですが、MiniMax h3を触ったあとだとそっちでいいかなと感じてしまいました。
モーションを任意の画像に反映させるものなので、ワークフローはシンプルで使いやすいのですが、3秒の動画で22分だと実用的ではありません。
適切なサイズや設定にすれば処理はもっと早くできるかもしれませんが、私のスペックで使うにはちょっと厳しい印象でした。
スペック足りててもっと早く処理できるのであれば、使いどころはいろいろあると思います。
以上、Wan Animate 2の使い方を紹介しました。
参考になれば幸いです。
