2025年8月29日にWan2.2-S2Vがネイティブ対応しました。
触ってみたので簡単に使い方を紹介します。
Wan2.2-S2Vとは？
Wan2.2-S2Vは音声（スピーチ・歌唱など）を入力し、参照画像やプロンプトを組み合わせて、動画生成できるモデルです。
huggingfaceのページでは特徴として以下のことが挙げられてます。
- 高い表現力と忠実度：従来の音声駆動アニメーションよりも複雑な人物動作や映像表現に対応。
- Mixture-of-Experts (MoE) 構造：ノイズレベルに応じて専門モデルを切替、27Bパラメータ規模ながら実行時は14Bのみ使用、効率を維持。
- 大規模データで学習：従来比+65.6%の画像、+83.2%の動画で学習し、動きや美的表現に強化。
- シネマティックな美学：光・構図・色調など詳細にラベル付けしたデータで学習し、映像のスタイルを細かく制御可能。
- 高解像度生成：720P/24fps 動画を消費者向けGPU（例: RTX 4090）でも高速生成。
- 多用途性：スピーチ to ビデオだけでなく、ポーズ指定やリップシンク編集、長尺映像生成にも対応。
Wan-AI/Wan2.2-S2V-14B · Hugging Face
公式ドキュメントはこちら。
ComfyUIのインストール
ComfyUIのインストールがまだの方は以下の記事を参考にしてください。
ComfyUIでWan2.2-S2Vを使う方法
モデルの用意
データとパスをまとめたものを記載しておきます。
それぞれ対応するものをダウンロードしてください。
diffusion_models
ComfyUI/models/diffusion_modelsGGUF
※GGUFを使う場合はdiffusion_modelsは不要です。
ComfyUI/models/unetaudio_encoders
wav2vec2_large_english_fp16.safetensors
フォルダは自分で作る必要があります。
ComfyUI/models/audio_encodersあとStabilityMatrixだと「StabilityMatrix-win-x64\Data\Models」にaudio_encodersフォルダ作ってモデル入れても反映されませんでした。
なのでパッケージ側に直接置いてます。
StabilityMatrix-win-x64\Data\Packages\ComfyUI\models\audio_encodersLoRA
wan2.2_t2v_lightx2v_4steps_lora_v1.1_high_noise.safetensors
ComfyUI/models/lorastext_encoders
umt5_xxl_fp8_e4m3fn_scaled.safetensors
ComfyUI/models/text_encodersVAE
ComfyUI/models/vae/workflow
公式のDownload JSON Workflowからダウンロードできます。
D&DでComfyUIに取り込んでください。
ノードの設定&実行
モデルが正しくセットできていれば画像・音声・プロンプト入れれば動かせます。
一応最低限必要そうなノードだけ画像載せておきます。
Load Diffusion Model
GGUFモデルを使う場合は、ComfyUI-GGUFをインストールしてUnet Loader (GGUF)ノードで読み込めます。
Load CLIP
Load VAE
AudioEncoderLoader
LoadAudio
音声はBGMや雑音が混じっているより、ボーカルだけに分離した綺麗な音の方がリップシンクの精度が上がるみたいです。
Load Image
LoraLoaderModelOnly
CLIP Text Encode (Positive Prompt)
実行結果
LoRA使って543.39 seconds（約9分）くらいでした。
GGUFモデルも572.82 secondsでほぼ変わらず。
プロンプト同じなんですけどなんかこっちは耳の枝豆が暴れてます。
まとめ
YouTubeの解説動画とかに使えるかと思ってスピーチ音声で試したのですが、生成速度とか考えるとあまり実用的じゃないかもしれません。
一緒に生成することで音声と動画の一体感は得られるかもしれませんが、解説動画とかなら分けて作った方が早そう。
Xに投稿されてる動画見ると音楽に合わせてる方が多いので、そういう動画の方が惹きはあるしAIっぽい使い方できるかもしれません。
以上Wan2.2-S2Vを使う方法をご紹介しました。
参考になれば幸いです。
