ComfyUIでHunyuanVideoを使う方法

動画生成のhow to記事です。

最新の動画生成モデルHunyuanVideoをComfyUIで動かす方法について解説します。

HunyuanVideoとは？
HunyuanVideoの事前準備

HunyuanVideoとは？

HunyuanVideoは、文章での指示やキーワードから新たな動画を自動的に作り出す、最先端のAI技術を用いた動画生成システムです。

例えば「花が咲く様子をゆっくり映した動画」や「街角の夕暮れ風景」というような簡単な文章を与えると、それをヒントに動画を生成できます。

以前紹介したLTXVideoよりクオリティが高いようで、既にComfyUI用のノードもリリースされています。

ComfyUIでLTXVideoを使う方法｜aiaicreate

動画生成AIのhow to記事です。今回は昨日リリースされたばかりのLTXVideoを、ComfyUIで使う方法についてご紹介します。 ※作れる動画サンプル LTX-Videoは普通に動いた導入少し手間取ったけど生成がビックリするくらい…

HunyuanVideo https://github.com/Tencent/HunyuanVideo

※動作環境 RTX4060Ti（VRAM16GB）で動かしたところ、通常のworkflowだとOOMで実行できませんでした。

lowvram用のworkflowなら動きますが、すれなりにスペックは求められるかも知れません。

ComfyUIをまだインストールしていない方はこちらの記事を参考にしてください。

【ComfyUI】の使い方・始め方まとめ｜インストールから基本操作・カスタムノードまで

ComfyUIを始めたいけど、インストール方法がいくつかあってどれを選べばいいか迷う、という方は多いと思います。この記事では、ComfyUIの導入方法の違いと選び方、そして基本的な使い方の入口をまとめて紹介します。各トピックの詳しい手順は、…

HunyuanVideoの事前準備

ComfyUI-HunyuanVideoWrapperのクローン

どこでもいいので右クリックなどからターミナルを開いてカスタムノードのパスに移動します。

cd C:\ComfyUI_windows_portable_nvidia\ComfyUI_windows_portable\ComfyUI\custom_nodes

ComfyUI-HunyuanVideoWrapperをクローンします。

git clone https://github.com/kijai/ComfyUI-HunyuanVideoWrapper.git

ComfyUIのアップデート

基本的に新しい技術やノードなどが公開されたとき、最新の状態にしておくことが推奨されます。

新機能・新ノードへの対応やバグ修正などが行われている可能性があるからです。

ComfyUI-ManagerをインストールしていればManager→Update Allで本体とカスタムノードどちらもアップデートできます。

手動だと「update_comfyui_and_python_dependencies.bat」を実行して、カスタムノードは1つ1つgit pullでやる必要があります。

なので基本はComfyUI-Managerのアップデートを推奨します。

モデルの準備

・diffusion_models

以下のリンクからどちらかをダウンロードします。

hunyuan_video_720_cfgdistill_bf16.safetensors
hunyuan_video_720_cfgdistill_fp8_e4m3fn.safetensors

Kijai/HunyuanVideo_comfy at main

We???re on a journey to advance and democratize artificial intelligence through open source and open science.

データは以下のパスに置いてください。

C:\ComfyUI_windows_portable_nvidia\ComfyUI_windows_portable\ComfyUI\models\diffusion_models

・VAE

VAEも同じリンクからダウンロードできます。

hunyuan_video_vae_bf16.safetensors
hunyuan_video_vae_fp32.safetensors

Kijai/HunyuanVideo_comfy at main

We???re on a journey to advance and democratize artificial intelligence through open source and open science.

どちらかをダウンロードして以下のパスに置いてください。

C:\ComfyUI_windows_portable_nvidia\ComfyUI_windows_portable\ComfyUI\models\vae

・LLM&CLIP text encoder

これらは初回実行時に自動でダウンロードされます。

一応以下のリンクから事前ダウンロードも可能です。

・LLM

Kijai/llava-llama-3-8b-text-encoder-tokenizer at main

We???re on a journey to advance and democratize artificial intelligence through open source and open science.

以下のパスにクローンします。

LLMフォルダがない場合は作成しておいてください。

C:\ComfyUI_windows_portable_nvidia\ComfyUI_windows_portable\ComfyUI\models\LLM

git lfs install
git clone https://huggingface.co/Kijai/llava-llama-3-8b-text-encoder-tokenizer

・CLIP

openai/clip-vit-large-patch14 at main

We???re on a journey to advance and democratize artificial intelligence through open source and open science.

以下のパスにクローンします。

C:\ComfyUI_windows_portable_nvidia\ComfyUI_windows_portable\ComfyUI\models\clip

git clone https://huggingface.co/openai/clip-vit-large-patch14

t2vの使い方

カスタムノードのフォルダにworkflowがあるのでD&Dで取り込みます。

一般的なt2vはhyvideo_t2v_example_01.jsonです。

VRAM足りない人はhyvideo_lowvram_blockswap_test.jsonで試してみてください。

hyvideo_lowvram_blockswap_test.json
hyvideo_t2v_example_01.json

C:\ComfyUI_windows_portable_nvidia\ComfyUI_windows_portable\ComfyUI\custom_nodes\ComfyUI-HunyuanVideoWrapper\examples

次にノードの設定をしていきます。

・HunyuanVideo VAE Loader

VAEフォルダに置いたファイルを指定します。

・HunyuanVideo Model Loader

diffusion_modelsに置いたファイルを指定します。

・DualCLIPLoader

LLMとtext encoderにダウンロードしたファイルをそれぞれ指定します。

llava-llama-3-8b-text-encoder-tokenizer
clip-vit-large-patch14

・HunyuanVideo TextEncode

生成したい動画のプロンプトを入力します。

とりあえず動かしたい人はそのままでも問題ありません。

・実行

デフォルトのままで良ければこのまま実行すれば問題なく動画が生成できます。

HunyuanVideoテスト pic.twitter.com/wBdPvJyUPa
— R@aiaicreate (@aiaicreate) December 6, 2024

v2v

v2vも同じt2vと同じフォルダにworkflowがあります。

hyvideo_v2v_example_01.json

C:\ComfyUI_windows_portable_nvidia\ComfyUI_windows_portable\ComfyUI\custom_nodes\ComfyUI-HunyuanVideoWrapper\examples

D&Dでworkflowを取り込んでください。

もし赤くて使えないノードがあったらManager→Install Missing Custom Nodesで表示されているもののインストールが必要です。

またモデルやVAEの指定はt2vと同じです。

次にLoad Videoで元となる動画をセットします。

HunyuanVideo TextEncodeで変化を与えたいプロンプトを入力します。

私の環境だと実行できなかったので公式の紹介になりますが、デフォルトだと車がクマに変換されています。

・通常の動画

Just a moment…

・処理後の動画

Thank you once again, dear Kijai. https://t.co/kDFIRuJwq6 @xodroc made a very good example. Have you made any interesting videos through hunyuanvideo? @ me！ pic.twitter.com/Z9mL1K9sbn
— Tencent Hy (@TencentHunyuan) December 5, 2024

あとは生成したい内容に合わせてパラメータやプロンプトを変えれば、自分の好きな動画を生成することができます。

以上ComfyUIでHunyuanVideoを使う方法について解説しました。