【ComfyUI】FlashVSRで動画をアップスケールする方法

image

先日SeedVR2で動画をアップスケールする方法を紹介したのですが、別途FlashVSRというものが話題になっていました。

https://www.reddit.com/r/StableDiffusion/comments/1oksrsm/im_trying_out_an_amazing_opensource_video/

こちらも対応するカスタムノードがあり、ComfyUIで処理できます。

しかも爆速です。

今回はこちらを紹介します。

SeedVR2はこちら

【ComfyUI】SeedVR2の使い方|動画をアップスケールする方法
ComfyUIでSeedVR2を使い、動画をアップスケールする方法を紹介します。現行4ノード構成の導入手順、VRAM別モデル、GGUF・BlockSwap・VAE tilingの設定、3Bと7Bの比較結果をまとめています。

FlashVSRとは?

FlashVSRは、動画の解像度を高くする「動画超解像」(Video Super-Resolution)を、従来より大幅に速く・軽く行える新しいAIモデルです。

特に拡散モデルを使いながらも、リアルタイム処理に近い速度で動作する点が最大の特徴。

1stepで処理する部分とかSeedVR2と似ているなと思ったのですが、AIに聞いたらそれぞれ目的と設計思想が異なるそうです。

  • SeedVR2は「動画の修復(Video Restoration)」を目的とした高品質志向の再生モデル
  • FlashVSRは「リアルタイム動画アップスケール(Video Super-Resolution)」を目的とした高速・軽量志向の処理モデル

どちらもアップスケールモデルではありますが、品質や速度に多少違いがあるとのことでした。

OpenImagingLab/FlashVSR: Towards Real-Time Diffusion-Based Streaming Video Super-Resolution — An efficient one-step diffusion framework for streaming VSR with locality-constrained sparse attention and a tiny conditional decoder.

ComfyUIのインストール

ComfyUIをインストールしていない方は以下の記事を参考にしてみてください。

【ComfyUI】の使い方・始め方まとめ|インストールから基本操作・カスタムノードまで
ComfyUIを始めたいけど、インストール方法がいくつかあってどれを選べばいいか迷う、という方は多いと思います。この記事では、ComfyUIの導入方法の違いと選び方、そして基本的な使い方の入口をまとめて紹介します。各トピックの詳しい手順は、…

ComfyUI-FlashVSR_Ultra_Fastの使い方

インストール

Manager入れてる方はManager→Custom Nodes Managerで検索すればインストールできます。

image

手動の場合はComfyUI\custom_nodesフォルダにクローンしてください。

git clone https://github.com/OpenImagingLab/FlashVSR.git

あとtriton-windowsを別途バージョン指定してインストールする必要があるみたいです。

ポータブル版の方は、コマンドプロンプトで「ComfyUI_windows_portable\python_embeded」フォルダに移動し、以下を実行してください。

python.exe -m pip install -U triton-windows<3.3.0

stabilitymatrixはターミナルで「StabilityMatrix-win-x64\Data\Packages\ComfyUI」で仮想環境アクティベートして同じコマンドを実行すればOKです。

.\venv\Scripts\activate
python -m pip install -U triton-windows<3.3.0

もし既にインストール済みならパッケージのメニューからpythonパッケージ開いて3.3.0未満に変更できます。

image
image

あと動画取り込みと保存はComfyUI-VideoHelperSuiteを使ってます。

ノードの設定と実行

基本はFlashVSR Ultra-Fast挟めばいいだけみたいです。

image

・workflow

/assets/n7bc13ef5e51d_8063653ec006457bcc004b8bdb3687b1.json

実行時にモデルが自動でダウンロードされます。

ComfyUI\models\FlashVSR

githubに書いてあるパラメータはAIに解説してもらいました。

基本modeとscaleだけであとはPCスペックに合わせて設定する感じになると思います。

  • mode:処理モード選択 tiny=速い、full=高画質
  • scale:アップスケール倍率
  • tiled_vae:メモリ節約(軽度) やや低速化
  • tiled_dit:メモリ節約(強) 大幅に低速化
  • unload_dit:VRAMピーク削減 処理やや遅くなる

以下はFlashVSR Ultra-Fast (Advanced)のもの。

  • color_fix:色ずれ補正 自然な色合いに修正
  • tile_size / tile_overlap:映像の分割設定 継ぎ目軽減と負荷の調整

FlashVSR Ultra-Fast (Advanced)はFlashVSR Init Pipelineをつないでそっちでmodeとか指定するみたいです。

image

なおFlashVSR Init Pipelineのprecisionがbf16だとVideo Combineでうまく保存できませんでした。

画像はbf16になってますが、これで処理する場合はprecisionをfp16にしてください。

結果

左から元動画、SeedVR2、FlashVSR(tiny)、FlashVSR(full)です。

896×1120を2倍(1792×2240)にして、

  • FlashVSR(tiny)は4分2秒
  • FlashVSR(full)は14分9秒

でした。

SeedVR2は896×1120を1088×1360にして8分23秒だったのでかなり早いと思います。

クオリティは人それぞれなので何とも言えないのですが、個人的にはそこまで大差ないように感じました。

処理速度に関しては通常のアップスケールより何倍も速いので、ローカルで動画コンテンツ作っている方にはおすすめです。

興味ある方は使ってみてください。

以上FlashVSRをComfyUIで使う方法を紹介しました。

タイトルとURLをコピーしました