Stable DiffusionのHow to記事です。
今回はComfyUIでfluxを動かす方法についてご紹介します。
fluxとは？
新しく開発されたt2iモデルです。
先日Stable Diffusionを開発していたチームがBlack Forest Labsとしてfluxを発表しました。
Midjourneyレベルのクオリティを再現できるようで、現在は3通りの使い方があります。
- FLUX.1 [dev]： ベースとなるモデルで非商用ライセンス
- FLUX.1 [schnell]： 最大10倍高速に動作する基本モデルでApache 2ライセンス
- FLUX.1 [pro]： APIを通じてのみ利用可能なクローズドソース版
WindowsだとComfyUIやSwarmUIで動かせるようです。
またローカルで使えるモデルはdevかschnellになります。
※SwarmUIはこちら
事前準備
ComfyUIのインストール
まずComfyUIをインストールする必要があります。
まだインストールしていない方はこちらの記事を参考に進めてみてください。
モデルセット
事前にclipやvaeなどのモデルを指定のパスに置きます。
・Clip
clip_l.safetensorsは必須で、あとはt5xxl_fp16、t5xxl_fp8のどちらかをPCスペックに合わせてダウンロードしてください。
RAM32 GB以上ある方はt5xxl_fp16、それ以下の方はt5xxl_fp8が推奨されています。
一応時間は掛かりますが4060Ti（VRAM16GB）でもt5xxl_fp16で生成できました。
全て以下のパスに置きます。
C:\ComfyUI_windows_portable\ComfyUI\models\clip・VAE VAEは以下からae.sftというファイルをダウンロードしてください。
※ae.safetensorsに名前が変わってました。
ファイルは以下のパスに置きます。
C:\ComfyUI_windows_portable\ComfyUI\models\vae・モデル 最後にモデルを以下からダウンロードしてください。
devは非商用利用の基本モデル、schnellは商用利用可かつ少ないステップで生成できるモデルです。
またdevをダウンロードする場合は、huggingfaceにログイン後、ライセンスや規約に同意する必要があります。
schnellはオープンソースなのでログインは必要ありません。
・FLUX.1-dev
・FLUX.1-schnell
モデルは以下のパスに置きます。
C:\ComfyUI_windows_portable\ComfyUI\models\unetこれで準備は完了です。
ComfyUIでfluxを使う方法
ComfyUI公式にflux用のworkflowがあるので、画像をComfyUIにD&Dします。
dev・schnell用で分かれているので使用したい方を入れてください。
あとはPromptを入力すれば、自由に画像生成ができます。
※デフォルトのプロンプトで生成した画像
もし動作が重い場合は、DualCLIPLoaderのclip_name1でfp8を使用してみてください。
またはLoad Diffustion Modelのweight_dtypeでfp8にするとクオリティは下がりますが、メモリ使用料を半分にできるようです。
テキストを生成したい場合は、SD3のようにダブルクオーテーションで囲めばいい？みたいで、Google翻訳したものでもちゃんと文字が書けました。
指が一本多いですが、非常にプロンプトの読み取り能力が高く、画像のクオリティも高い印象です。
要求スペックが高いのでそれが少し難点ですが、まだリリースされたばかりなので、今後はもっと使いやすいモデルなどが登場するかもしれません。
以上ComfyUIでfluxを動かす方法についてご紹介しました。
