AI ToolkitでZ-Image-TurboのLoRA学習

image

2025年11月29日にAI ToolkitがZ-Image-TurboのLoRA学習に対応しました。

X on X
X on X

チュートリアル動画通りやったらそれなりの結果になったので、今回はAI ToolkitでZ-Image-TurboのLoRA学習方法について紹介します。

関連するツールやモデルについては過去記事で書いたものがあるのでそちらを参考にしてみてください。

AI Toolkit:

ai-toolkitでLoRAを作成する方法|aiaicreate
移動しました。 AI Toolkitのインストールと使い方|LoRA学習の始め方OstrisのAI Toolkit(ai-toolkit)でLoRAを作る方法を、インストール(3通り)から使い方、学習設aiaicreate.com

Z-Image:

Tongyi-MAI(Alibaba)から画像生成モデル「Z-Image」がリリース!ComfyUIで使う方法|aiaicreate
2025年11月26日にAlibabaのAI研究・開発チームであるTongyi-MAIから「Z-Image」というモデルがリリースされました。 今回は「Z-Image」をComfyUIで使う方法を紹介します。 Z-Imageとは? Z-Im…

Z-Image-TurboでLoRA学習できるの?

通常Z-Image-Turboのような蒸留モデルでLoRA学習すると、蒸留部分が壊れてしまい、アーティファクトが出たり、生成が不安定になったりするそうです。

なのでRedditとかでもLoRAはBaseがリリースされてからかな?みたいな人もいたのですが、AI Toolkitが学習時にこの蒸留を解除できるadapterを公開しました。

内部の処理はよくわかっていませんが、これを使うと蒸留部分を解除してBaseで学習するのと同じような感じにできるみたいです。

とりあえずこのadapterを使うことでZ-Image-TurboでもLoRA学習ができます。

ostris/zimage_turbo_training_adapter · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

AI ToolkitでZ-Image-TurboでLoRA学習する方法

モデルとか全部自動でダウンロードしてくれるので基本はパラーメータ設定するくらいです。

この動画通りやってるので、こちらも参考にしてください。

Datasetの用意

AI Toolkitを起動したら左メニューのDatasetsを開きます。

image

右上のNew Datasetをクリックします。

image

任意の名前を付けてcreateをクリック。

image

あとは学習したい画像とキャプションをD&DすればOKです。

image

ジョブの設定

左メニューのNew Jobを開きます。

image

ここでパラーメータなどを設定します。

チュートリアル動画の設定をそのまま真似しているので変更部分だけ紹介します。

Training Name:任意の名前

image

Model Architecture: Z-image Turboを選択。

image

Low VRAM:VRAM24GB以上の場合はオフ、それ以下ならON推奨とのこと。

image

Training Adapter Path:AdapterのV2が出たそうです。

v1のところをv2にすればv2使って学習できます。

Ostris (@ostrisai) on X
I added a v2 of the z-image-turbo training adapter. It is 2x as big and has been trained for a significantly longer time...

Trancsformer:NONE

image

Cache Text Embeddings:オン

image

Do Differential Guidance:オン

image

Target Dataset:Datasetsで用意したものになっているか確認

image

その他:

ここは人によって違うので任意の値を設定してください。

  • Save every:何ステップごとにLoRAを保存するか
  • Max Step Saves to Keep:最大何個までLoRAを保存するか
  • Steps:総ステップ数
  • Disble Sampling:オンだとサンプルを生成しない
  • Sample Every:サンプルを何ステップごとに生成するか
  • Sample Prompts:サンプル生成に使うプロンプトと数。右側の×で削除、Add Promptで追加。

設定できたら右上のCreate Jobで学習準備完了です。

image

学習開始

Training Queue画面に移動するので右上の▷をクリックすると学習が開始されます。

image

途中生成されるサンプルはSamplesタブで確認可能です。

image

stepごとに保存されるLoRAはCheckpointsにリンクができ、ここからダウンロードできます。

image

普通に以下のパスにも保存されます。

AI-Toolkit\output

結果

前使ったデータセットが残ってたのでそれ使って試してみました。

vast.ai(RTX4090)で実行して3000stepで約一時間。

左から元画像、LoRAなし、1000step、1500step、2000step、2500step、3000stepです。

image

まとめ

2000step、2500stepでそれなりに元画像再現できている気がしました。

ただ同じ素材で以前Qwenでやったときと比べるとQwenの方がクオリティ高かった印象。

【RTX4090】vast.ai×ai-toolkitでQwen ImageのLoRA学習してみた|aiaicreate
3次元モデルは今だにponyを使用しています。 たださすがにプロンプトの効きとか再現性とかponyのままじゃ厳しいかなと思い、自分の好きな画像でQwen ImageのLoRAを作ってみました。 触ったばかりであまり理解できていない部分が多い…

まあモデル違うし、turbo+adapterで条件違うから仕方ないのかもしれませんが。

あとチュートリアル動画のLoRAは綺麗に反映されていたので、学習するものの違いもあるかもしれません。

一応LoRA自体はちゃんと作れるし反映もされるし、VRAM24GBなら数時間で終わります。

試行錯誤もしやすいと思うので、Z-Image-TurboでLoRA学習してみたいって人は試してみてください。

以上AitoolkitでZ-Image-TurboのLoRA学習方法について紹介しました。

タイトルとURLをコピーしました