今回は画像からキャプションデータを作成・一括編集できる「dataset-tag-editor」の使い方を紹介します。
LoRA学習用のキャプション作りに便利で、SDWebUIの拡張機能としてもスタンドアローンとしても使えます。
ただ執筆時点で約2年ほど更新が止まっており、A1111かスタンドアローンでしか使えません。
現在SDWebUIはForgeの派生が主流なので、もし使うならスタンドアローン、または別のキャプション作成ツールの方が良いと思います。
dataset-tag-editorとは？
dataset-tag-editorは、SDWebUIの拡張機能、またはスタンドアローンで使えるキャプション作成ツールです。
キャプションデータはLoRA作成時に画像の特徴を理解させるもので、学習時に紐づける単語の強度などを調整できます。
また、画像から特徴を抽出するだけではなく、タグの追加、削除なども一括で行うことが可能です。
主な特徴
- SDWebUIの拡張機能・スタンドアローンの両方で使える
- 複数のInterrogatorでキャプションを自動抽出（BLIP・BLIP2・DeepDanbooru・WD1.4 Taggerなど）
- タグの一括追加・削除・置換・並び替え
- タグでの絞り込み（AND/OR）検索
- 検索・置換で正規表現に対応
- キャプションはtxt／JSONで扱える
dataset-tag-editorのインストール
dataset-tag-editorはSDWebUI（A1111）の拡張機能かスタンドアローンとして使用できます。
またスタンドアローンの方が使用できるモデルが多く、起動と実行が早いです。
SDWebUI版（A1111）
SDWebUI版は通常の拡張機能と同じです。
Extensionsタブから以下のURLを入力して、インストールしてください。
https://github.com/toshiaki1729/stable-diffusion-webui-dataset-tag-editor.git
リスタートか再起動して、dataset-tag-editorのタブが表示されていればOKです。
スタンドアローン版
まずインストールしたいフォルダに移動して、クローンします。
git clone https://github.com/toshiaki1729/dataset-tag-editor-standalone.gitdataset-tag-editor-standaloneというフォルダができるので、中にあるinstall.batを実行してください。
dataset-tag-editorの使い方
拡張機能・スタンドアローンどちらも基本的な操作は同じです。
画像の用意
まずキャプションを作りたい画像を用意します。
今回は東北ずん子さんのページにある「AI画像モデル用学習データ」をお借りしました。
AI画像モデル用学習データ→google driveに飛ぶと、ダウンロードできます。
zipファイルを任意の場所で解凍します。
なお、このデータは既にキャプションデータが入っています。
今回はdataset-tag-editorでこのキャプションを作るのが目的なので、txtファイルは削除しておいてください。
dataset-tag-editorで画像取り込み
拡張機能はDataset Tag Editorタブから、スタンドアローン版はフォルダ内のlaunch_user.batを実行すると起動できます。
まず左上のDataset directoryに学習画像があるフォルダのパスを入力してください。
Dataset Load Settingsの「Load caption from filename if no text file exists」はチェックを外しておきます。
これはキャプションがないときにファイル名をキャプションにするものなので、チェックが入っていると画像を解析できません。
Use Interrogator Captionで「if Empty」、Interrogatorsでキャプションデータ作成に使用するモデルを選択します。
この状態でLoadボタンを押すと画像を取り込めます。
タグ付けの調整
右側の画面でキャプションデータに含めるものなどを整理します。
まずLoRAを呼び出すためのトリガーワードを設定します。
トリガーワードはプロンプトとして使用すると、LoRAを呼び出せるものです。
使わない方もいるので、ここは任意です。
とりあえずやり方の1つとして参考にしてください。
右側のBatch Edit CaptionsタブのSearch and Replaceを開きます。
Edit Tagsにトリガーワードを入力して、Prepend additional tags（行頭に追加）にチェックを入れ、Apply changes to filtered imagesをクリックします。
これで全てのキャプションデータの行頭にzunkoが入ります。
次に隣のRemoveタブで、強く結び付けたい要素の調整をします。
LoRAはキャプションデータに記載されていない要素を強く学習するため、ここで選択して削除したものが反映されやすくなると言われています。
Sort byで「Frequency」を選択すると、画像からどの要素が何個抽出されているかが分かります。
Sort Orderの「Descending」で多い順に並び替えることも可能です。
この状態だと特徴的なタグが上にくるので、見やすいと思います。
この中から強く学習させたい要素を選択してください。
チェックした状態でRemove selected tagsをクリックすると、削除できます。
最後に一番上の「Save all changes」をクリックすれば、フォルダ内にキャプションデータが作成されます。
このように画像と同じファイル名のテキストができていれば、キャプションデータの作成は完了です。
中を見ると行頭にトリガーワードのzunkoがあり、削除したタグは入っていないのがわかると思います。
この画像とテキストファイルを使うことで、LoRA学習などに使うことができます。
以上dataset-tag-editorの使い方についてご紹介しました。
参考になれば幸いです。
