ComfyUIにはローカルLLMを使って、特定のモデル用に拡張・整理して出力してくれるカスタムノードがいくつか存在します。
- Local_LLM_Prompt_Enhancer
- ComfyUI-RandomPromptBuilder
- ComfyUI-MultiModal-Prompt-Nodes
- Comfyui-Z-Image-Utilities
ただローカルLLMだとスペックによっては重いです。
もちろん手間が少ない、NSFW対応モデルがある、自由度が高いなどのメリットもいっぱいあるんですが、動作を快適にしたい気持ちが強くなってきたので、クラウドLLMで試してみました。
Animaとは？
Animaは、CircleStone LabsとComfy Orgが共同開発した、約20億パラメータのテキストから画像を生成するAIモデルです。
アニメ・イラスト・非写実的なアートスタイルに特化しており、キャラクターや概念アートの生成を主な目的としています。
今回はこのAnima用のプロンプトをChatGPTなどのプロジェクト機能で作ろうというものです。
クラウドLLMのプロジェクト機能を使う
ChatGPT、Grokにはプロジェクト、Geminiにはノートブックという機能があります。
※grokの公式ページは見つかりませんでした。
- ChatGPT：https://help.openai.com/ja-jp/articles/10169521-projects-in-chatgpt
- Gemini：Gemini アプリでノートブックを作成して使用する – パソコン – Gemini アプリ ヘルプ
簡単に言えば、特定の作業に特化させたワークスペースを作れる機能です。
あらかじめAnimaのプロンプト構成やシステムプロンプトとして使う資料を作り、それをアップロードしておけば、資料とユーザー入力に基づき回答してくれるというもの。
今回はAnimaでやっていますが、資料さえ用意すれば他の自然言語系モデルでも同じことができます。
一応、すべて無料ユーザーでも使えるみたいです。
ただChatGPT、Grokはアップできるファイル数などに制限があります。
あとGrok以外はNSFW非対応です。
クラウドLLMでAnimaのプロンプトを出力してもらう方法
やること自体はシンプルです。
- Animaの書き方ルールを用意する
- システムプロンプトとして組み立てる
- 資料をプロジェクトに追加する
- プロンプトを出力してもらう
Animaの書き方ルールを用意する
これはAnimaのHugging Faceにある「Prompting」を参考にしています。
プロンプトの書き方を説明してくれているものです。
システムプロンプトとして組み立てる
上記の「Prompting」を参照しつつ、ユーザーからの入力を拡張・整理して出力してもらうような指示を書きます。
内容を補足してもらったり、AだったらBを返す、みたいな条件を入れたり。
ここは人によるので、自由に組み立て可能です。
私はAIに任せて以下のような指示を入れてもらいました。
- ユーザーの主題と意図を尊重する
- 必要に応じて髪型、表情、服装、季節感、背景、照明、風、構図、カメラアングル、雰囲気などの詳細情報を追加する
- 詳細情報が不足している場合は、アニメイラストとして自然な範囲内でのみ補足する
- タグ主導のプロンプトを推奨するが、結果を改善するために、最後に1～2文の自然言語による文章を追加してもよい。
- ユーザーから明確な指示がない限り、「safe」を使用する。
- プロンプトが女性キャラクター1人について記述している場合は、「1girl」を含める。
- ユーザーの日本語の説明を、Animaに適した自然な英語のプロンプト文に変換する
- 動作、表情、ポーズ、カメラアングル、構図に関する指示を、適切な英語のタグや自然な表現に翻訳する
- 最終的なプロンプトは必ず英語で出力する
Animaの書き方ルールと、この指示をMarkdown形式でまとめて資料にします。
資料をプロジェクトに追加する
上で作った.mdファイルを、それぞれのプロジェクト・ノートブックに追加します。
・ChatGPT
「プロジェクトを新規作成」をクリックします。
任意の名前をつけてプロジェクトを作成します。
設定でメモリの管理ができます。
情報源に作成した資料をアップロードします。
・Grok
新規プロジェクトをクリックします。
任意の名前をつけて次へ。
画面に書かれている通り、このタイミングで何らかの指示も入れられます。
資料を追加して作成ボタンを押します。
・Gemini
新しいノートブックをクリックします。
任意の名前をつけて次へ。
ソースを追加から作成した資料をアップロードします。
プロンプトを出力してもらう
あとはそれぞれのチャットで作りたい画像の情報を入力するだけです。
画像はanima-preview3-baseモデルで生成しました。
入力：
花畑。
花の冠を被っている。
こちらを振り返って笑顔の女性。
自然光。
出力：
・ChatGPT
・Grok
・Gemini
それぞれのプロンプトをChatGPTに比較・評価してもらったら、こんな感じでした。
- ChatGPT
- 強み：最もDanbooruタグ寄りで安定
- 特徴：1girl, flower field, flower crown, looking back… のように、要素を細かく分解してタグ化できている。
- Anima視点：モデル側が解釈しやすく、意図のズレが少ない
- 弱み：その分、やや優等生的で、絵作りの方向性が少し平坦
- Grok
- 強み：構図と主題の伝達が明確
- 特徴：turning around to look back at viewer や from behind with head turned など、どう見せたいかがはっきりしている
- Anima視点：タグだけでなく自然言語も読めるモデルなら、この「画面意図の明示」は有効。
- 弱み：ChatGPTほど細部の属性整理はしていない。服装や背景の精度は少し粗め。
- Gemini
- 強み：自然言語を活かした情景補強ができている
- 特徴：後半の文章で、単なるタグ列よりもシーン全体の空気感を補っている
- Anima視点：タグと自然文の両対応なら、後半の自然文はプラスになり得る。さらに blue sky, clouds, sunbeam, lens flare, depth of field など、演出的な視覚語彙も強い。
- 弱み：その代わり、Danbooruタグとしての純度は低め。タグ群としての整理性は一番弱い。
指示を調整する
今の資料では、Hugging Faceにある推奨タグをそのまま記載しています。
Recommended positive prefix: "masterpiece, best quality, score_7, safe,ただWAI-ANIMAの推奨タグは以下の通りです。
masterpiece, best quality, score_9, score_8, score_7,なので自分が使うモデルの推奨タグを入れたいとかならそっちで固定した方が使いやすいです。
資料を修正してアップロードし直せばOK。
また別の指示をファイルとして追加することもできます。
まとめ
クラウドLLMのメリットはやっぱり軽いことだと思います。
モデルの資料を用意するだけだし、その資料作りもAI任せでできるので、準備もクラウドの方が楽な印象です。
自然言語モデルは指示や表現の幅が広がったと同時に、入力の難易度も上がっている気がするので、入力に苦戦している人とか、スペックがきついなって人は試してみてください。
以上、クラウドLLMでAnimaのプロンプトを出力してもらう方法をいくつか紹介しました。
参考になれば幸いです。
特典
今回使ったAnima用の.mdファイルをnoteのメンバーシップで配布しています。
ただ記事で書いているように、モデルの資料を渡す→システムプロンプトを考えてもらう→Markdown形式にまとめてもらっただけなので、AIにお願いすれば普通に出力してもらえると思います。
参考程度に見てください。
