【考察】BREAKと色ラフによるキャラ属性誘導 (Pixiv Fanbox)

1.はじめに

この記事では、領域別プロンプト適用の拡張機能を使用せずに、生成画像内の各キャラに適用される属性を誘導する方法を考えていきます。

領域別プロンプト適用の拡張機能とは、例えば次のものです。

■hako-mikan/sd-webui-regional-prompter

https://github.com/hako-mikan/sd-webui-regional-prompter

■Davemane42/ComfyUI_Dave_CustomNode

https://github.com/Davemane42/ComfyUI_Dave_CustomNode

生成画像内にて、指定した箇所ごとに別のプロンプトを適用させることで、属性の異なる複数キャラを登場させたりできるようになります。

ただし、その領域の指定が手間となるケースもありましたので、他の選択肢も考えています。

その選択肢の一つとして、BREAKと色ラフによるキャラ属性誘導を紹介していきます。

2.前提条件

■rqdwdw/SwampMachine - v2.0

https://civitai.com/models/286574?modelVersionId=335954

3.生成例

3girls, onii-chan wa oshimai!, straight-on, cowboy shot,

yuri, girl sandwich, hug, happy smile, looking at another, two-tone hair, colored inner hair

BREAK

hozuki kaede, onii-chan wa oshimai!, gyaru, kogal,

closed eyes,

necklace, pink shirt, miniskirt, pleated skirt,

side ponytail, pink hair, blue hair, long hair, pink eyes, large breasts, sleeves rolled up, bare arms

BREAK

oyama mahiro, onii-chan wa oshimai!,

standing,

school uniform, neck ribbon, black jacket, long sleeves, pleated skirt, black skirt,

ahoge, pink hair, closed eyes,

BREAK

oyama mihari, onii-chan wa oshimai!,

hairclip, bolo tie, hair ribbon, lab coat, long sleeves, red shirt,

twintails, black hair, purple hair, black hair, long hair, very aesthetic

Negative prompt: lowres, (worst quality, low quality:1.4), bad anatomy, missing fingers, extra digit, fewer digits, bad hands, text, error, jpeg artifacts

Steps: 28, Sampler: Euler a, CFG scale: 5.5

4.考察

①.BREAK

「BREAK」とは、Stable Diffusion Web UIのプロンプト内で使用できるキーワードで、特殊な効果を発揮するものです。

その特殊な効果とは、そのキーワードの前後でプロンプトが区切られるというものです。

例えば、次のようなプロンプトがあったとします。

1boy, otoko no ko

BREAK

sailor collar

この場合、前者の「1boy, otoko no ko」（男の娘）と後者の「sailor collar」（セーラー襟）は区切られます。

この区切りで何が嬉しいかと言うと、前者のプロンプトが後者のプロンプトに影響を及ぼさないようにできることです。

上の生成例では、キャラごとにBREAKで区切ることで、意図する属性（例：ahoge）が意図するキャラクターに適用されるように誘導しています。

②.色ラフ

①のみで完了できれば良かったのですが、往々にして色移りならぬ属性移りが発生します。

上の生成例の元画像は、次のものです。

これに対して、加筆します。

加筆と言っても、意図する箇所に意図する色を塗っていくだけです。

そして、この画像に対して、img2imgを繰り返していきました。

　※Denoising strength：0.5前後

必要に応じて、更に加筆してimg2imgを繰り返します。

結果として、ほぼほぼ意図通りに属性分けができていると思います。

キャラごとにBREAKで属性を分けて、更に各属性をどこに配置するかを色ラフで誘導するアプローチです。

5.おわりに

最近はSDXLのモデルをStable Diffusion WebUI Forgeから使用しているのですが、元のWebUIにてSD1.5系でも同じアプローチで成功しています。

SDXL/SD1.5系の両方の結果を確認し、見込みのあるアプローチと分かったため、こうして記事にさせていただきました。

このアプローチの追加例として、全裸率の高いfaceless male（顔の見えない竿役）に服を着せるようなこともできました。

　※2枚目のシャツやズボン

（おわり）