より強力にポーズの制御をするためのLoRA+Control netダブル適用法 (Pixiv Fanbox)

足上げセックスのような複雑な構図はLoRAで学習させても、出力するのは難しいです。特に手足の構図が複雑な場合手が融合したり、複数人の手足が癒着するなどきれいな出力ができません。ここではこのような複雑な体位について性格に出力するための方法を解説します。

まずLoRAについて。

3種類のLoRAを利用して作成しました。

・ポーズLoRA

・キャラLoRA

・テクスチャLoRA

です。

本日はポーズLoRAについて解説します。

LoRA https://github.com/kohya-ss/sd-scripts を利用しています。LoRAの詳細な利用方法については公式のドキュメントをご覧ください。

学習パラメータは以下の通り。

////////////////////////////////////////////////

"net_dim": 128,

"alpha": 128.0,

"scheduler": "cosine_with_restarts",

"cosine_restarts": 4,

"scheduler_power": 1,

"warmup_lr_ratio": null,

"learning_rate": 0.0001,

"text_encoder_lr": 0.0001,

"unet_lr": 0.0001,

"num_workers": 1,

"persistent_workers": true,

"batch_size": 1,

"num_epochs": 20,

"save_at_n_epochs": 1,

"shuffle_captions": true,

"keep_tokens": 1,

"max_steps": null,

"train_resolution": 512,

"min_bucket_resolution": 320,

"max_bucket_resolution": 960,

"lora_model_for_resume": null,

"save_state": false,

"load_previous_save_state": null,

"training_comment": null,

"unet_only": true,

"text_only": false,

"reg_img_folder": ,

"clip_skip": 2,

"test_seed": 23,

"prior_loss_weight": 1,

"gradient_checkpointing": false,

"gradient_acc_steps": null,

"mixed_precision": "fp16",

"save_precision": "fp16",

"save_as": "safetensors",

"caption_extension": ".txt",

"max_clip_token_length": 150,

"buckets": true,

"xformers": true,

"use_8bit_adam": true,

"cache_latents": true,

"color_aug": false,

"flip_aug": false,

"vae": null,

"no_meta": false,

"log_dir": null

}

////////////////////////////////////////////////

学習画像枚数は38枚。

アノテーションはマルゼンスキームに従って、不要なタグを削除します。ポーズLoRAにおいて重要なことは素材をその特徴を十分に認識できるように加工することです。学習素材の枚数に関しては最近は以前より増やしていますが、学習素材を絞って高品質な素材に限定した方がよい可能性もあり、まだ検証途中です。

prompt

ahoge , open mouth, navel, erection,blue hair, , standing on one leg, interracial,, pectorals,nude, looking at viewer,(armpit:1.2), male_focus,yaoi,sex,uncensored,nipples,anal,standing_sex,otoko_no_ko,leg_lift,blush,standing,leg_up,nude,faceless_male,faceless,sex_from_behind,toned body ,musclar

Negative prompt

EasyNegative, bad anatomy,watermark,text,signature,(breasts,large breasts,female ,1girl:1.4),(bar censored,censored:1.2)

なお画像はt2iで出力したものを様々に修正しているため、上記の方法だけでは同様の物を出力することができないことをご了承ください。

Control netについて

Control netはScribbleを用いています。LoRAに加えてControl netを同時に適用することで、LoRAだけでは難しい複雑な手足の構図についても制御することが可能になります。イラストが得意な方はSoftedgeを用いればより詳細な制御ができるかもしれません。