【解説】オリキャラのLoRAモデルの学習素材生成法 (Pixiv Fanbox)

1. はじめに

この記事では、オリキャラ用のLoRAモデルを制作する目的で、その学習素材（サンプル画像）を生成する方法を解説していきます。

画像生成AIの発展は早いですが、複数アングルからの同一キャラクター画像を生成するとなると、まだ課題が残っています。

この場合のアプローチとしては、LoRAモデルを使用するのが主流です。

例えば、次のものです。

ただし、このアプローチにも問題があります。

LoRAモデル（厳密にはStableDiffusionモデル用のLoRAモデル）は、「StableDiffusionモデル」をベースに「学習素材」を使ってトレーニングすることで制作できます。

版権キャラならばLoRAモデルの学習素材にできる画像が存在しており、既に制作・公開されているものもあります。

ただし、オリキャラではそうはいきません。

一から学習素材を用意して、LoRAモデルを制作する必要があります。

ただし、学習素材となる画像を用意するとなると、最低でも20枚は欲しいところです。

これを手描きで作成するには、それなりの技量や作業量が必要になってしまいます。

この記事では、この技量や作業量を省略するためのアプローチを紹介していきます。

一言で言うと、3Dモデルのポーズ画像をimg2imgして素材生成する方法です。

2. 作成例

insanely detailed, absurdres, ultra-highres, ultra-detailed, best quality

BREAK

slender, kawaii, perfect symmetrical face, ultra cute girl, ultra cute face, ultra detailed eyes, ultra detailed hair, ultra cute, ultra beautiful

BREAK

straight-on, standing,

1boy, solo,

hand on hip, pose,

gothic lolita, otoko no ko, <年齢タグL> <年齢タグS>,

small penis, testicles,

cat ears, puffy short sleeves, black dress, white thighhighs, wrist cuffs, bottomless, black footwear, mary janes,

twintails, grey hair, long hair, brown eyes

Negative prompt: EasyNegativeV2

insanely detailed, absurdres, ultra-highres, ultra-detailed, best quality

BREAK

slender, kawaii, perfect symmetrical face, ultra cute girl, ultra cute face, ultra detailed eyes, ultra detailed hair, ultra cute, ultra beautiful

BREAK

from side, standing,

1boy, solo,

pose, outstretched hand,

gothic lolita, otoko no ko, <年齢タグL> <年齢タグS>,

small penis, testicles, flaccid,

cat ears, puffy short sleeves, black dress, white thighhighs, wrist cuffs, bottomless, black footwear, mary janes,

twintails, grey hair, long hair, (brown eyes)

Negative prompt: EasyNegativeV2

insanely detailed, absurdres, ultra-highres, ultra-detailed, best quality

BREAK

slender, kawaii, perfect symmetrical face, ultra cute girl, ultra cute face, ultra detailed eyes, ultra detailed hair, ultra cute, ultra beautiful

BREAK

from behind, standing, against wall,

1boy, solo,

facing away, outstretched hand,

gothic lolita, otoko no ko, <年齢タグL> <年齢タグS>,

ass, anus, testicles,

cat ears, puffy short sleeves, black dress, white thighhighs, wrist cuffs, bottomless, black footwear, mary janes,

twintails, grey hair, long hair, brown eyes,

alonadicktail

Negative prompt: EasyNegativeV2

3.解説

①3Dキャラクター画像を撮る。

以前投稿した記事と同じですが、VRoid Studioで制作した3Dキャラクターモデルを操作し、ポーズ画像を撮ります。

自作が難しい場合は、VRoid Hubで他の方が制作したモデルを利用させていただくことも可能です。

ちなみに、これはVRoidでなくても、3Dキャラクターモデルの用意とポーズ操作ができるツールなら構いません。

また、構図や背景ですが、それぞれの素材で別のものを設定するのが良いとされています。

②上の画像からプロンプトを生成する。

画像生成AIではプロンプトから画像を生成しますが、その逆に画像からプロンプトを生成するものも存在しています。

例えば、次の拡張機能を通せば、プロンプト生成ができます。

③上の画像を上のプロンプトでimg2imgする。

生成したプロンプト（意図するものと違っていたら手動で直す。また、必要に応じてLoRAモデルを使用する）で、上の画像をimg2imgします。

この時、Denoising strengthは0.5前後にすることが多いです。

また、より強くキャラ属性を固定するために、ControlNet/Lineartを使用して輪郭を固めることもあります。

④LoRAモデル制作用のトレーニングをさせる。

StableDiffusionモデルは、そのLoRAモデルを使用したいモデルが決まっているならそれで、そうでないならAnyLORAなどの表現幅が広いモデルでトレーニングするのがオススメです。

4.おわりに

画像生成AIでの生成を繰り返していく中で、自分の好みを把握できてくると思います。

その好みを凝縮したキャラクター画像を生成したくなりますが、プロンプトやControlNetを駆使しても限界があります。

そのような時にぜひ使って欲しいテクニックがこれです。

また、LoRAモデル制作後には、LoRAモデル単体使用でも良いですが、3Dキャラクター画像をLoRAモデルを使ってimg2imgすることで安定度を確保できます。

一枚絵だけではなく、漫画やアニメの可能性にもつながるテクニックですので、チャレンジしてみてはいかがでしょうか。

※リンク

■HotaruBreed AnimeMix - v1.0 | Stable Diffusion Checkpoint | Civitai

■Small Penis [Anime] Flaccid and Erect - v1.0 | Stable Diffusion LoRA | Civitai

https://civitai.com/models/176870/small-penis-anime-flaccid-and-erect

■Cocktail/Dicktail (Femboy/Futanari) - v1.0 | Stable Diffusion LoRA | Civitai

（おわり）