【考察】キャラ特徴固定精度向上方法 (Pixiv Fanbox)

1.はじめに

この記事では、複数アングル含めてのキャラ特徴を固定して、画像生成していく方法を考えていきます。

キャラ特徴（特に版権キャラのもの）を固定するための方法としては、LoRAモデルを使用するのが一般的です。

しかし、前からのアングル以外（例：横から、後ろから）で効果が弱まるケースが散見されます。

この課題に対しては、以前紹介させていただいた方法でレタッチすることもできます。

【解説】同一キャラ画像複数生成方法（プロンプト例あり）

1.はじめに この記事では、キャラの一貫性を確保しながら複数の画像を生成することを目的としています。 例えば、次のものです。 複数画像に渡って、キャラ特徴が一貫していると思います。 このために私が行っていることについて、解説していきます。 2.解説 基本的な方向性としては、なるべく詳細なプロンプトでキャラ...

ただ、手間ではあります。

そのため、LoRAモデルを使用すること以外の方法も模索することにより、キャラ特徴の固定精度を高めていきたいと思います。

しかし、実はその方法の一つは以前提示させていただいており、それは3Dモデルを使用する方法です。

3Dモデル画像をベースにControlNet（例：lineart anime）で補強しながら生成することで、キャラ特徴を強く残すことが可能です。

正直に言えば、この手段がもっとも安定的だと考えています。

新・AI男の娘イラスト生成術入門【5.おまけ編】（3Dモデル使用）

1.概要 上級編の続きの記事です。 この記事では、 「独自の意匠を施したオリキャラが登場する画像を生成する」ための 私なりの方法を解説していきます。 2.前提条件 以降の作業は、次のモデルと拡張機能、ツールを使用します。 【モデル】 ・SweetLuna/Aurora 【拡張機能】 　※プロンプトや元画像以外での生成画像コント...

ただ、3Dモデルを用意・操作する必要があるので、レタッチとは別の手間があります。

この記事では、なるべく手間がかからない方法を考えていきます。

2.前提条件

3.生成例

①元画像

hideyoshi kinoshita, double bun, bun cover, brown hair, (green eyes:1.5), hair ornament, hairclip, otoko no ko, trap, hair between eyes,

china dress, chinese clothes, bare shoulders, red dress, waist apron, wrist cuffs, flat chest, male focus,

squatting, looking back, happy smile,

testicles, flaccid, yaoi,

after anal, cocktail, cumdrip, cum in ass, asscum,

on grass

Negative prompt: ng_deepnegative_v1_75t, verybadimagenegative_v1.3, By bad artist -neg, bad-hands-5, (worst quality, low quality:1.2), normal quality, lowres, furry, fur, tail, animal ears, masculine man, censored, bad_anatomy, bad_proportions, bad_perspective, cropped, censored, jpeg_artifacts, error, blurry, signature, watermark, artist_name, artist_logo, patreon_logo, patreon_username, poorly_drawn, deformed, (hetero, pussy, vaginal, vagina, cameltoe, breasts, cleavage, covering:1.4)

②IP-Adapter

otoko no ko, green eyes, china dress, male focus, looking back, bent over, testicles, after anal

4.考察

案としては、次の３つがありました。

いずれも基準となる元画像を用意し、それをヒントに生成してもらうアプローチです。

①ControlNet/Shuffle

元画像をシャッフル（水面をかき回すように混ぜ合わせる）し、そこから画像を再生成する。

②ControlNet/Reference-only

元画像の画風などを参考情報として使用しつつ、新たな画像を生成する。

③IP-Adapter

元画像をプロンプト代わりに使用して、新たな画像を生成する。（実際にはプロンプトも書くが、シンプルなもので良いとのこと）

この中で面白い結果になったのが「③IP-Adapter」です。

上の生成例のように、シンプルなプロンプトなのに、キャラ特徴をとらえたまま生成できています。

しかも、構図が変わっています。

「②ControlNet/Reference-only」だと構図も再現されるイメージなのですが、「③IP-Adapter」ではキャラ特徴を固定しつつも構図を変えることができています。

また、若干画像が荒れている印象はありますが、この生成例は”Control Weight:1”のデフォルト設定で行ったものなので、調整の余地は十分にあります。

話題となっていた「IP-Adapter」ですが、話題となるだけはあるもののようです。

　※ControlNetの拡張機能を通して使用します。IP-Adapterのモデル「ip-adapter_sd15_plus.pth」（StableDiffusion1.5用）を事前にダウンロード・配置しておきます。

5.おわりに

LoRAモデルを使用しても好きなキャラを再現できない場合など、お困りのケースがあれば参考にできるかと思います。

元画像は必要になりますが、それを入手する手段はいくらでもあります。

例えば、次のページの画像などです。

（おわり）