【解説】衣装差分・ポーズ差分画像生成方法 (Pixiv Fanbox)
Published:
2023-09-01 12:57:40
Imported:
2024-03
Content
1.はじめに
この記事では、txt2imgの生成画像をもとに差分画像(着衣/脱衣やポージングなど)をimg2imgで生成することを目的としています。
なお、ControlNet登場以前から使っていた方法なので、ControlNetは使いません。
差分画像の生成は、text2video(プロンプトから動画への生成)での始点・終点の画像を作りたいニーズから、今後も注目されるものと考えています。
ただ、基本的な方法は、次の記事で既に書き記しています。
こちらを読んでいただければ、大体事足ります。
そのため、この記事では補足的な内容を書いていきます。
2.前提条件
3.生成例
※プロンプト自体は新規性がないため、省略します。
気になる方は、以前の記事を読んでください。
4.解説
元画像に色を塗ってぼかすことで、img2imgにおいてその箇所に集中して直してくれるイメージがあります。
実際、上の差分画像はそのようにして再生成していますが、ターゲット箇所以外はあまり変わっていないです。
これは、現在の画像生成AIが、ノイズ除去(ノイズをかけた画像から元画像を推測する)を原理とするものだからと説明できます。
ターゲット箇所の色塗りやぼかしによって、その箇所にノイズが残るため、集中して"ノイズ除去"されているのだと考えられます。
5.おわりに
比較的簡単なテクニックで、以前から紹介記事を公開しているのですが、何となくpixivでは知られていない印象を受けています。
そのため、この記事を書かせていただきました。
(おわり)