【解説】衣装差分・ポーズ差分画像生成方法 (Pixiv Fanbox)

1.はじめに

この記事では、txt2imgの生成画像をもとに差分画像（着衣/脱衣やポージングなど）をimg2imgで生成することを目的としています。

なお、ControlNet登場以前から使っていた方法なので、ControlNetは使いません。

差分画像の生成は、text2video（プロンプトから動画への生成）での始点・終点の画像を作りたいニーズから、今後も注目されるものと考えています。

ただ、基本的な方法は、次の記事で既に書き記しています。

こちらを読んでいただければ、大体事足ります。

そのため、この記事では補足的な内容を書いていきます。

2.前提条件

3.生成例

※プロンプト自体は新規性がないため、省略します。

　気になる方は、以前の記事を読んでください。

4.解説

元画像に色を塗ってぼかすことで、img2imgにおいてその箇所に集中して直してくれるイメージがあります。

実際、上の差分画像はそのようにして再生成していますが、ターゲット箇所以外はあまり変わっていないです。

これは、現在の画像生成AIが、ノイズ除去（ノイズをかけた画像から元画像を推測する）を原理とするものだからと説明できます。

ターゲット箇所の色塗りやぼかしによって、その箇所にノイズが残るため、集中して"ノイズ除去"されているのだと考えられます。

5.おわりに

比較的簡単なテクニックで、以前から紹介記事を公開しているのですが、何となくpixivでは知られていない印象を受けています。

そのため、この記事を書かせていただきました。

（おわり）