posemaniacsに神機能！「ハンドビューワー」でできる手修正 (Pixiv Fanbox)

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

2023/08/11：記事後段に新項目「さらに正確に指を再現する」を追加しました。

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

こんばんは、スタジオ真榊です。以前からこのFANBOXでもたびたび紹介してきたControlnetの味方「posemaniacs（ポーズマニアックス）」さんに、新機能「ハンドビューワー」が追加されました！

一目見た瞬間からゲームエンド感が漂うこの機能。ControlnetやImage2imageと組み合わせれば、思い通りの手の表情を作り出せそうな感じです！SDのどの機能とどうやって組み合わせるのが効果的なのか、さっそく試してみました。

- 目次 -

PosemaniacsはControlnetOK！

新登場した「ハンドビューワー」

Controlnetでどう使う？

コラージュ＆Inpaintを試そう

やっぱりControlnetでいこう

ゼロからの「両手固定生成」も可能

DepthMapLibraryの素材にしよう

さらに正確に指を再現するには

おわりに

PosemaniacsはControlnetOK！

ポーマニさんは、さまざまなポーズを取った人体の3Dモデルをブラウザ上で閲覧できる3Dビューワーサイトです。本来は手描きの絵師さん向けのサービスで、多岐にわたる全身ポーズが男女別に無料公開されています。ポーマニさんでは参考にした絵の販売や商業利用などを広く許可しており、今年2月にControlnetが登場した際も、AIユーザーがポーズ指定生成に利用することを許可してくださった経緯があります。

ただ、こちらのツイートにもある通り、スクレイピングでサイトに重い負荷を掛けることは絶対ダメ！　他にも「ポーズマニアックスの持続可能性のある運営を著しく脅かす可能性のある行為」や「本来の意図・用途を大きく逸脱している利用」も控えるよう呼び掛けられています。例えば、データを流用して類似のサービスを展開するとか、ポーズのキャプチャをそのままマグカップやTシャツとして再販売するといった行為は固く禁じられています。

新登場した「ハンドビューワー」

さて、今回登場した「ハンドビューワー」は、全身像ではなく腕の途中から指先までの3Dモデルを回転・拡縮しながら閲覧できる新機能です。手のポージングは記事執筆時点で34種公開されており、ピースサインや１本指を立てたもの、何かをつまむ形などなど、かゆいところに手がとどくラインナップとなっています。特徴のあるポーズだけでなく、名前のつけづらい、指が自然に揺らいでいるようなモデルも多数収録してくださっていて、どれもそのままAIイラストに応用できる感じのものばかりです。

ビューワーはこちらのリンクから！

操作画面はこんな感じです。ビューワーの下部分にボタンが三つあり、左がグリッド線や影の設定、中央が別ポーズ呼び出し、右がモデルの左右反転に対応しています。マウスホイールで拡縮、左ドラッグで回転、右ドラッグで移動させることができます。

こちらは登録されているモデル一覧の一部。これだけの種類をぐりぐり回転拡縮できるわけで、かなり魅力的ですね！今後もポーズの追加が期待されます。

Controlnetでどう使う？

当然、CNを重点的に研究してきたスタジオ真榊FANBOXとしては、多いに活用したいこのハンドビューワー。これまでの手修正研究記事（▼）を踏まえ、どういう利用法が効果的か考えてみました。

手修正の最適解は？破綻を直す7つの方法「＋１」

こんばんは、スタジオ真榊です。今夜はAIイラストの鬼門の一つである「破綻した手の修正」に関する大型記事です。image2imageやNegativeEmbeddings、Controlnet、LoRA、LamaCleanerなど、これまで考案されてきたさまざまな修正方法を網羅的に紹介しつつ、「①修正力の強さ」「②手軽さ」「③侵襲性（手以外への影響）」に分...

前提として抑えておきたいのは、SDの拡張機能「Depth map library」（以下DML）の存在。これは多数の手の形をしたdepthマップをWebUI上で二次元的に拡縮・回転・反転させられる機能で、Controlnetに直接送り込みやすいUIになっていることが魅力です。ポーマニのハンドビューワーと異なるのは、登録されている手のポーズがあくまで二次元のdepthマップであり、三次元的に回転させて馴染ませることはできないところですね（※反転や自由拡縮は可能）

これを踏まえて思いつくハンドビューワーの利用法が、下記の３点です。

①コラージュ＆Inpaint

修正したい手の形をハンドビューワーで再現し、切り取り&スケッチ機能（Shift+win+sキー）などでスクリーンショット。既に肌色なので、画像編集ソフトで修正したいイラストにコラージュして、その部分をInpaintで整える。

②Lineart合成

同じようにスクリーンショットした後、ControlnetのLineartやDepthでデータ抽出。修正したいイラストにInpaintOnlyを施して、手の部分だけを修正する。

③Depthマップ利用

Depth Map Libraryで使える素材として使う。スクリーンショットからDepth系のプリプロセッサで深度抽出し、その画像を「extensions\sd-webui- Depth-lib\maps」に放り込んで、Depthマップライブラリの「弾」を増やす。

いずれにせよネックとなるのは、キャラクターイラストの手の位置に違和感なくハンドビューワーの手を配置する作業が不可欠だということ。①は画像編集ソフト上で、②は線画同士の合成で、③はDML上で、それぞれ位置を合わせることになります。

第一印象では、ハンドビューワーのモデルは全てアジア系の「肌色（うすだいだい）」なので、そのままコラージュするのが最も手っ取り早く思えますが、どうでしょうか。

コラージュ＆Inpaintを試そう

さっそく実験してみましょう。「手修正の最適解は？」の記事でもテストに使ったこちらのイラストを題材にします。

前回はピースサインで実験しましたが、今回はこの両手を「グー」に変えてみたいと思います。

左右の手は微妙に角度や大きさが変わることに留意しながら、まずは２種類の手をスクリーンショット。ビューワーの右上のボタンで全画面化できるので、適当な大きさでスクショしたら、適当に切り抜きます。方法は「anime remove background」や「sd-katanuki」など、背景透過できればなんでもOK…というか、既に白背景ですので、画像編集ソフトで適当に選択して切り抜くだけで良かったですね。

あとはできたものを画像編集ソフトで元画像にコラージュするだけです。こう見ると全然肌の色が違うので、適当に色調補正を掛けてみましょう。

適当に明るくして配置したのがコレなんですが…。明るくすると、陰影がなくなってi2iしにくくなることが分かってしまいました。ピースサインもはみ出しているので、これではうまくいかなそうです。

とりあえずどうダメなのかも確かめたいので、最後までやってみましょう。ふちどりツールを使って、黒いふちどりをつけます。さらに、もともとのピースサインを周囲の色で塗りつぶしてしまいます。スポイトツールで吸い上げてマウスで塗るだけなので、10秒程度。

最低限それらしいものはできました。これを「下絵」として出力し、image2imageの通常のInpaint画面に入れて生成してみます。プロンプトは適当に、nice hands, perfect hand,clenched fistという感じ。ノイズ除去強度は0.4でやったら縁取りがもろに残ったので、0.5でやり直しました。

結果がこちら。

うーん…何度か繰り返せば多少ましになるのかもしれませんが、手間をかけた割にはレベルが低いですね。

では、ControlnetのLineartで抜き出すのはどうでしょうか。

これはもう、失敗が目に見えていますね。輪郭しか抽出できなかったため、どう見ても五指の位置を制御できなさそうです。わざわざポーマニさんを使わせていただく意味がありません。

しょうがないので、depthを次に使ってみました。一つめのCNがこれ。

2つ目は当然、InpaintOnlyです。手の周りを塗りつぶします。

うーん！ちょっとうまくいきませんね。雰囲気は買うんですが、実用レベルとは言えません。指の「境目」がはっきりと強調されない限り、せっかくの神ビューワーを活かせないようです。それでは私たちAIユーザーにも門戸を開いてくれたポーマニさんに報いることができない…！

やっぱりControlnetでいこう

失敗にめげず、どんどん試していきましょう。さっきは肌色を変えてしまったために陰影が薄れたのが敗因と考えます。image2imageしないのであれば、肌色は関係ありませんから、このように、そのままの色でまずは位置合わせだけします。

そしたら、今度はイラスト部分のレイヤーを非表示にして、この状態でpngとして保存してしまいます。横縦の比率がそのままで、位置さえ合っていれば問題ありません。適当に768x512サイズで出力しましたが、別に大きめである分にはOKです。

ここは長年（CN歴半年）の経験とカンから、lineart_realisticで抽出してlineartに食べさせるのが最適と判断。LineartAnimeだと、こういうリアルなブツから輪郭は抜きにくいんですよね。CN is more importantにすることも忘れずに！（2つ目のCNはさきほどと同じInpaintOnlyです）

とりあえず高解像度補助なしで4枚一発生成したのがこちら。

やはりCNの方が良い結果となりました。何度かガチャればまともなのが出そうな感じがしますね。ちなみに、高解像度補助はなし、サイズは768×512で生成してます。

プロンプト：nice hands, perfect hand,clenched fist,bare hands,masterpiece,extremely detailed CG,official art,high resolusion

比較的ましにみえる左下の１枚をi2iでアップスケールすれば…

比較的見れる感じにはなったんじゃないでしょうか。手周辺にInpaintOnlyでもサポートできなかった破綻がやや残っていますが、アニメタッチなのでLamaCleanerすればOKと思います。

ゼロからの「両手固定生成」も可能

もちろん、既存イラストの修正だけではなく、手の形だけをあらかじめ指示して通常生成することも可能です。実際にやってみましょう。

まず、ハンドビューワーでこのような手を出しまして、スクショします。

次に、画像編集ソフトでコピペ→反転して、こんな形にします。背景はわかりやすく黒くしましたが、実際は透過にしてあります。キャンバスサイズはこれから生成する絵の比率にしておきましょう。（この場合は768x512）

そしたらさきほどと同様にlineart_realisticで抽出してlineartに食べさせるだけ。すると、下の画像のようになります。今回は手修正ではなく固定生成なので、InpaintOnlyの出番はありません。

このCNひとつだけで、適当な女の子を生成します。パーフェクトに固定はされていませんが、指示どおりの手の位置の女の子が生成されます。服をつまんでる感じに変になってますが、どうせ隠れる構図にするつもりだったので、ここは気にしません。

あとはアップスケールして加筆して…あっという間に完成。

所要時間は計8分ほど。ちょっとしたネタ画像作りにはいい感じですね！

一瞬image2imageのほうが簡単にやれるかな、と思ったのですが、やはりこれまでの手法と同様、Controlnetを使った方が確実という結論になりました。image2image(通常のインペイント)が私は苦手ということもあるので、多少好みかもしれませんが、工程が多くなっても個人的にはLineart+inpaint onlyといういつものセットが落ち着きますね。

DepthMapLibraryの素材にしよう

たとえばさっき作った「紙をつまむ手」なんかも、こんなふうに背景透過してキャンバスサイズを狭めまして、

「extensions\sd-webui-depth-lib\maps」の中に放り込んでUIを再読み込みすれば、depthmapライブラリの中に素材として読み込ませることができます。

こうしておけば、いつでも好きな比率のキャンバス上に呼び出して回転・拡縮することができますので、「Controlnetに送る」ボタン一発でいつでも好きな子に紙をもたせることができるわけです。最高ですね！

さらに正確に指を再現するには

さて、記事をいったん完成させたあとにもいろいろと試していたのですが、さらに誤解を防いで正確に指を再現する方法が見つかったので、報告します。

最終話スレッタさんLoRAを作っていて、こちらの画像の手を直してみたくなったので、ハンドビューワーから手を借用してみました。

さきほどと同じように、このように位置を調整して、手だけの透過pngを作ります。

あとはこのように、Lineart realisticで抜き出してInpaintOnlyと一緒に生成するだけなのですが…

結果はおおむね悪くないものの、薬指の根本と小指がややこころもとない表現になってしまっています。こういう特殊な形は、AIが非常に理解しにくいのですよね。

そこで、ある方法を試したところ、このようにハンドビューワーの形状をかなり正確に再現できるようになりました。一方、肌の色や細部はやや低劣化してしまっているのですが、あとで修正するのであれば、形状の継承目的ではこちらの方がずっと優れていることがわかります。

何をやったかというと、Lineart realisticとInpaintOnlyに、さらに３つめのCN、SoftEdgeを加えたのでした。

Depthとの併用も有望です。ハンドビューワーはかなり立体的・写実的に描かれ、影も描写されているので、比較的深度情報を抜きやすいです。depth zoeがおすすめ。

いずれも加筆や修正は必要ですが、輪郭がしっかり描けているとその後の修正もラクになりますね。まだ試していませんが、もしかするとCannyなどでもうまくいくかもしれません。

終わりに

そんなわけで、「ハンドビューワー」で手修正！posemaniacsに新機能襲来でした。思ったよりもずっと実用的で、また痒いところに手の届く新機能でしたね。特に、DepthMapLibraryに素材登録までできるというのは大変ありがたい。漫画などで手の表情にこだわりたいときなど、今回の方法はかなり役立つのではないかと思います。

最後のミオリネさんは「ADetailer」という拡張機能も使って手を整えているのですが、FANBOXできちんと解説したことがなかったので、近いうちにこちらも紹介したいと思っています。

それでは、今日はこのへんで。もしよかったら、昨日の小説も読んでみてくださいね！スタジオ真榊でした。