ControlNet material generator for Koikatu でできる事 (Patreon)

ControlNet用の画像をコイカツ／コイカツサンシャインから出力するmodツールです。
コイカツのシーンをStableDiffusionで画像化することを手助けします。

出力可能な画像群

ControlNet material generator for Koikatuは下記のページで公開していたツールの続編です。
下記ページで公開しているものは、コイカツサンシャイン(KKS)限定になりますがある程度の機能を使えます。
https://civitai.com/models/88098?modelVersionId=146865
このページでは
①上記ツールに機能を追加したバージョン（KKSでのみ動作するメインで開発中のもの）
②上記ツールがコイカツ(KK)で動作するバージョン（多くの追加機能とエフェクトなどの一部機能が未対応なもの）
を公開しています。

ツールの動作画面

KK/KKS上で撮影したスクリーンショットに対してControlNet(CN)のプリプロセッサを使えば同じ事ができるのでは？と思うかもしれません。CNのプリプロセッサが正しく解釈できる単純なポーズやCannyだけを使うなら、それは正しいです。CannyやOpenPoseを食わせても狙った絵がうまく出力できないようなとき、あるいは構図が複雑でプリプロセッサがうまく解釈してくれないとき、そんな時にこのツールが役に立ちます。

このツールはゲーム上のメッシュから各種情報を生成しています。そのため特にdepthやnormalでの精度がプリプロセッサのそれより精確です。OpenPoseのプリプロセッサで手足が正しく検出できないようなケースでもこのツールなら正しく出力します。

いくつかの機能を組み合わせることでキャラクターの詳細な書き分けが可能です

私はプログラマーでPhotoshopやGimpの類は一切使えませんが、ツールを駆使することでプロンプトでの試行錯誤無しに、コイカツサンシャインのシーンから上記のような画像を生成することができるようになりました。やったね！
StableDiffusionとControlNetの作者さんありがとう。