スタジオ真榊

NovelAI画像をAbyssOrangemix2でi2iしたら凄かった (Pixiv Fanbox)

Published:

2023-01-18 14:16:48

Edited:

2023-02-10 03:37:33

Imported:

Content

昨日ブログに投稿した記事「NovelAI中級者がローカル環境を導入したら別世界に突入した件」が非常に多くのいいね・RTをいただき、大変喜んでおります！賢木です。

(frame embed)

一方で、えちち画像の投稿が咎められてしまったのか、今日からツイッターアカウントがペナルティ（GhostBAN）状態に陥っており、喜んでいいのか悲しんでいいのか混乱中です笑　思い当たるえちち画像を削除してしばらく投稿を控えてみますので、リプライなど返せなかったらごめんなさい。

さて本題ですが、本日はさっそくローカル環境でどんなことができるようになったのかを報告していきたいと思います。ローカル環境でえちち画像が大量生産できて嬉しいぜ！という話は既にしたので、本日はこれまでに製作した「寝取られ妻のビフォーアフター」のページを、ローカルでi2iすることでどんなふうにクォリティUPできるのか？という試みをしてみましょう。

今回使うのはこちら！

ザ・NovelAIという感じの塗りなのですが、こちらを現在賢木が使っている学習モデル「AbyssOrangemix2」でi2iしていきます。こちらの画像をご覧ください。

具体的な手順は以下の通り。

・Stable DiffusionWebUIの画面を開き、

・「img2img」の画面左にさきほどの画像を入力し、

・NAIで入力したプロンプトを拡張機能でSD用に自動で書き換えた上で、

・学習モデル「AbyssOrangemix2」でi2iしています。

NAIの｛｝式のプロンプト記法はローカルでは通じないので、（）式に書き直す必要があります。いちいち手で打ち直すと大変なのですが、SDWebUIには拡張機能に「novelai-2-local-prompt」というものがございまして、導入するとボタンをワンタッチ（古い）でNAI式→SD式に書き換えてくれるので大変重宝しています。

▼インストール方法

・画面上部の「Extension」タブをクリックし、「Installed」「Avaliable」「Install from URL」とある中の「Avaliable」をクリック

・「script」の左にチェックが入っていれば外し、「Load from:」ボタンをクリック

・しばらく待つと拡張機能のリストが表示されるので、Ctrl+Fなどで「novelai-2-local-prompt」を探してインストール。

説明文：「NovelAI で使用されるプロンプトを WebUI で使用するために変換するボタンを追加します。さらに、以前に使用したプロンプトを呼び出すことができるボタンを追加します（Add a button to convert the prompts used in NovelAI for use in the WebUI. In addition, add a button that allows you to recall a previously used prompt.）」

成功していれば、NAIConvertというボタンが生成ボタンの横に表示され、NAI式でプロンプト欄に書いてボタンを押せば、ローカル式に自動で変換されます。

さて、話がそれましたが、さきほどの手順でできたのがこちらの画像です。

ハッとするほど美麗なのですが、口が閉じてる、目線が微妙にこちらに来ていない、左手が元画像とは異なる、背景も違う…と、いわゆるNAIで言えば「強Strengthでi2iしたとき」の現象が起きていますね。これではこれまでの画像とあまりにも違いすぎて、漫画の中で浮いてしまいます。これは画面内の「ノイズ除去強度(Denoising strength)」の値が高めの0.7に設定されていたため。

これはNAIにおけるStrengthと同じで、元画像をどれほど参照するかを表した数字。0なら元画像と全く同じ、1なら無関係な画像が出力されます。そこで、0.1から少しずつ強度を上げていったところ、次のような結果になりました。

ノイズ除去強度0.1

ノイズ除去強度0.2

ノイズ除去強度0.3

ノイズ除去強度0.4

ノイズ除去強度0.5

ノイズ除去強度0.8

ノイズ除去強度1.0

いかがでしょうか、おおむねNAIにおけるi2iと同じ感覚で変貌していくことが見て取れたのではないかと思います。0.8になると、ほぼプロンプトのみを参照する感じになっていますね。漫画で使って違和感が出ないのは、0.2かギリギリ0.3くらいまででしょうか。せっかくなので0.25を生成して、漫画に取り込んでみました。

加工前のNAI画像▼

Orangemixでi2i画像▼

ちょっと間違い探しレベルだったかもしれません笑

さて、顔部分は違和感が出てしまうのでこの程度が限界として、顔以外のクォリティーアップをすることはできないのでしょうか？SD WebUIなら部分i2iができるじゃあん！ということで、試してみました。

やり方は簡単。img2imgのタブ内にある「レタッチ」を選択し、画面左側に元画像を入力。グリグリとペンで特定部分にだけマスクを施し（画面の真っ黒にした部分）、生成を押すだけです。マスクした部分をi2iするだけでなく、マスクした部分「以外」をi2iすることもできるので、今回は「マスクされていない場所をレタッチ」をチョイス。Strength（もうこう言います）は0.5としました。

その結果…

なんと顔面はStrength0.25、カラダはStrength0.5という奇跡のバランスが！簡単に！できてしまいました！漫画にいれるとこう。

いい感じですね！（せっかく手もきれいなのに吹き出しで潰れちゃった笑）

ちなみに、結果の予想はできていましたが試しにStrengthを0.7にしたところ…