ラフから仕上げるAIイラスト術！線画と雑塗りi2iでどこまでやれる？ (Pixiv Fanbox)

こんにちは、スタジオ真榊です。今日は「ラフから仕上げるAIイラスト術」という業業しいタイトルで、ツイッター（X）に投稿したAIイラストのワークフロー解説をお届けします。

今回、とある書籍二冊を読んだことでAIイラストへのアプローチの仕方について考え直す機会があり、Controlnetに偏重気味だったこれまでの作画スタイルを大きく変えた作例に挑戦してみました。具体的には、最初からtext2imgで生成し始めるのではなく、あくまで頭の中にあるデザインにこだわって、ラフから線画化、仕上げまで手描きを厭わずに進行していくやり方になります。

スタジオ真榊のFANBOXの研究は、いわゆる「ひと目でつまらなく感じるAIイラストっぽさ」をできるかぎり廃して、投稿者の意図を感じることのできる画作りを目指すのが目的です。最終的に、一貫したキャラクターデザインを維持しながら、独自の絵柄を構築してオリジナル漫画作品を作ることを目指していますので、今回はその一環として、「手で描くこと」を重視したAIイラスト作りに挑戦してみました。

きっかけになった２冊

今回、イラストづくりの参考にしたのはこの２冊です。

「CLIP STUIDIO PAINTの良ワザ辞典」は、230もあるQ&A方式でクリスタの基本操作をおさらいできる解説本。大変お恥ずかしいのですが、これまで分からないことがあるたびになんとなく検索してクリスタを扱ってきたため、この本を読んでかなり多くの便利機能を見落としていることに気付かされました。

最近は前景（キャラ）と背景を別々に生成して統合したり、線画レベルで破綻を修正したりする手法がメインになってきましたので、クリスタに慣れたことで非常に修正がスムーズになり、また表現の幅も広がったと感じています。

もう一冊のさいとうなおき先生著「技の書 キャラクターイラスト徹底解説」は、現代キャラクターイラストの描き方について、非常にわかりやすく理論立てて解説した書籍です。特に「技の書」はキャラクターの表情や目の描き方について「なぜそうした方が可愛く/かっこよく/優しく/ミステリアスに見えるのか」を身も蓋もないまでにあっけなく解説してあるもので、イラストレーターは何を考えてそのキャラクターをそう描くのかが素人にも理解できる内容となっていました。

最近、SNSでAIイラストレーターの方々の作例を拝見していて、「自分は絵が下手なんだからできる限り描かないでAIに任せよう」と考えすぎていたことに気づかされました。「技の書」を読んでいて、「どんなに下手くそでも、画作りの初期段階から最後まで人間の手を入れ続けることで、作画技術のレベルとは関係なく十分意図を込められるのではないか」と考えたことも、今回の作例挑戦の理由の一つです。

ワークフロー①頭の中の絵をトンチキラフにする

さて、ここからさっそくワークフローを振り返っていきましょう。

私が絵を描けないのは皆さんご存知の通りだと思うので、何らためらいもなく自分の実力を出していきますが、頭の中でイメージしたスレッタさんのイラストをこのようにラフにしてみました。かわいいですね。

画伯の実力がわずかに足りておらず、前方を見て走っているように見えるかもしれませんが、足を曲げて宙に跳び出しつつ、左に振り返って手を伸ばしているようなポーズを出したかったのです。ためらい線は消しゴムしてしまえばよかったのですが、この時点ではイラストをちゃんと完成させようとすら思っておらず、本当に実験のつもりで進めていたので、クォリティの低さはご容赦ください。

完成したこのトンチキラフを、ラフから意図を読み取って画像生成してくれるControlnetの「Scribble」に掛けました。Controlnetの使い方や「Scribble」を知らない方は、こちらの記事をご参考に。

Controlnetが理解る！SD1.5系向けモデル15種＆プリプロセッサ35種を徹底解説

こんばんは、スタジオ真榊です。こちらはStableDiffusionwebUIに大きな革命をもたらした拡張機能群「Controlnet」の大型解説記事です。2023年春に登場した「ver1.1」について、2023年4月27日時点で使用できるモデル14種とプリプロセッサ全35種のそれぞれの特徴とできることを検証しました。 「Controlnet」はひと言でい...

scribbleを使うのは4月にこのまとめ記事を書いたとき以来なので、なんと5ヶ月ぶり。いかに私が「自分で描くこと」を軽視していたか分かると思います。

白地に黒で描いたものを放り込むわけですから、プリプロセッサは「invert (from white bg & black line)」を選びます。この下手くそな線に縛られてほしくないので、Controlモードは「Balanced」（プロンプトと指示された線画の両方をバランスよく参考にする）にしました。まずはうまくいくか試すため、アップスケールなどの設定はせず、768✕512pxでポン出しします。

プロンプト：1girl, suletta mercury, asticassia school uniform, black footwear, hair between eyes, jacket, long hair, looking away, necktie, short sleeves, simple background, jumping, surprised, solo, red hair, white background, white shirt, white shorts, masterpiece,extremely detailed CG,official art,high resolusion（＋スレッタLoRA）

この設定で、こちらのイラストが生成されました。

AIは指示された線画とプロンプトから、やはり「走っている」イメージを連想したようで、このようなポーズになりました。

ワークフロー②ポーズを修正する

私が抱いているこのイラストのイメージは、もっと女の子らしく膝を揃えて、元気にぴょんと跳んだようなイメージです。浮遊感と元気さ、女の子らしさがポイントなので、左上の１枚からDW Openposeを使ってこのようにポーズ情報を抽出し、「Edit」で少し棒人間のポーズをずらしてイメージに近いポーズに寄せてみました。

※DW openposeを使って既存の画像からポーズを抽出し、それを自由に編集する方法はこちらの記事で解説しているので、まだ試したことがない方はご参照ください。

新プリプロセッサ「DW openpose」登場！旧Openposeよりどうスゴイ？

こんばんは、スタジオ真榊です。今夜は知らぬ間にControlnetに仲間入りしていた新プリプロセッサ「DW openpose」の検証記事です。 「DWposeという技術を使った、Openpose fullよりスゲースゴイ全身用プリプロセッサです」で説明がもう終わってしまうのですが、確かにこれ…スゴイです！（語彙力喪失） こちらの適当な５人...

よりイメージに近くするため、プロンプトも修正します。本当は目だけ左を振り返ってほしいのですが、それはあとで手描き修正できるので、とりあえずこちらに向いて微笑んでいるプロンプトにします。

プロンプト：1girl, suletta mercury, asticassia school uniform, black footwear, hair between eyes, jacket, long hair, looking at viewer, necktie, short sleeves, simple background, jumping, open mouth, smiling, solo, red hair, white background, white shirt, white shorts, masterpiece,extremely detailed CG,official art,high resolusion

これで生成したのがこちらの４枚です。

狙い通りひざだけは揃いましたが、ほかは崩壊してますね。背景を真っ白にしたくても、謎のオブジェクトが生じがちなのはOpenposeモデルの宿命のようです。今回のテーマは「できるだけ手書きする」なので、とにかく基本の輪郭がよくできている左下の１枚を線画抽出して、手描きで修正することにしました。

ワークフロー③線画で修正する

AIイラストを線画化するにはいろいろな方法がありますが、今回はControlnetのLineartで読み込ませるために線画化したいわけですから、プリプロセッサ「Lineart realistic」に読み込ませて、「↓」ボタンでダウンロードする一番簡単な方法を選びます。プリプロセッサ「Lineart anime」で線画化するより、「realistic」のほうが線画らしくなるので好んで使っています。

ダウンロードした黒背景の線画をクリスタで読み込み、手作業で修正します。

こちらが作業過程のGIF動画。黒で消して白で直すだけなので、全く絵心がなくてもマウスで誰でもできる、数分程度の作業です。キレイに直す必要はないので、肘の関節の太さなども気にしない。とにかくいらんものを排除してそれらしく見えれば十分です。

ブーツが短すぎたので、適当にミドル丈に直しておきました。

これを今度はCN「Lineart anime」に読み込ませます。既に黒背景になっており、プリプロセッサで変換する必要はありませんので、「none」にします。また、この線を厳密に守ってほしいわけでもないので、「My prompt is more important」にします。

「AIは人間の指示で縛りすぎるとキレイに描けなくなる」がAIイラストの基本。だんだん仕上げに近づくにつれて、「AI任せ」度合いを強めていくことがきれいに仕上げるコツです。

プロンプトはさきほどと一緒。ここから仕上げに向けてクォリティを上げていく必要があるので、「高解像度補助」を2倍サイズ・デノイズ0.4で掛けています。使用したアップスケーラーは「AnimeSharp」です。（AnimeSharpや使用ライセンスについてはこちらの記事を参照のこと）

アップスケールが理解る！i2i/Tile/LoRA/Hires/Extraぜんぶ解説【15000字】

【2023/08/30更新】「AnimeSharp」「UltraSharp」の制作者さんより、商用利用不可のライセンスについてご回答を頂きましたので、該当部分に追記しました。 こんばんは、スタジオ真榊です。今回は、AIイラストを高画質にする「アップスケール」の方法についての大型まとめ記事をお届けします。 先日、FANBOXのメインコン...

生成結果はこちらです。Openposeを使っていないので下二枚は謎オブジェクトが出ませんでしたね。別に謎オブジェクトは消してしまえばよいので、さほど問題にはなりません。ここで気にするべきは、「直しやすいものはどれか」ということです。

答えは左上。下段の２枚は一見謎オブジェクトのないキレイなイラストに見えますが、どちらも両足ががっつり破綻しています。これを直すのはかなり面倒なので、この時点で選択肢から外れます。

右上は脱ぎかけのジャケットのような黄色い謎オブジェクトがキャラクターに絡んでいて、これも消しにくいので却下。左上は謎オブジェクトが宙に浮いており、キャラ部分だけを抜き出すのが簡単なので、これを採用しました。

＜※今回のワークフローでは、全て「4枚1発出し」で、いわゆるガチャ（大量生成とチェリーピック）を行っていません。ここでガチャをしばらくやることで仕上がりは格段によくなると思います。この段階でプロンプトを練って、もっと意味やメッセージ性の感じられる手や顔の表情に変えてもよいです。「ガチャはAIの偶然性に頼る行為」と感じるかもしれませんが、明確な完成図をしっかりイメージして適切なseed値探しをすることは、クォリティを担保する上でとても大事だと今は考えています＞

ワークフロー④雑塗りi2iで修正

Anime Remove Backgroundで左上の絵を切り抜いて、背景部分をマスキングします。ついでに、絵の破綻部分を「雑塗り」しました。

これは、これからi2iでアップスケールするついでに、破綻部分も直してほしいから。これも数分程度の作業です。（GIF動画）

直したのは主にブーツと靴下と左手。あと、ポニーテール（？）部分がなかったので描き加えました。最後グリーンバックにしたのは、あとでまたAIで切り抜くときに区別がつきやすくて良いかと思ってそうしたのですが、結局きれいに切り抜けなかったので、ぶっちゃけやらないほうが良かったかもしれません。

（※どうすると最もキャラ絵を切り抜きやすいのか、この点はいずれまた研究したいと思っています）

とにかく、できたものをi2iアップスケールします。プロンプトは特に変えておらず、1024✕1536pxを1638✕2457pxにアップスケールしました。

こちらが生成結果です。手が崩壊しているので分かりはしますが、この時点で、かなりAIっぽさを取り除けているのではないかと思います。

ワークフロー⑥仕上げ用の線画化

ここからさらに、いま取り組んでいる「仕上げ用の線画化」を行いました。

Photoshopで上の画像を取り込み、「フィルター」▶「フィルターギャラリー」▶「コピー」とし、ディテールを「１」にして、ちょうどよい濃さになるように「暗さ」を調節すると、きれいに線画化できる…という手法をSNSで教えていただきました。

この線画をクリスタに戻して「透明度を輝度に変換」すると、白部分だけが削除されて透過された線画になります。（私はクリスタのほうが作業しやすいので戻していますが、Photoshop上でもできると思います）

さきほどのグリーンバック画像に重ね、緑背景を削除したのがこちらの画像。

しっかり線画が重なって、よりアニメ調になりました。ただ、かなり線画が強調されてバタくさくなりましたので、合成モードを「乗算」にしたり透明度を操作したりして調整します。

背景はクリスタのデフォルト素材「天の川」を使用。影をつけて左上と右下に切り欠きを入れることでイラストらしさを出しつつ、左下から右上に向けてスレッタがぴょーんと飛び出してきたように見えるように視線誘導しました。３秒くらいでできる超簡単な工夫なのですが、こういう意図のある切り欠きはAIに絶対できないので、「パッと見のAI絵っぽさ」を大幅に減衰させることができます。背景にAIイラストを別生成することもよくやるのですが、キャンバス全体に占めるAI絵の面積比率を下げる意味では、素材背景やシンプルなパターンにした方が「ぱっと見の仕上がり」がよくなる印象があります。

いったん完成したAIイラストにさらに線画を重ねる手法も、この「AIらしさ」を取り除くのにかなり有用と感じています。必要に応じて「色トレス」を行うといい感じになりますが、今回は割愛。

ご覧になると分かるとおり、わざわざグリーンバックにしても思ったほどAIではキレイに抜けませんでした。実験イラストに時間を掛けるのは嫌だったので、なんとなく緑に発光している感じになって誤魔化してあります。もう一段クオリティを上げるためにはPhotoshopのクイック選択ツールを使ったり、選択範囲を拡張したりしてごみを取り除く必要があるかなと思います。

他にも、

・左右の指が破綻していること

・左右のブーツのデザインが異なること

・しっぽの髪留めが原作準拠でないこと

・本当は目線を左に流したかったこと

・笑顔ではなく少し驚いた表情にしたかったこと

・左手はピースではなく女の子らしい「グー」にしたかった

などのミス、解釈違いがいまだ生じていますが、今回は新しいワークフロー開拓のための実験でしたので、ここで一旦作業終了。

最初に下手な線画を描き始めてから下の投稿をするまで、作業時間はほぼ1時間程度でした。

最後まで意図どおりに仕上げてみよう

私のように絵心のない人間でも、Scribbleや線画化修正、雑塗りi2iといった手法を徹底すれば、かなり意図を最終結果に残せることが分かりました。昨晩は実験だったので途中で完成扱いにしましたが、さきほど浮かんだ懸念点をしっかり最後まで修正して、きちんと意図通りに完成させてみるとどうなるでしょうか。

参考にしたのは、「技の書」で学んだ「なぜこのイラストは魅力的なのか？」という理論付け。この絵では、スレッタさんは左から右に飛び出しているわけですが、後ろから呼び止められて「あれっ？間違えた？」というふうに振り返っているイラストにしたいです。そうすることによって、スレッタさんの元気なところ、エネルギッシュなところ、ちょっとドジなところ、それとは裏腹に女の子らしいところ、純真さ、健康美、といったものを表現したい、というのがこのイラストの「意図」だったはずです。

そうなれば、やはり左手はピースではなく「女の子らしいグー」にすべきですし、ホルダー制服をせっかく夏服にしているので、もっと胸や襟周辺のデザインを正確に再現したい。ブーツのデザインももう少し違和感を抑えたいので、このように雑塗りしました。

,1girl, suletta mercury, black boots,dark skin,thick eyeblows,asticassia school uniform, black footwear, hair between eyes, jacket, long hair, looking another, necktie, short sleeves, simple background, jumping, open mouth, surprised,wondering, solo, red hair, white background, white shirt, white shorts

目線と表情を直したいので、このようにプロンプトも差し替えます。生成してみると、こんな感じに。

表情、制服はかなり意図に近いのですが、指と髪が崩壊してしまっているので、このようにレタッチします。（※胸のマークは絶対にi2iでは崩壊するので、あとで直せばOK。そもそも、崩壊することを見越して書き入れなかったほうが良かったかも）

再度i2iします。

おおむねこれでAIにやってもらうことはおしまいです。あとは人力でなんとかしましょう…

再び余白部分を切り抜いて、胸のマークや指の不自然な部分、髪留めの色のおかしさなどを描き直します。

あとは縁取りやグラデーションつき色背景などの加工を施して、完成です！白い縁取りをつけたのは、黒いブーツが宇宙に溶けてしまうのを防ぐための処置。「！！」も付けて、意図を強調してみました。

白い切り欠き部分に少しだけキャラクターをはみ出させることで、立体感を演出できたのがよかったなと思います。あとは、やはり目線や手の表情なども含めて、妥協しないで最後まで仕上げたことも大事なポイントでしょうか。AIくんに整ったイラストを出されると、それでいいような気がしてしまうのですが、「いや、私はこうしたいんだ」とねじり返すことをするかどうかが重要なのかな、と感じています。

終わりに

今回は大幅に普段と違う画作りをしてみましたが、ここまで徹底して意図を込めたわりに、さほど作業時間が掛からなかったことに意外さを感じています。「雑塗りi2iは面倒で時間がかかる」「画力の全くない自分には向かない」という固定観念があったのですが、たとえtext2img用拡散モデルであったとしても、画像生成AIには画像で説明したほうが正確で手っ取り早い…ということなのかな、と思っています。

ちなみにここまで一生懸命作業してきたのに、最後のi2i時に右手が６本指になっていることを見逃してしまい、痛恨の投稿し直しになりました（笑）　偉そうにAIイラスト術などと解説していても、何度も直していると目が滑ってしまうんですよね…。

再投稿しましたので、もし今回の記事が何かの参考になりましたら、こちらのツイートをRTなどしていただけると嬉しいです。（なんかYOUTUBERみたい）

そんなわけで、少々駆け足でしたが、「ラフから仕上げるAIイラスト術！線画と雑塗りi2iを活用しよう」でした。今回、かなりの数の書籍を支援金で購入させていただいて勉強しておりますので、得られた知識をもとに実用的な解説を投稿していきたいと思っております。いつもご支援本当にありがとうございます！

分かりにくい部分などありましたら追記しますので、コメントなどいただけると嬉しいです。それでは、今日はこの辺で。スタジオ真榊でした。