自作イラストをAIに仕上げてもらうには？比較実験で分かった"AI清書"のコツ (Pixiv Fanbox)

こんばんは、スタジオ真榊です。このところ、手描き絵をAIに「清書」してもらう手法について研究を続けています。

もともと、色を適当に置いただけの「トンチキカラーラフ」を使って思い通りの構図を出力するところからスタートしたこの研究なのですが、趣味でイラストを勉強しているうちに、タッチや描き込みを変化させると清書結果がどのように変化するか、いろいろと分かってきました。

今回は最近の作例を振り返るとともに、AIに清書してもらうことを前提に下絵を描く場合、どこまで描き込みを増やすと効果的なのかや、線画の太さやカラーの置き方、仕上げの際に原画のタッチを残す手法などについて、多くの実験を通じて報告したいと思います。

（※具体的な「清書」手順についてはどれも基本的にあまり変わりありません。前回、前々回の「雑塗りTile作例紹介」の記事をご参考にしていただければと思います）

複雑なポーズに挑戦しよう！「雑塗りTile」作例紹介

こんにちは、スタジオ真榊の賢木イオ（@studiomasakaki）です。先週あたりからcontrolnetと手描きをミックスした生成方法を色々と模索していまして、今日はこちらのAIイラストのワークフローを振り返りたいと思います。 基本的には前回使った「雑塗りTile」をベースにしているのですが、特にミオリネさんの方は複雑な手...

/////////////////////////目次/////////////////////////

作例振り返り

生成結果から分かったこと＆分からないこと

実験の前提

実験０：基本設定を探る

実験１：線画のみ

実験２：線画＋下塗り（＋ハイライト）

実験３：線画なし

実験４：線画を濃くする

実験５：線画を足し引きする

実験６：小さいサイズで入力する

実験７：ぼかす

実験８：線を足しまくる

まとめ

終わりに

作例振り返り

まずはこのところの作例についてざっくり振り返っていきたいと思います。一つ一つ掘り下げるには紙幅が足りないので、ご興味のある方以外はなんとなく読み飛ばしていただければ幸いです。

以下、左がTileに読み込ませた下絵で、右が生成結果（無加筆）です。イラストの各タイトルをクリックすると、加筆した完成イラストの投稿に飛びますので、それぞれ見比べてみて下さい。

・水星の魔女/スイパラファンアート（2枚）

スイーツパラダイスで水星コラボメニューが出た記念に作ったもの。はじめから２人を別々に作って後で合成することを前提に「トンチキ絵」を描き、Tileで清書しました。メニューもそれぞれメニュー写真を模写してトンチキに色を置き、Tileで清書したものを合成しています。

スレッタさんはできるだけ色をそのままにしたかったので、プリプロセッサ「tile colorfix+sharpness」を使いましたが、やはり空中に色ムラがでてしまっています。

こちらはミオリネさん。スマホを見れば分かる通り、色はあまり正確に再現されていませんが、これは色ムラを避けるためにプリプロセッサ「none」で作っているからです。

以前の検証でvariationを32に設定することである程度回避できることが分かりましたが、「none」で生成した方が比較的高品質に感じるので、最近はもっぱらそちらを使っています。もちろん、色ムラが出てもクリスタで塗りつぶせばいいのですが、色調は後からでもいくらでも調整できるので、作業量の削減を優先するなら「none」かな…というのが現時点の結論です。

こちらが加筆した２枚を合成し、仕上げたもの。真ん中の吹き出し内は以前作った漫画から切り抜いたものです（※niji journey産）。一つのテーブルについていると見えるよう、クリスタでテーブルを合成したあと、木目のテクスチャを貼っています。

・水星の魔女 / 1周年記念ファンアート

アニメ放映１周年記念で作ったもの。深夜に「やっぱり描こう！」と思い立って１時間半程度で仕上げたので、影などをほとんど付けていません。

が、全く問題なく生成できていますし、見切れている部分も描き足してくれていますね。トンチキカラーラフにおいては「おおむねどこに何を描けばよいのか」さえAIに伝わればよいわけですから、必ずしも下絵を「完成」させる必要はないことが大前提になります。むしろ、絵が描けないのに描き込みすぎると低劣なディティールが引き継がれてしまうことがあるため、「どこまで描き込むべきか」が重要と言えますね。

・失敗イラスト

こちらは「ゼロからトンチキカラーラフを描かなくても、最初からT2Iしたものをベースに雑に描き足せばよいのではないか？」という実験を試みたもの。特に、こちらに手を伸ばした「漫画パース」を再現できるか試したのですが、うまく完成にたどり着けませんでした。

詳細は省きますが、まずt2iで下図のように構図を作り、いったんPhotoshopで線画化。不要な部分を消して線画レベルで描き直し、クリスタで雑に塗ったのが上の画像の左側です。

「清書」後を見ると分かる通り、いくつか問題が生じていますが、最大のものは「ホウキが低劣なままになっている」ことです。設定値を変えていろいろと試したのですが、どうしても元絵とほとんど変わらず、詳細化しませんでした。（※漫画パース自体は成功したので、いずれどこかでやり方をまとめたいと思います）

理由は推測になってしまいますが、Tileは全体に同一程度に描き込み量を増やす傾向があるようで、キャラクターの顔部分が既にかなり描き込まれていたことから、それ以外の部分も描き込みを増やさなくなったのではないか？と考えています。この例からいくと、

・「トンチキカラーラフは『全体的にトンチキ』でなければならない」

・「一部がAIクォリティ（高品質）で一部がトンチキ（低劣）だと、トンチキ部分の描き直しが上手に行われない」

という仮説が立てられます。

・水星の魔女 / ミオリネファンアート（模写）

左は恥ずかしながら、本気で最後まで真剣に仕上げた初めてのイラスト…の、髪部分を雑に塗りつぶしたものです。トンチキカラーラフを清書する手法は、本来「時短」であることが肝要なわけですが、あえて自分の本気のイラストを清書するとどうなるのかに挑戦しました。手は一部崩壊していますが、おおむね意図そのままに「清書」できたと思います。「手描きで修正→i2iアップスケール→さらに仕上げ」を経て完成しています。

ちなみに、せっかく最後まで仕上げたイラストの髪の毛部分を汚く塗りつぶしていますが、これは元イラストの髪の影の色が、制服と似た薄緑色だったため、下図のように色が混じってしまったのが原因です。

この例から「色が似通ったものが隣同士にあると、境目が分かりにくく『清書』が間違えることがある」ということが分かります。colorfixを使わない場合は基本的に色合いは各モデル任せ（またはLoRAまかせ）で変容するので、よほどこだわりがなければ「正確に色を再現する」よりも「誤解が生じない色合い」で塗ることが大事と言えそうです。

・水星の魔女 / スレッタファンアート

ミオリネさんを最後まで描いたので、スレッタちゃんも最後まで自分で描いてみよう！と思い立って描いたもの。こちらは「バケツ」機能を使ったいわゆるアニメ塗りではなく、クリスタの「ガッシュ細筆」で塗りました。特にプロンプトで画風指定はしていないのですが、タッチが残っていい感じになりました。

制服のディティールが変容したり、吐息のような「白いもや」が生じてしまったので、これは加筆によって直しています。

生成結果から分かったこと＆分からないこと

はじめは「トンチキカラーラフは色を配置するだけでよく、何時間も掛けて下絵を完成させてもさほど生成結果は変わらない」と思っていたのですが、最後のスレッタさんのイラストを見ると、特にプロンプトで画風を指示しなくても、元イラストの「色の位置」だけでなく、タッチをも読み取って再現してくれていることが分かります。

さらに、

①トンチキカラーラフは『全体的にトンチキ』でなければならない

②一部がAIクォリティ（高品質）で一部がトンチキ（低劣）だと、トンチキ部分の描き直しが上手に行われない

③色が似通ったものが隣同士にあると、境目が分かりにくく『清書』が間違えることがある

…といった情報も（確定的ではないものの）作例を通じて体感として得られたところです。

これらに共通する疑問としては、「カラーラフのタッチや描き込み量によって、"清書"の結果はどのように変化するのか」ということ。

少なくとも、この例から分かるように、ラフには目鼻や影を描き込まなくても「Tile」はカラーラフの意図をかなり正確に汲み取ってくれます。ただ、描き込みを増やすことでそれなりに清書結果が変化するようですので、「どこまで描きこむのが良いのか」という問題が生じます。どうせ清書で消えてしまうディティールなら描き込むだけ時間の無駄になってしまいますので、比較実験してみたいと思います。

実験の前提

今回実験に使うのはこちらの左のイラスト。「トンチキカラーラフ」ではなく、頑張ってクリスタで描きました。右は普段のテクニックで「清書」したもの。例によって色合いや線画、ディティールは変化していますが、おおむね意図した通りに仕上げてくれています。

今回の実験では、この左のイラストの品質を変化させると、どのように生成結果が変わるかーーということを確かめたいと思います。

こちらをご覧ください。これはどれも、使用するモデルを変えたり、Tileの設定値やプロンプトを微妙に変えたりして最適な設定を探っていたときのものです。「Controlnet is more important」にするかや、CN「Lineart」や「scribble」を併用するか、プロンプトをどうするか等で、細かくニュアンスが変わっていることがわかります。

ただ、どれも入力したイラストは全く同じです。さきほどの「完成させたイラスト」だとこのようになるなら、ぼかしたり、画像サイズを落としたり、目を描かなかったり、影をつけなかったりしたらどうなるのでしょうか？というのが（長くなりましたが）今回の実験の骨子です。

実験０：基本設定を探る

実験は基本的に入力画像のみを変化させる手法で行っていきたいので、設定は下記のように固定します。

・Steps: 25　CFG scale: 7.5

・Sampler: DPM++ 2M SDE Karras　Seed値: 3636862085

・Size: 512x768（Hiresで1024x1536にアップスケール）

・高解像度補助（Hires）

4x-AnimeSharp、強度0.4で2倍サイズに

・Controlnet

Tile（重さ0.8、プリプロセッサnone、Guidance Start: 0, Guidance End: 1, Pixel Perfect: True, Control Mode: Balanced）

・プロンプト

empty_eyes,shaded_face ,yandere,despair,souryuu asuka langley, expressionless,1girl, solo, interface headset, looking at viewer, school uniform, white shirt, simple background, red ribbon, white background,upper body, closed mouth,wind,floating hair, blue eyes,brown hair,two side up, masterpiece,extremely detailed CG,official art,high resolusion + アスカLoRA

・ネガティブ

blurry,bokeh, (worst quality, low quality:1.4), (greyscale, monochrome:1.0), text, title, logo, signature,(extra fingers, deformed hands, polydactyl:1.5)

・「重さ0.8＋バランスモード」を選んだのは、下図のような比較実験を踏まえたものです。普通に考えると「Controlnet is more important」にした方が私のイラストにタッチが寄るはずなのですが、なぜか「Balanced」のほうがよりタッチが近くなる現象が観測されました。重みが強くなるとよりタッチが近くなるものの、塗りそのものも低劣になっていって「清書」の意味がなくなってしまうため、このイラストの場合はちょうど「0.8」が良い、と判断しました。

あらためて入力画像と「重さ0.8＋バランスモード」の清書結果を比較すると下図のような感じ。

これを踏まえ、入力画像だけを変化させていきます。入力画像は基本的に1200x1600ピクセルです。

実験１：線画のみ

まずは線画のみを読み込ませたもの。AIは当然白い部分を「白く描け」と指示されていると受け取るので、このように非常に淡い色合いになります。プロンプトには「brown hair」「blue eyes」などと色指定も入っているのですが、効果は限定的に見えます。ただ、色合いの淡さはこれはこれで美しいですし、原画のテイストもかなり残っているので、うまく色を誘導できればこれはこれで使い道がありそうな感じはします。

実験２：線画＋下塗りのみ

次に、線画に基本色を塗っただけのもの、いわゆる「下塗り」バージョンを読み込ませた結果がこちらです。

入力画像には影がありませんが、清書結果はちゃんと影やハイライト、目や髪のディティールが入ってくれています。影がなくてもきちんと「どこに何を描くべきか」は理解していますし、最後まで仕上げたイラストを入力した場合と比べてさほど遜色がないように見えます。

一方、色の変化はかなり問題で、この手法だとよほど上手にプロンプト指示しない限り色は変化してしまうものだと考えたほうがよさそうです。

実験２：線画＋下塗り（＋ハイライト）

さきほどとほとんど変わりませんが、目と髪の毛のハイライトを入れたものです。ややハイライトの形が意図通りに寄ってはいますが、ピンクと水色を使った私独特の塗り方は再現されていません。目の冷たい感じも再現はされておらず、あまり描き込む意味は感じられません。この段階でハイライトに時間を使うなら、清書後に加工したほうがよほど良さそうです。

実験３：線画なし

今度はさきほどの下塗りから線画をぬいたバージョンです。

なかなかおもしろい結果になりました。線画がない部分に線画を見出してはくれるのですが、線画のない画像で指示されているので「線画なし」のニュアンスを再現しようとした結果、少女漫画のように非常に細い線画のイラストに仕上がっています。

・「細い線に仕上げてほしいところは線画なし」

・「太い線でしっかり描いてほしいところは線画あり」

で指示すると、意図通りのイラストになる可能性が見えてきました。

実験４：線画を濃くする

さきほどと真逆に、線画を濃くしてみました。これは、ベクターレイヤーを使って太らせたわけではなく、ただ単に線画レイヤーをいくつも複製して重ねることで実現しています。

実験２と見比べると明らかなように、こうすることではっきりとした線画になるようです。ただその分、塗りがやや汚れてしまっている印象があります。デッサンのように何度もなぞった「躊躇い線」を過剰に読み取ってしまっている感じがありますね。

（※ついでに右腕部分で破綻が起きています。本来白い袖があるべきところが空白になり、脇部分に新しい手が描き直されてしまいました）

実験５：線画を足し引きする

実験３～４を踏まえ、「必要な部分だけ線画を残す」手法を試しました。

このように、目や輪郭部分だけを残して、ほかはできるだけ「躊躇い線」をなくしてみたところ、さきほどよりもより自然な髪の毛の流れが描かれたように見えます。制服の青い部分はやや低劣な感じがするので、ここはプロンプトを見直すとよりきれいに描かれると思います。

こちらは線画を濃くせず、同じように線を「足し引き」したバージョンです。ひとつ上のバージョンと見比べると、ニュアンスが少し変わっていることが分かります。

実験６：小さいサイズで入力する

これまで、入力画像は1200x1600pxに統一していましたが、このように「影なし」のバージョンを300x400pxまで小さくして入力してみました。プリプロセッサ「Tile resample」で「ダウンサンプリング：４」と入力すると4分の1サイズに縮小して入力できます。

実際の大きさはこんな感じに。（原寸大です▼）

生成結果がこちら。

このように、縮小前の画像を読み込ませた「実験２」とほぼ変わらない結果となりました。

４分の１サイズ程度では大した差が出なかったので、今度は８分の１にします。

　　　　　　　　　　　　　　　　▲この大きさ

生成結果がこちら。

これも、「ほぼ微差」といった感じでした。「Tile resample」を使うことでこうした画像縮小を行うことができますが、下塗り程度では大した差が出ないようです。

※ちなみに襟元のリボンの根本に白いもこもこした部分が描かれてしまっているのは、下塗りがしっかりキワまで塗れていなかったところを「何かをここに描かないといけない」と勘違いされているようです。いらぬ誤解が生じるため、線画と塗りの位置関係はしっかり気を配った方がよいようです。

実験７：ぼかす

元画像を「ガウスぼかし」でぼかした結果です。ややタッチが淡くなったような気がしますが、これも微差ですね。

さらにぼかし度を強くしてみます。

これもやりすぎると、このように「清書後」もぼけたような印象になってしまうことが分かりました。あまり良い応用法は思いつきません。

実験８：線を足しまくる

さきほどは線画を濃くする実験をしましたが、これは線画を「足す」実験です。とにかく邪魔になっても構わないので線をたくさん書き入れてみました。

やりすぎかというほどに描き足したところ、このような結果に。汚い塗りにはなってしまいましたが、鼻を高く塗ろうとするなど、AIの意識の向きをコントロールできそうな感じはします。

こちらはハイライトと影ありで生成したもの。

何らかの方法で塗りの汚さをクリアできれば、なかなか面白いかもしれません。今回の設定では元画像のタッチをできるだけ残すような設定なので、「Balanced」以外のControlモードにしたり、重さを調整したりすることで、「原画とは離れているけれどより意図通り」な画作りができるかもしれません。

まとめ

今回の実験で確かめられたことをまとめてみましょう。

・「Tile」を使った清書において、大きく仕上がりを左右するのは「Controlnetの重み」と「Controlモード」。

・Controlモードは「Balanced」が最も原画に近いテイストになる。

・線を太らせたり、細らせたりすることで線画の太さや描き込みを調整できる。

・あえて線画なしのカラーラフにすると、非常に細やかな線のイラストに仕上がる。

・線を足すとその分描き込みが増えるが、塗りが汚く見えることがある。

・影やハイライトの有無は仕上げに影響するものの、塗りの苦労を考えると微差。ざっくり影を塗ってもよいが、クォリティアップにはさほど効果的ではない。ハイライトや影の形状や位置を指定するのには有効。

おまけの実験として、「線画のみ」で生成したイラストの淡さが気に入ったので、「painting (medium),watercolor \(medium\)」のプロンプトを足し、下図のように塗りを淡くしたイラストを入力することで、水彩塗り風に仕上げることができました。

右手の位置が誤解されていたり、ヘッドセットの描写がおかしかったりとこれはこれで修正が難しいかもしれませんが、淡い塗りにしたいときはこのような手法も実用できそうです。

こちらはハイライト＋影ありバージョン。

ハイライトの位置が意図通りになり、その他ディティールが追加されていることが分かるかと思います。

AI清書版を全体に加筆して、破綻を直しつつ仕上げたのがこちらです。

大人を見つめる懐疑的な目、みたいな雰囲気を淡く出せたらな～という狙いです。水彩仕上げは手軽で美しいですし、再現性がありそうなので、今後も取り入れていきたいですね。

終わりに

そんなわけで、「自作イラストをAIに仕上げてもらうには？比較実験で分かった"AI清書"のコツ」でした。いったん「AI清書」の研究はここまでにして、別方面の研究を始めたいと思っています。

ツイッターをフォローしていただいている方々にはお目汚しですが、このところご覧のとおりイラストの勉強にもハマっています。私と同様に全く絵心がない方向けに、「AIコラ」から始めてそれらしいイラストを作れるようになるまでのクリスタ術みたいなものを文章化できたらなと思っています。

では、３連休も終わりですので今夜はこのへんで。スタジオ真榊でした。