スタジオ真榊

AI絵の手を完全コントロール！2D/3D素材を使ってみよう（for NovelAI） (Pixiv Fanbox)

Published:

2024-06-01 03:08:10

Imported:

2024-06

Content

こんにちは、スタジオ真榊です。本日はAIイラスト最大の難関であり、これまでこのFANBOXでも何度も特集してきた「手」の描写に関する検証記事をお届けします。

まずはこちらのカス・タイムラプスをご覧ください。

(frame embed)

このように、素材集やClipstudio用のアセットとして市販・配布されている「手だけのイラスト」をそのまま、AI絵の一部として利用する手法について検証します。いつもどおりClipstudioとNovelAIのV3インペイントを使用します。

手の描写をAIに任せないので、単に破綻なく描写できるだけでなく、「手に思った通りの演技をさせられる」のがメリット。おすすめの素材集やアセット、前回紹介した「AI-Assistant」との連携についても検証していきます。

AIでラフを線画化、オート影付け！「AI-AssistantV2」でグリザイユ体験

こんにちは、スタジオ真榊です。今日はとりにく@tori29umaiさん謹製の作画補助AIツール「AI-Assistant」を使ったAIイラスト作例紹介です。AI-Assistantは、AnimagineXL3.1ベースで「ラフ画のAI線画化」や「線画へのオート影付け」といった作画の手助けをしてくれるローカル用ツール。今回最新版の「V2」にアップデートさ...

手の再現はなぜ難しい？

人間の手は「１つの掌に、１方向にしか曲がらない関節が３か所ある５本の指が連結している」構造で、角度や握り方によってこちらに見える指の本数や全体の形状は刻々と変化します。画像生成AIは「なぜ人間の手はそう見えるのか」を理解しないまま、大量学習によって二次元的に物体を描きだす仕組みなので、イラストや写真の学習でこうした「状況によって複雑に変化する立体物」を再現させるのはなかなか容易ではありません。

SDXL環境になり、SD1.5時代に比べれば比較的きれいに再現できるようにはなってきたものの、いまだに指の増減は頻繁に起こりますし、いわゆる「手に語らせる」ような演技を意図通りにさせるのは難しいことです。特に、「合掌」や「恋人つなぎ」のように複数の指がからまると、指同士が溶け合ったり本数がおかしくなったりと、加筆なしではお手上げの感があります。

　　　　　　　　　　　　　　　　▲間違い探し

画像生成AIをめぐっては、これまでも、各種ControlnetやLoRA、Embeddingsといったさまざまな手法で手の描写改善が試みられてきました。もちろんかなりの成果は得られてきたものの、「破綻のないレベル」にはできても「手がものを語っているレベル」にするハードルは依然高いのが現状です。

「手に演技させる」とは？

私のような絵の素人がAIイラストを始めると、絵の印象を決める重要な要素として最初に着目するのが「目（視線）」と「口」です。この二つが絵の文脈や状況、キャラクターの内面などを伝えるのに最重要であることは分かりやすいので、プロンプト指示でも「open mouth」「closed eyes」などと詳しく指定する人が多いと思います。「angry」「sad」「smile」といった表情系のタグも、基本的には眉を含めた目と口に作用するものと認識されています。

一方、「第2の表情」と呼ばれる手の描写については、「open hand」「holding 〇〇」「hands together」などと指示するわけですが、正直なところ「どういう表情になるか」より「指がまともに描かれているか」がまず気になるところ。手の演技をプロンプト指示するとしても、せいぜいピースサインや指さし、「paw pose」といった定番のものから選ぶ人が多いのではないかと思います。

しかし、キャラクターの感情や個性、置かれた状況を豊かに表現するためには、どうやらこの「手の表情」というものが、顔の表情と同じくらい重要なようなのです。我々は鏡がないと自分の目や口をまじまじと見られませんが、自分の手はいつも視界の中にあるわけですから、手の仕草を見ることで他人（被写体）の内面に共感しやすくなるということなのかもしれません。

例えば、手を広げたり、握り拳を突き上げたりすることで喜びを、手を力なく垂らすなどの動きで悲しみや落胆を、口元にやればショックや驚きを表現できますし、顔を触るキャラは神経質に、両手を所在なげに絡ませるキャラは控えめな性格に、腰に手を当てたり指を指したりするキャラは自信に満ちた性格に見えます。さらには、指の太さや手の形状、爪の描写といった見た目でも、その人物の女性らしさや男性らしさ、戦士なのか姫なのかといった情報を込められますし、ここがおろそかになるとちぐはぐな印象になってしまいます。

【１】表情のある「手素材」でAI絵を作る

さて、ここからが本題。今回の手法の骨子は「手の表情だけはAIにお任せせず、人間が確定させてしまおう！」というものです。つまり、手だけが宙に描かれている空っぽのキャンパスをインペイントして、「残り」を描いていく「アウトペイント型」の手法になります。（逆に、完成したAI絵の手の部分だけを直す場合は"インペイント型"の手法ということになります）

そのために、プロが描いた商用利用可・トレス可の素材集を2冊購入し、さまざまな検証を行いました。今回利用するのは「手のポーズコレクション実用レシピ」（日貿出版社）と「そのまま使える手の表情700」（廣済堂出版）の二冊です。

「手のポーズコレクション実用レシピ」

(frame embed)

「手のポーズコレクション実用レシピ」は4章構成。第1章が手を描くための基礎知識で、これがとても分かりやすく、加筆修正を覚えるのにも良い内容となっています。２～４章は色んなポーズの手のみが大量収録されていて「１．素手」「２．何か持っている手」「３．二人の仕草（恋人つなぎなど）」という、ニーズを押さえたありがたい仕様。

画像引用：Amazon「手のポーズコレクション実用レシピ: イラストレーター必携、英文併記」

掲載されているイラストはいずれも本書掲載のURLからダウンロード可能です。難点は、単純に白黒素材（もしくは線画のみの透過素材）にしていただけると使いやすくて助かるのですが、手の面や指別に色分けされて塗られている点（各面の形状が取りやすいので、模写には非常に有用です）。クリスタで二値化するなどして白黒にするとよいでしょう。

「そのまま使える手の表情700」

(frame embed)

「そのまま使える手の表情700」は、どちらかというとやや中級者向けの内容で、もう少し描写が難しいポーズが多数収録されています。具体的には、「冷蔵庫を開く手」や「双眼鏡で遠くを眺める手」など、物語を感じるようなシチュエーションの手が掲載されており、添付のCD-ROMからPCにコピーすることができます。こちらは画像ファイルだけでなく、PSDファイルなども同梱されています。「実用レシピ」と比べて基本的な「ただの手」素材の数が少ない反面、素材から「物語を感じる度」では、こちらの素材の方が充実しているかもしれません。

具体的なワークフロー

では、収録されている素材で実際にAIイラストを作ってみましょう。手を見た瞬間にストーリーがぱっと浮かぶような、物語性のある素材を選ぶと作りやすいと思います。今回は「手の表情700」収録のこちらの素材を使って、「お嬢様高笑い」なミナちゃんイラストを作ってみることにします。

①キャンバスを開いて素材を配置

まずは縦のイラストにしたいので、いつもどおりNovelAIの規定サイズである1024x1536pxのキャンバスをクリスタで開きます。そこに、「ファイル▶読み込み」でさきほどの素材を表示させましょう。最終的にどんなイラストになるかを想像しながら、素材を拡縮・回転させます。今回は片手だけですが、両手をそれぞれ別の素材から持ってくることももちろん可能です。

このままでは線画と白い背景が合体してしまっているので「編集▶輝度を透明度に変換」しましょう。背景の白い部分が透過されます。

②肌色に塗る

そうしたら、ここで手を雑に塗ってしまいましょう。「エッ、色なんて塗れないよ！」と思った貴方、大丈夫です。マウスでも簡単にできるレベルのことしかしません。

まずは素材の不要な部位を消しゴムで消し、もし手首部分で線が途切れていた場合は、バケツツールでカラーを流し込めるように、線画を繋いでしまいます。どうせインペイントで消えますので、きれいに描く必要はありません。適当なペンツールと肌色でビッと繋げばOK。

そうしたら、素材の線画があるレイヤーの一つ下に新しいレイヤーを作って、ここに肌色を流し込んでいきましょう。線画レイヤーより下のレイヤーに塗ることで、線画の上に色がはみ出すのを防ぐことができます。

バケツツールを選んで「他のレイヤーを参照」になっているのを確認しましょう。（参照していないと、キャンバス全体が塗られてしまいます）。領域拡縮は＋１～２にしておくと塗り残しが減ります。

肌の色は自分で選んでも良いですし、再現したいオリジナルキャラがいるなら、そのキャラをサブウィンドウに呼び出して、肌の光の当たっているところ（一番明るいハイライト部分でも影の部分でもなく、できるだけ光で色が変化していないところ）の色をスポイトします。サブウィンドウ上の欲しい色の上で左クリックするだけでOK。

基本の肌色が決まったら、バケツツールを選び、このように全体に流し込んでしまいます。このとき、塗り残しが出たら、「塗り残し部分に塗る」をツールに変えて、しっかり線画の中を塗りつぶしましょう。色の印象が違う場合は、メニューから「編集▶色調補正▶色相・彩度・明度」を選び、微調整するとよいでしょう。

今回はこのように、口も残しておきました。

③影色を付ける

今度はこの肌色に影を着けていきます。「影なんて絶対無理！」となる貴方、大丈夫です。「なんとなく」で構いません。なんならこの項目はすっとばして一色塗りのまま進んでも構いませんが、お絵描きしてるみたいで一番楽しいところなのでぜひやりましょう。

さきほどの肌色レイヤーの一つ上…つまり線画レイヤーの下に新しいレイヤーを作り、「下のレイヤーでクリッピング」のボタンを押します（左側にピンクの線が出る）。これによって、既に肌色に塗られているところ以外には色がはみ出すことができなくなりました。ついでにレイヤー合成モードを「乗算」にしたら、適当にグレーの色を選んで、「なげなわ塗りツール」でこんな風に囲って塗っていきます。

投げ縄塗りだと上の図のようにパキッとしますが、もちろん普通のブラシでもOK。重要なのは、この塗りにAIも強力に引っ張られるということです。アニメ塗りならアニメ塗りに、水彩塗りなら水彩塗りになります。

ふわっとした水彩系なら水彩塗りっぽくできます。コツとして、完全なグレーではなく、ちょっと赤みがかったグレーで塗ると、色がくすまず血管の色が透けた肌感が出ます。おすすめはこちらの「やわ柔肌ブラシ」。はみ出たら、カラーを「透明」にして消しましょう。（消しゴムに切り替えるより手っ取り早い）

色が濃すぎた場合は、影を塗ったレイヤーの透明度を調整して完成です。

ベースカラーの肌色の外には絶対にはみ出しませんし、間違えたらCtrl+Zでやり直せばいいだけ。なんとなく光の方向を考えて、影になるところを塗ればそれでOKです！ぶっちゃけあとでimage2imageする場合はここでいくら頑張っても意味ないので、頑張りすぎないようにしましょう。あくまでAIが「これは手だ」と理解してくれればそれでよいのです。

【ちょっと脱線】初心者向けのズルい塗り方

この「クリッピング・乗算・グレー・なげなわ塗り」は一度マスターするとめちゃくちゃ加筆で活躍します。「クリッピング・加算（発光）・白・なげなわ塗り」に変えれば、肌や目のハイライト部分を塗ることもできます。乗算モードはカラーの足し算、加算モードはカラーの引き算なので、要するに「そのベースカラーにこの色の光が当たったら何色になるか」を勝手に計算してくれる機能と言えます。

ちなみに、さきほどサブウィンドウにモデル画像を表示してスポイトした場合は、肌に影が落ちているところをクリックして影色を持ってきて、合成モードを変更せず「通常」のままでなげなわ塗りすればＯＫです。既に影色にできているわけですからね。

画力に余裕のある方は、この時点で爪を塗ったり、肌にハイライトを入れたり、肌質感ブラシを掛けてもよいです。クリスタには恐ろしいことにこのようなブラシがありまして、これをDLして適当な色でささっと塗るだけで、いきなりリアルな手っぽくなっちゃうのです。（影レイヤーと同じく肌レイヤーへのクリッピングを忘れずに）

(frame embed)

フラットなアニメ塗りを目指すのならこの工程はいらないのですが、もう少し手にこだわりたい方はこの手法でシャシャっと情報量を足しても面白いでしょう。くっきりした影に違和感がある場合は、境目を「ぼかしツール」でなじませてもよいです。

影は一色で塗られていますから、影レイヤーの上にさらに合成モードを「オーバーレイ」（乗算と加算のよいとこどり）にしたレイヤーを作って、影の濃い部分やハイライトを追加すると、よりリッチになっていきます。

④周囲を少しだけ塗る（重要）

このままAIに放り込むと何が起きるかというと、「手の周りには必ず白いものが描かれるべきだ」と誤認してしまいます。手だけきれいにマスクすることができないので、こんな感じで手だけ宙に浮いてしまうのです。

これを回避するために、「肌」のレイヤーの一つ下に新しいレイヤーを作って、そこに色を配置します。今回はどうせ周囲に肌が来るので、すべて肌色一色に塗ってしまいました。

⑤画像を保存してNAIで読み込み

手だけが描かれた1536x1024サイズの画像ができたら、同じサイズでpng保存します。（jpgでもあまり変わらないかも）

この画像をNAIで読み込み「image to image」を選択。インペイント画面を開き、キャンバス画面全体をマスクしてしまいます。全部塗りつぶせたら、今度は左下から消しゴムツールに変えて、手の部分だけを丁寧に消しましょう。

口の周囲を見ていただけるとわかりますが、先ほど肌色に塗っておいたおかげで、口の周囲が肌色だよということがAIにも伝わりますね。

あとは、余白に入るべき残りのイラストをプロンプト指示するだけです。

PP：1girl,solo,red glasses,ojou-sama_pose,smile,cowboy shot,open mouth,hand on mouth,{navy school uniform,navy serafuku},long ponytail,short sleeves,navy pleated skirt, shiny skin,tareme,v-shaped eyebrows,orange pupils,beautiful purple eyes,black hair,large white ribbon on hair, [[ai-generated]],{{{amazing quality, very aesthetic}}}, anime coloring, flat color, dot nose,red tie,small breasts, half-closed eyes,smug,hand on hip

はい、このようにできました。しかし、ちょっと私の塗りに引っ張られてセピア色っぽくなっているのが分かりますね。これはおそらくですが、背景部分が肌色になっていると判断されたことから、全体に肌色がかったイラスト＝セピア調だ！と理解されたのではないかなと思います。

マスクは難しいところで、大きくえぐり取りすぎるとせっかくの手の輪郭が乱れてしまうし、周囲を残すとそこはその色に必ず塗られてしまうというジレンマがあります。あとでi2iしたり、クリスタで色調調整を掛けるなどすると良いかと思います。

AI-AssistantV2との連携

さきほどは手の段階で時間を掛けて塗ってしまいましたが、もっと雑にぱぱっと塗ってしまい、塗りはあとでやり直す…という方法もあります。前回紹介したAI-AssistantV2を使ったやり方です。

AIでラフを線画化、オート影付け！「AI-AssistantV2」でグリザイユ体験

このように、線画化タブにできたイラストを放り込んで、線画化してしまいます。手の部分は正確に描かれないこともありますが…

できた線画を最初に作ったクリスタのキャンバスに放り込むと、このようにぴたりと合います。キャラと手の線画がなじまない余計な部分は消しゴムを掛けたり、トーンカーブで調整したりすれば、きちんとした線画が得られます。

あとは前回の方法で手で塗ってオート影付けしてもよいですし、Lineart系のControlnetを使ってAI着色してもよいでしょう。

もっと簡単な方法

さらにもっと簡単な方法として、NovelAIにそもそも線画を読み込ませてしまう方法があります。カラーを塗る必要すらないので、線画からAI絵を作れる方はこちらも有用かなと思います。

このように、全く素材を張り付けたままの画像をNAIに読み込ませ、線画部分をマスクします。色がないので、はみ出しはあまり関係ありませんが、マスクしていない部分には何も描かれない点には注意しましょう。

このように、カラーがないので簡単に残りの線画が得られます。

あとはAI-AssistantV2で「線画入り抜き」にかければ、このように黒ベタのない線画化が可能。

あとは前回紹介した工程でオート影付けをすれば、雑にここまで来れてしまいます。上の線画は途切れているところがあるので、多少ガチャったり加筆したりすれば、より高品質に仕上げられるでしょう。ここからグリザイユ塗りするのも楽しいですね。

【２】手の3Dモデルを使う

さて、ここで一つの問題が発生します。この方法では「購入した素材にない手」は全く描けないのですね。例えば漫画などのコマで「どうしててもこの角度のこういう手がほしい！」となったときに困ってしまいます。そこで、クリスタのアセットで公開されている3Dハンドモデルを使う方法があります。

おすすめはこちらの3点。それぞれ10CLIPPYと安価ですが、「男性の手ver.2」のみ750GOLD必要なことにご注意ください。

(frame embed)

複数の手がからみ合う表現はポージングが難しいのですが、かわりに自分で微調整が可能なこと、始めから肌の色と影が塗られていることがメリットと言えます。

ダウンロード後、キャンバス上にドラッグアンドドロップするとこのように表示されます。最初から色がついているので楽ですが、ポージングはそれなりに習熟しないと難しいかもしれません。

ただ、オブジェクトツールから「ハンドポーズ」の項目を使うと、このようにグーパーの開き具合なら一発で調整が可能です。左の三角形のマップの上で、右上を選択すると指を開いたパーに、左上ならそろえたパーに、下ならグーになります。これを基に、細かい指の動きをつけていくと楽です。ちなみになんと、ハンドポーズの下のカメラボタンを押すと、PCカメラに映した自分の手をトレースしてくれる「ハンドスキャナー」機能まであります。

ちなみに、ここのボタンを押すことで、いったん決めたポーズを指に覚えさせて固定することができます。

例えばこのように、いったん「パー」にしたポーズを人差し指と中指に覚えさせてから、ポーズを「グー」に変えると、チョキのポーズを作ることができます。この応用で指のポーズを付けていくと良いでしょう。

モデルを呼び出したときはデフォルトで手首に灰色のわっかがついています。これは3Dの仮想地面に投影された影ですので、消してしまいましょう。

オブジェクトツールの工具ボタンから「陰影▶床面に影を表示する」を外すと、このように消えます。「陰影」のすぐ上の「輪郭線」で、アニメ風の輪郭線を付けることもできます。

ハンドモデルのキャンバス上の角度や大きさは、こちらの水色のボタンをドラッグすることで調整できます。

詳しくはこちらのクリスタ公式サイトに説明されていますので、素材集にない手はぜひ自分で作ってみてください。

(frame embed)

終わりに

そんなわけで、「AI絵の手を完全コントロール！2D/3D素材を使ってみよう（for NovelAI）」でした。今回の記事はかなり前からまとめたかった内容でしたので、ようやくお届けできて嬉しく思っています。特に、AI-AssistantV2の登場によってさらにこうしたテクニックを作画に活かせるようになり、さらにAI絵とイラストの垣根が取り払われていくのを感じます。

最近はAI-AssistantV2のおかげで色塗りが楽しくなり、AIを部分的に使って思い通りのイラストを作れるようになってきました。これはラフの線画化とオート影付けにAI-Assistantを使っているほかは、自力で仕上げたものです。これは漫画「メダリスト」の狼嵜光選手というキャラクターですが、当然学習モデルはこのキャラクターを学習していませんし、プロンプトすらありません。

(frame embed)

この絵は手が描かれていませんが、今回の手法を使うことで、単なるグーパ―の手だけでなく、エモい表情のある手を取り入れることもできるようになったわけです。こうした二人のからむイラストなどに取り入れると、もっと高いクォリティのイラストが仕上げられるように感じています。

通常のお絵描きをパートタイム的にAIが手伝ってくれることが一般的になると、今よりももっと幅広い人たちが画像生成を当たり前に使うようになるでしょう。AIイラストに忌避感を持つ人の感覚もどんどん和らいでいって、いずれはデジタルイラストが「絵」と認識されたのと同じようになっていくのではないかな…と期待しています。

それでは今日はこのへんで。スタジオ真榊でした。