【追加学習入門】LoRAを使ったキャラ再現に挑戦しよう！ (Pixiv Fanbox)

「AIイラスト術 天下一武道会」エントリー作品

寄稿者：ふしめろさん

はじめに

この記事は、AIであるGPT-4によって生成されています。

こんにちは、ふしめろです！今回は、僕が支援しているスタジオ真榊さんが面白そうな企画をしているのを見かけたので、みんなにもシェアしようと思って記事を書くことにしました。

ちなみに、最近AIアートの入門書を書いて、Kindleで配信しているんだ。もし興味があれば、ぜひ合わせてチェックしてね。きっと理解が深まると思うよ！

AIアートを楽しもう！: はじめてのStable Diffusion初心者向け創作ガイド

さて、今回のテーマは、その入門書にも書いた、追加学習とLoRAについてざっくり解説することにするよ。

まず、追加学習っていうのは、AIが既に学んだ知識をベースに、新しい情報を学習することなんだ。これでAIはどんどん賢くなっていくんだよ。

そして、LoRAとは、上に書いたAIに新しい概念を学習させる手法の1つで、既存のモデルに新しい概念を取り入れやすくする方法なんだ。これがあると、AIの学習がもっとスムーズになるんだよね。

僕が書いたAIアート入門書とスタジオ真榊さんがFANBOXで紹介しているたくさんの魅力的な情報を組み合わせればAIアートを楽しく学べるようになると思うよ。ぜひ、みんなもスタジオ真榊さんのFANBOXをチェックしてみてね！

LoRAとは

みんな、LoRAって言葉、聞いたことある？実は、AIに新しい概念を学習させる手法の1つなんだよ！

まず、AIは通常、既存のモデルをベースに、たくさんの画像を学習させて新しい概念を身につけるんだ。ただ、そのままだと容量が大きいモデルをいくつも用意しないといけないから使いにくいって問題があるの。

そこで、LoRAが登場！追加したい新しい概念だけを軽量な別のファイルに出力し、生成時に必要に応じて参照することで、使いやすさがアップするんだよ。

ゲームの例で分かりやすく説明すると、既存のモデルがゲーム本体で、LoRAがMOD（追加コンテンツ）みたいな役割を果たしているんだ。MODはいくつあってもいいけど、ゲーム本体をいくつも持ってるのは面倒くさいよね。LoRAを使うことで、新しい概念を活用した画像生成ができるようになるんだ。

だから、LoRAはAI学習の革新的な手法で、今人気の学習方法なんだよ！

理解できればこれからのAIアートの世界が、もっと面白くなること間違いなし！

ここから先は学習ソフトの導入方法と、学習方法、使い方の3つに分けて説明していくね！

導入方法

LoRAの学習を始めるためには、6GB以上のVRAMを持つGPUが必要だよ。例えば、RTX3060 12GBを搭載したPCであれば大丈夫だね。それじゃあ、早速手順をフレンドリーに解説していくよ！

1 まず、「LoRA_Easy_Training_Scripts」と検索して、GitHubのページを開いてね。ページ内の右にある「release」ボタンを押してね。

2 Release一覧から、「installers v5」内にある「install_sd_scripts_v5.bat」をダウンロードしよう。

もしわからなかったら、こちらのURLを開いてね。

3 新しいフォルダを作って、ダウンロードした「install_sd_scripts_v5.bat」を置いておこう。

4 「install_sd_scripts_v5.bat」を実行しよう。完了まで少し時間がかかるけど、ゆっくり待ってね。途中で、英語でRTX30X0かRTX40X0どちらかをインストールしているかどうか聞かれるから、ちゃんと答えておいてね。

5 導入が完了すると、「LoRA_Easy_Training_Scripts」というファイルができるよ。

これで導入は完了だね！ただ、「LoRA_Easy_Training_Scripts」は英語で書かれているから、使いやすいように日本語化をしたものを用意しておいたよ。こちらのURLで配布しているから、ぜひチェックしてみてね。

学習について

AI学習を始める前に、手順をしっかり理解しておくことが大切だよね。だから、今回は学習に取り組む前にやっておきたい事前準備と、手順を順番に解説していくよ。最後まで読んでから取り組むと、スムーズに進めることができるよ！

ただ、情報は時々変わることがあるから、もし不明な点があれば、外部サイトを参照することをおすすめするね。

事前準備

1. 覚えさせたい画像を用意しよう。できるだけ多くて、画質が良いものがいいね！

2. 「stable-diffusion-webui-wd14-tagger」をWebUIに導入しておこう。次のリンクを拡張機能に導入してね：

https://github.com/toriato/stable-diffusion-webui-wd14-tagger

3. 「BooruDatasetTagManager」をダウンロードしておこう。拡張機能じゃないから注意だよ。こちらのリンクからダウンロードできるよ。

これで事前準備は完了だね！次は学習に取り組む時の手順を順を追って解説していくよ。頑張ってね！

タグ付け・タグ編集

1. まず、下記の画像のようなファイル構造を作成しよう。

2. 覚えさせたい画像を「0_gazo」フォルダに入れてね。

3. 画像を入れた後、「0_gazo」フォルダの名前を変更しよう。これからはこのフォルダを「画像フォルダ」と呼ぶことにするね。

・「0」は繰り返し回数、「gazo」は呼び出し用プロンプトの名前だよ。

・繰り返し回数×画像枚数で1エポック分の学習ができるよ。例えば、20枚の画像が「50_gazo」に入っていたら、1000ステップ＝1エポックになるね。

・今回の例では、後で説明するタグ「goshidore」を使って呼び出し用プロンプトを設定するよ。

・繰り返し回数は、1500÷画像枚数を基準にして、出力結果に応じて増減させるといいね。今回は46枚の画像を使うから、「35_goshidore」と名前を変えるよ。

4. 事前準備で「stable-diffusion-webui-wd14-tagger」を導入している場合、WebUIの「タグ付け」タブ→「ディレクトリから一括処理」タブを開いて、入力ディレクトリに画像フォルダを指定しよう。

5. インタロゲーターを「wd-14convnext」に設定して、「アンダースコアの代わりにスペースを使用する」「括弧をエスケープする」にチェックを入れよう。

6. インタロゲートボタンを押して、処理が終わるのを待とう。

7. 処理が終わったら、「BooruDatasetTagManager」を起動して、ファイルメニューから開くと、画像とタグが読み込まれるよ。

8. タグの編集を行おう。ゴシックドレスちゃんのタグを参考にして説明するね。

chichi-pui ゴシックドレスちゃん　サンプル ふしめろ

まず、「ゴシックドレスちゃん」を表すタグを考えるよ。存在しない英単語の方がいいね。

①ゴシックドレスちゃんのタグ解析をすると、たくさんのタグが出てくるよ。

1girl, long hair, pointy ears, solo, smile, looking at viewer, detached sleeves, navel, sitting, halo, dress, clothing cutout, bare shoulders, open mouth, boots, bangs, navel cutout, black dress, thighhighs, breasts, very long hair, blurry, :d, purple hair, pink eyes, small breasts, knee boots, black footwear, blurry background, collarbone, full body, blush, thighs, black hair, long sleeves, depth of field, black thighhighs, purple eyes, hair between eyes

②「ゴシックドレスちゃん」という概念を考え、要素をピックアップしよう。

【ゴシックドレスちゃんの要素】

・pointy ears, detached sleeves, navel, halo, dress, clothing cutout, bare shoulders, boots, bangs, navel cutout, black dress, thighhighs, very long hair, purple hair, pink eyes, small breasts, knee boots, black footwear, collarbone, long sleeves, hair between eyes, black thighhighs,

【ゴシックドレスちゃん以外の要素】

・1girl, long hair,solo, smile, looking at viewer, sitting, open mouth, breasts, blurry, :d, blurry background, full body, blush, thighs, black hair, depth of field, purple eyes,

今回の目的は、「goshidore」にゴシックドレスちゃんの要素をまとめることだね。だから、「①ゴシックドレスちゃんの要素」で列挙したタグをすべて削除して、「goshidore」を先頭に配置しよう。

③最終形態

・goshidore, 1girl, long hair,solo, smile, looking at viewer, sitting, open mouth, breasts, blurry, :d, blurry background, full body, blush, thighs, black hair, depth of field, purple eyes,

これで、削除したタグの要素が「goshidore」にまとめられるよ。

タグ付けがよくわからない場合は、以下のサイトも参照してみてね。

9.「BooruDatasetTagManager」でタグ編集を進めよう。

・Image tagsの右にある緑の「+」ボタンを押して欄を作り、「goshidore」と入力するよ。入力後、緑チェック☑で適用しよう。

・All tagsから消すタグを選択し、赤の「×」ボタンを押して、すべての画像から該当タグを消そう。

・All tagsで「goshidore」を選択し、緑の「+」ボタンで一番上になるようにしよう。

・入力後、緑チェック☑で適用しよう。

これでタグ編集は終わりだね！タグ編集ができたら、学習データの準備がほぼ完了だよ。

学習処理

1. 「LoRA_Easy_Training_Scripts」フォルダ内の「run_popup.bat」を開こう。すると、ポップアップが表示されるよ。

2. 日本語化を適用している場合は、ポップアップの質問に従って進めていこう。わからない質問がある場合は、キャンセルを選択してデフォルトの設定を使おう。

学習時間は、繰り返し回数や画像枚数、設定内容によって変わるけど、数十分から数時間かかることがあるよ。今回のゴシックドレスちゃんの設定では、学習時間が約40分だったよ。

ただし、学習の設定値は、覚えさせたい概念や学習タイプによって微調整が必要だから、実際に学習を行って試行錯誤していこう。インターネット上には、いろいろな条件でうまくいった例を公開しているサイトがあるから、検索して参考にしよう。

これで、学習処理の手順がわかったね！

LoRAの使用方法

まず、LoRAではなくLoCon・LoHaの形式で学習をかけている場合、上記で説明した「a1111-sd-webui-locon」という拡張機能を導入しておこう。これがないと、LoConとLoHaは動かないみたいだよ。これは躓きやすい部分だから、導入しておくといいよ。

1. WebUIをインストールしたフォルダに移動し、「stable-diffusion-webui\models\Lora」フォルダに学習で作成したLoRAデータを投入しよう。

2. WebUIに移動して、t2iにある🎴マークを押して、LoRAタブを開こう。

3. LoRAデータの一覧が表示されるから、好きなものを選んでみよう。今回は上で作成した「goshidore」LoRAを選ぶね。

※「a1111-sd-webui-tagcomplete」という拡張機能を導入していた場合は、「<」と入力することでオートコンプリートされるよ。

4. 選択できたら、プロンプト欄にlora:任意の名前:1と出るはずだよ。今回はとなるよ。表示形式は強調表現になっているから、数値を弄って出力に反映させよう。

※うまく出力できない場合は、学習時に設定したタグ（今回の場合はgoshidore）を入力するか、服がうまく出ていない場合は服のプロンプトを追加することで改善できるよ。

これで、ゴシックドレスちゃんを学習させたLoRAを使って出力した結果が得られるね。以前の出力結果と比較して、服装や顔立ちの統一感が向上していることがわかるね。

今後は、学習数値の調整やプロンプトの微調整を繰り返すことで、より再現性の高い画像生成が可能になっていくよ、でも学習画像が多いと精度が上がりやすいから両方やっていこうね。

LoRA適用前

LoRA適用後

この手順を参考に、LoRAを使ってAI画像生成を楽しんでね！

AIアートを楽しもう！: はじめてのStable Diffusion初心者向け創作ガイド

（おわり）

AIイラスト術 天下一武道会の応募作品

キャラ・ポーズだけじゃない！ 表現力を加速するおすすめLoRA

「AIイラスト術 天下一武道会」エントリー作品 寄稿者：カガミカミ水鏡さん LoRAという追加学習データが広まって以来、特定のキャラを再現したり、色んなポーズや構図をさせたりするのによく使われていますね。 その中でも取り分け便利な使い方としては、「絵柄の変化」。 ここでは絵柄をより良いものに変化させる12個の...

【ワンボタンでプロンプト出力】オリジナルのプロンプトジェネレーターを作ろう

「AIイラスト術 天下一武道会」エントリー作品 寄稿者：nicさん こんにちは nicです。 プロンプトを逐一入力するのが手間に思う事は無いですか？ 特に漫画を描きたい時など、沢山のキャラを出さなくてはならない時はプロンプト入力が手間に感じるかと思います。 WEBUIにもプロンプトを保存する機能はありますが少々不便...

「Mixture of Diffusers」でストーリー性のあるイラストを生成しよう

「AIイラスト術 天下一武道会」エントリー作品 寄稿者：Shingo.playさん 一人の女の子を可愛く描けるようになった、一つのオブジェクトをカッコよく描けるようになった。 では次は、複数の人物を登場させてみよう、と思ったことが皆さんあると思います。 しかし、人物やオブジェクトを複数登場させようとして直ぐに発生...

キャラ再現LoRAを実践的に使おう！番外編のおまけ付き

「AIイラスト術 天下一武道会」エントリー作品 寄稿者：Lu:Na:Clockさん 最近キャラ再現のLoRAが公式で配布される機会が増えてきましたが、 細かい使い方を解説している方が少ないと思いました。 恐らく今後さらに、公式でLoRAが配布される事が増えるはずなので、 今のうちに扱いに慣れておきましょうという意図で 実践...

私のAIイラスト生成テクニック(stable diffusionローカル版)

多くの人がそうだと思いますが、好きな版権キャラにあんなことやこんなことをさせたい！というやり方を紹介したいと思います。知識はスタジオ真榊さんの記事が9割で、理解度30％くらいの知識なのでご容赦を・・・（後半にHな画像あるので注意） 1　CIVITAIで好きなキャラの学習モデルを探す！ まず、好きなキャラの学習...