スタジオ真榊

LoRAでキャラ再現！15分でできる追加学習入門 (Pixiv Fanbox)

Published:

2023-02-07 17:18:02

Edited:

2024-02-01 01:27:02

Imported:

Content

こんばんは、スタジオ真榊です。みなさまローカル生成楽しまれてますでしょうか？　だいぶ操作にも慣れてきて、いろんなことができるようになったけど、「あの版権キャラがどうしても出せない！」とか、「あのエロシチュがなかなか出ない！」といった壁にぶち当たっている方もいるんじゃないかと思います。

そこで本日は、LoRAという追加学習の仕組みを使って、より幅広い表現をできるようにする方法についてご紹介します。もちろん自分でイチから追加学習を行うことも可能なのですが、今回は入門編ということで、LoRAの導入方法と他のユーザーが生成・配布してくれているファイルをダウンロードし、実際に利用するところまでを解説していきますよ。

LoRAを自分で作る方法については、こちらの記事で紹介しています。

今日１日でLoRAが理解る！キャラクター再現超入門

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝【2023/08/11更新】初心者向け設定の項目を更新しました。＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝こんばんは、スタジオ真榊です。今夜はようやく、LoRA制作の入門記事をお届けできます！例...

1.LoRAとは

LoRAは「Low-rank Adaptation」の略で、先日紹介した「Textual Inversion」と似たように、学習モデルを外部ファイルを使って微調整する仕組みの一つです。Textual Inversionと同様、追加ファイルをWebUIの特定フォルダに放り込んでおき、「トリガー」となる特定のプロンプトを入力すると効果を発揮する点がよく似ています。

普段使っている学習モデル（.ckpt）をベースに、追加学習した新たなモデルを画像生成時だけマージ（融合）するイメージで、それまでは不可能だった表現をさせられるようになります。例えば、特定のキャラや画風を学ばせたり、構図やシチュエーションを覚えさせたり。自分で学習元の画像を大量に用意して新たに追加学習モデルを作ることもできますし、別のユーザーがウェブ上で配布しているモデルを利用することもできます。

以前解説した「Textual Inversion」との違いはいくつかありますが、Textual Inversionの追加ファイル（.pt）は数十KBとごく軽かったのに対して、LoRAの追加ファイルは数十MB以上あるのが普通ですので、ストレージに余裕があるか一応注意が必要です。（賢木がこれまで収集したLoRAは10GBほどありました）

ツイッターで投稿したこちらのイラストは、神アニメ「Cyberpunk：Edgerunners」のヒロイン、ルーシーをLoRAを使って再現したもの。彼女を示すdanbooruタグはlucy \(cyberpunk\),cyberpunk edgerunnersですが、当然普通の状態でこれを打ち込んでも…

こういう謎のサイバーパンク画像が生成されるだけですね。これは、Checkpointがルーシーの容姿と「lucy \(cyberpunk\),cyberpunk edgerunners」という単語のセットを学習していないことが理由です。多くの学習モデルはエヴァのアスカや初音ミクなどを学習しており、再現することができますが、相当有名な版権キャラクターでなければ容姿を正確に再現はできません（せいぜい髪色などが似るくらい）。

原作どおりのキャラ造形を再現するためには、多数のルーシーの画像から彼女の容姿を学習した追加学習モデルを自分で作るか、ウェブ上から入手し、SD WebUIのフォルダに適用するのが手っ取り早いです。

「追加学習ってよく聞くけど難しそうで自分には絶対ムリ！」

「ハイスペックPCやSEなみの知識がないと理解できなさそう！」

という声が聞こえてきそうですが、自分で追加学習ファイルを生成するのは確かに敷居が高いものの、他のユーザーが生成してウェブ上で共有しているファイルを利用するだけなら超簡単です。キャラ再現だけでなく、描き込みの量を増やしたり、目の表現を工夫したりと非常に世界が広がるので、ぜひ試してみてください。

２．WebUIに拡張機能をインストールしよう

…という解説項目が当初あったのですが、stable diffusion webUIのアップデートにより、現在は拡張機能をインストールしなくても、初期状態でLoRAを使用できるようになっています。「stable-diffusion-webui\models\Lora」というフォルダに、ウェブで配布されている拡張子「.safetensors」のLoRAモデルを放り込むことで、Loraを利用することができるようになります。

３．CIVITAIにサインインしよう

「CIVITAI」はStable Diffusionのモデルをアップロードできる海外プラットフォーム。多くのユーザーがStable Diffusionで使える学習モデルやLoRAモデルなどを共有しており、自分で追加学習をさせなくてもLoRAの利便性を味わうことができます。世界中にいる先輩方が生み出した叡智の果実を、ありがたく貸していただきましょう。

サインインしなくてもダウンロードはできますが、これからもよく使うことになるので、以下の手順でサインアップしておくことをおすすめします。

・https://civitai.com/にアクセス

・右上のSign inからサインイン方法を選択。discordなどと連携してサインインすることもできるし、メールアドレスを使ってログインすることもできます。

・初回ログイン時、このような画面（日本語翻訳しています）が出るので、表示するコンテンツ/しないコンテンツを記入しましょう。もちろんあとで指定することもできます。Civitaiには大量にnsfwコンテンツがあふれているので、不快なサムネイルが表示されないようにパーソナライズすることができます。

・無事ログインできたら、画面上部の「Models」の項目からお目当てのモデルを探しましょう。「HIGHEST RATED」のプルダウンメニューから、評価数やダウンロード数、最新順などにソートできます。

・右上のこちらのメニューから、nsfwコンテンツを表示するかを変更することができます。デフォルトでは「Safe」になっています。「MyFilters」でさきほど設定したパーソナライズされた状態にでき、「Everything」なら全てが表示されます。Blur Mature Content（エッチなコンテンツをぼかす）を外すと、nsfwなサムネイルのぼかしを外せます。

４．ダウンロードしてみよう

さて、さっそくLoRAファイルをダウンロードしてみましょう。検索窓に英文を打ち込んだり、画面右上の「歯車」ボタンからモデルのタイプを絞り込むことで検索可能です。ここでは、Lykon氏が配布されている「Lucy (Cyberpunk Edgerunners) LoRA」を探し、ダウンロードしました。

・画面右側の欄にType「LORA」と書かれているのを確認。CIVITAIで配布されているのは他にも学習モデル（.ckpt）やTextual Inversion用のファイル（.pt）などがあり、それぞれ使い方や保存先のフォルダが異なるので注意しましょう。

※LoRAとよく似たものとして「LyCORYS」があります。一般にLoRAよりも高性能とされていますが、拡張機能のインストールが必要で、放り込むフォルダも別なので注意が必要です。

・ここに書かれている「Trigger Words」というのが、効果発揮に必要なプロンプトなので覚えておきましょう。今回の場合はlucy \(cyberpunk\)がそれにあたります。

・更新日の下に、複数のバージョンが掲載されていることがあります。LoRAは微妙な調整が必要なので、よりよいものができるとバージョンアップされることが多いです。基本的には一番左のものが一番新しいバージョンです。

・右上の青い「Download Latest」ボタンから最新のファイルをDLしましょう。保存先は「stable-diffusion-webui\models\Lora」フォルダです。

５．SDwebUI上でLoRAを確認しよう

さて、ダウンロードが済んだら、SDwebUI上でLoRAを表示させてみましょう。WebUIの生成ボタンの下に花札のようなボタン「🎴」があります。こちらをクリックすると、現在フォルダ内に放り込んであるLoRAやTextual Inversion、Hypernetwork、学習モデル（checkpoint）を一覧することができます。

・検索窓にワードを入力することで、このように絞り込むこともできます。

・最初はサムネイルがこのようには表示されず、全部「No Preview」になっていますが、サムネイル上の文字列部分にマウスを持っていくとこのような工具ボタン（⚒）が現れ、遷移先の画面から「Replace preview」を変更することで、現在生成画面にある画像をサムネイルにすることができます。

・大量に収集したLoRA一つ一つにサムネイルをつけるのは面倒なので、「CivitaiHelper」という拡張機能を使うと便利です。全てのモデルをスキャンし、Civitaiからモデル情報とプレビューを自動ダウンロードしたり、より新しいバージョンが出ているか見つけたりすることができます。

(frame embed)

６．実際に使ってみよう

表示されたLoRAのカードをクリックすると、プロンプト欄にLoRAの読み込みに必要なタグが反映されます。例えばルーシーのLoRAならという感じ。末尾の「１」がマージされる重みを示していますが、１だと強すぎて画像が崩壊することもあるので、その場合は適宜「0.6」や「0.8」などと調整します。たいていLoRAの配布画面にどれくらいの設定が望ましいか書いてあるので、参考にしましょう。

・lucyのLoRAモデルの場合、ここを見てみると「最新のオフセットバージョンを使う場合は1でいいけど、古いバージョンは0.65が推奨」といったことが書かれています。試しに1に設定してみます。プロンプトにトリガーワードであるlucy \(cyberpunk\)を加えて、さっそく低画質でテスト生成してみよう。

プロンプト： 1girl, solo,lucy \(cyberpunk\),masterpiece,extremely detailed CG,official art,high resolusion,silver short hair

使用モデル：meinapastel

紫の髪にツリ目、サイバーな衣装…。さきほどまでは生成できなかった容姿をしっかり再現できていますね。

あとはいつも通りプロンプトを調整し、アップスケールするだけです。

プロンプト： lucy \(cyberpunk\), 1girl, arm up, asymmetrical hair, belt, bodysuit, covered navel, detached sleeves, grey eyes, hip vent, holding, holding weapon, looking at viewer, night, night sky, pouch, short hair, sky, solo, weapon, white hair, short shorts, shorts, open jacket,masterpiece,extremely detailed CG,official art,high resolusion,moon

ばっちりルーシーを再現することができました。これは低画質でSeed値を探ったあと、イメージ通りの１枚をControlnetの「Tile」という機能を使って描き込みを増やしながらアップスケールしたものです。

ちなみに、キャラ再現LoRAだけでなく、体位や構図、プレイなどさまざまな追加学習を行ったLoRAモデルがウェブ上では配布されています。複数のLoRAを組み合わせることももちろん可能ですが、組み合わせによっては破綻しやすくなるので注意が必要。配布者がおすすめしている重さやトリガーワードはできるだけメモ帳などに書き留めておくと便利です。

重み：１で丁度よいものもあれば、0.6くらいに弱めないとバキバキの画像になってしまうものもあります。これは、同じような画像を重点的に学習させたことで生じる「過学習」という現象が原因です。下の画像は、スタジオ真榊で作ったLoRAを「重み：１」で生成したもの。このように線がブレて見えたり、謎のオブジェクトが描画されたりするようなら、重みを弱めてあげる必要があります。

こちらは同じLoRAを重み0.8で適用したものです。ガビガビとした線がなくなり、きれいに表示されていることがわかります。

７．LoRAのマイナス適用とは？

この重み、「０」だともちろんLoRAの影響がなくなるのですが、実は「マイナス」にして適用することで、真逆の効果を生み出すこともできます。

特に有名なのが、LoRAクリエイター月須和那々 (2vXpSwA7)様が公開した「flat2」。これは塗りをシンプルにするLoRAなのですが、重みを「-1」にしてマイナス適用することで、逆に描き込みを増やすことができる画期的な作品です。

ツイッターのプロフ欄から飛べる保管庫には、他にはないスライダー系の傑作LoRAが大量に配布されています。Githubの「test」フォルダにも画期的なLoRAがたくさんあるので要チェックです。

(frame embed)

ほかにも、スライダー系のLoRAはたくさんあり、同じようにマイナス適用することで逆の効果を発することができます。例えば、女の子の見た目の年齢をコントロールするLoRAや、胸の大きさを操作するLoRA、肌の白さを操作するLoRAなどなど。ぜひCivitaiなどで探してみてください。

終わりに

今回は賢木の趣味でルーシーのLoRAモデルを紹介しましたが、もちろん、他にも多数のモデルが配布されています。こちらはタイトル画像にも使った、遊戯王のブラック・マジシャン・ガールを再現できるようになるLoRAモデルです。使い方はルーシーのモデルと全く同じ。

CIVITAIには日々無数のモデルがアップロードされており、通常の学習モデルも含めて見ていて飽きません。どんどんチェックして、好みのモデルを見つけていきましょう！

やや上級者向けですが、慣れてくると「一つのキャンバス上で複数のキャラクター再現LoRAを適用したい！」となってきます。普通にキャラAのLoRAとキャラBのLoRAを適用しても、それぞれの特徴が混ざってしまうのですが、こちらの方法を使うことで複数キャラクターのイラストを再現することもできるので、ぜひトライしてみてください。

もっと簡単、ガチャ可能！複数キャラにLoRAを当てよう

こんばんは、スタジオ真榊です。今回は、水星の魔女ファンアートの製作過程で「複数キャラにLoRAを当てる方法」をさらに簡便にできたので、具体的なやり方を書き残しておこうと思います。また、背景と前景（キャラ）を別生成して仕上げる方法についても、より前景を印象的にし、全体がリッチに見えるようエフェクトのか...

そんなわけで、本日は「LoRAでキャラ再現！15分でできる追加学習入門」でした。

皆様、素晴らしき追加学習ライフを！