lora作り雑談 (Pixiv Fanbox)

正則化画像作りに飽きたので気分転換に。何が大変かというと、単純作業＆これがどの程度成果に繋がるかわからない、という二つが心理的にしんどいのです。 追加学習について調べていると、正則化画像は重要ではない、という話が結構出ているのですが、どうもこのあたりに誤解がありそうな気がしています。 なので、検証してみるか、と、せっせと正則化用の画像を生成しているのですが... で、正則化って重要じゃね？と思った理由は、「過学習ってそもそもなんぞや？」という疑問から来ています。これ自体はそれほど難しい話ではなく、要は教師データを学習しすぎている、というだけのこと。ただ、「何を学習しすぎなのか」という点がおそらく重要。 例えば、にじかちゃんloraを作りたい場合、「サイドポニー」「センター分け」「もみあげ（side lock)」「三角のアホ毛」あたりが一番重要な要素なので、これ自体は学習しすぎてあかん、ということはない。他方、学んでほしくない要素としては、「塗り（画風を学習させたい場合は別）」「背景」など。 人間的には「学んで欲しい」「学んで欲しくない」という要素を分別できるが、AIはそんな分別はしておらず、教師データを再現するためのベクトルを探っているだけのようなので、「サイドポニー」も「アホ毛」も「塗り」も、全部ベクトル的な量でしかない（はず；ただし、17層くらいのレイヤーがあるらしいので、単なる多次元ベクトルという認識は間違っているかも）。 なので、「学んで欲しい要素」も「学んで欲しくない要素」も、学習を進めるとどちらも取り込んでしまう。そのため、学習率を調整したり、ステップ数を調整したりして、「学んで欲しい要素ができるだけ大きく」かつ「学んで欲しくない要素ができるだけ少ない」ところを狙う必要がある。これが追加学習の基本的な方針だと思われる。 過学習について特に気になったのが、学習に使っているモデルの傾向まで学んでしまうこと。今のところの推測として、教師データの量が十分な場合、教師データよりも先に学習に使ったモデル自体の過学習のほうが先に現れる印象。なので、この学習モデルの影響を取り除くのに、複数のモデルで生成した正則化画像がいるんじゃね？となった次第。 では、正則化って何しているの、となると、最初よくわからなかったのですが、たぶんこのページがわかりやすい。 https://di-acc2.com/analytics/ai/6335/ ネガティブプロンプトみたいに減算処理をしているわけではなく、学習データを正則化画像に近づけることで、結果として「学んで欲しくない要素」の影響を低下させている...ということな気がする。 おそらく、学習結果が収束する範囲が、 正則化なし→教師データの”あたり”になる 正則化あり→教師データと正則化データの”間”になる のではなかろうか。 というのが、現状の推測。 ちなみに画像の虹夏ちゃんはたまたま上手く行っただけで、ポーズ変えると絵柄が壊滅します。