Home Artists Posts Import Register

Downloads

Content

我觉得这个方向可以结题了,这次不再是inpaint修改而是直接生成图片,可以进行简单的服饰修改、可以做到角色的更换、可以做简单姿势的变换。

简单说下原理吧,这是通过Hypernetworks文件进行风格化训练,让模型跑到出现部分过拟合,没错要跑到出现过拟合的程度。

首先,这取决于你的素材,我本次用的素材集全部都是,站立、挺胸、上半身、胸部穿刺、半裸或全裸。自己ps做的图。但是其他特征内容要求丰富、如发色、瞳色、手部姿势等。

另外重要的,训练集的提示词,想要保留的部分必须相当一致,而且可以用AI原本不认识的词,比如说本次我用到了“stabbed between breasts”,如果直接用不会有效果,而当你训练成形之后,“stabbed between breasts”会成为你这个embedding特定的提示词。用于丰富的训练集的部分的描述要求简洁,要求AI要能听懂,这时候就不要生造词了,直接用deepbooru生产的就好。

生成图的时候,因为Hypernetworks文件是可以修改调和强度的,也就是说你可以适当调节保证出图的丰富性和玩法准确性之间做平衡。

尽量利用“Hires. fix”生成图片,从方形过渡到你想要的大小,最后用超分辨率补。

延申来说,不仅仅是我这个玩法,我见过有的作者通过embedding+Hypernetworks来保证训练角色的效果、如纳西妲的发饰、伊雷娜的帽子、碧蓝档案人物的的光环等。这给了我启发,无论是健全还是不健全的,只要i想要保留的特征都可以通过这种方式来训练。

要说哪里有不足的,AI脸的确是没办法的,手部崩坏可能用手部精细且位置不变的情况下做出特定的图片应该是可行的。应该有大佬尝试过吧,不过这种办法不如直接训练大模型、或者说私模应该能做到。哎,奈何财力有限,只能以后再说。

高清-23020501


Files

Comments

No comments found for this post.