作者Ayukawayen (鮎川彦)
看板AI_Art
标题Re: [讨论] 真人Lora训练时挂载的大模型？
时间Sat Apr 19 15:51:52 2025
※ 引述《enzo50 (== 鸦片玫瑰 ==)》之铭言：
: 前阵子用一般照片成功训练了一个真人Lora，成果还算不错，但训练初期设定要配合搭载的
: 大模型，一般教学都是挂在标准SD1.5下，我这样训练出来成果反而不好，後来改挂在相容
: 於1.5的亚洲女性高解析模型下，就好很多。
: 但另一个问题是，在这样前提下训练出来的Lora，如果在生图时挂在跟原本训练不同的模型
: ，例如：ChilloutMix等，产生的结果就非常糟糕，想知道为什麽会有这样的差异呢？
: 未来如果要在多个模型下使用同一个真人的Lora，不就要针对各个模型各训练一个版本？？
我自己没怎麽练过真人LORA，都是二次元图片LORA，个人练下来的感觉是这样：
LORA是做一个校正让底层模型生出来的图去靠近训练图片。如果底层生出来的图和训练
图片的差距较大，练出来的LORA的校正力会比较大。或是底层的图有歪掉时，练LORA的
途中有可能会放入"敲回来"的效果。
所以如果使用的底层产出的图比较接近训练图片时，就比较不会发生一些过份修正的效
果。标准SD1.5产的图没有为特定领域调整过的底层模型接近你想要的图片，所以LORA
为了让它更像训练图片就可能会加一些比较硬来的调整进去。
如果把拿标准SD1.5来训练、也使用在标准SD1.5上，状况可能会是标准SD1.5原本生出
来的拟真图片就没有那麽好，那些硬来的调整脱离了不太大的适用情境後又会造成问题
，所以可能只有特定角度、表情和提示词的组合下表现比较好(多半仍不及特化模型)。
LORA拿到不同的底层模型上使用，基本上要两个模型可以相容，不然LORA对训练模型所
练到的调整在生图模型上可能不适用甚至把图弄得更糟。够相容的话是可以的，通常是
两个模型从同一个模型各做了一部份修改、修改的方向也接近；或是两者是亲子关系。
我自己会用AnyLORA这个模型产二次元图，它原本设计目标就是尽量相容SD1.5系列练出
来的LORA，所以可能产图上比较少出问题。如果是不同系统出来的模型，那通常就相当
不能用。标准SD1.5练出来的LORA，理论上可以拿去SD1.5系列衍生的模型上用，实际上
可能会有校正力道太强，反过来会有力道不足的情况。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 220.138.46.115 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/AI_Art/M.1745049115.A.CA8.html
※ 编辑: Ayukawayen (220.138.46.115 台湾), 04/19/2025 15:54:10
1F：推 peachteagif: 推Anything V5这个lora，做人物lora喂二次元图可以生 04/21 00:03
2F：→ peachteagif: 三次元，当你图片不足时很好用 04/21 00:05
3F：→ peachteagif: 打错了，Anything V5这个底模 04/21 00:05
4F：→ Ayukawayen: 我是用Anything V5当底模练，应该满多SD1.5的底模是从 04/21 11:55
5F：→ Ayukawayen: 它改的，所以相容性颇高，练出来的LORA好几个底模可用 04/21 11:56
6F：推 enzo50: 谢谢 04/21 14:43