作者saces (saces)
看板AI_Art
标题[分享] 用SD稳定生产MJ画风的尝试
时间Sun Jan 1 07:53:30 2023
看到有人在问MJ怎麽维持画风或角色
所以分享一下我的实验
不过我对Stable diffusion 也没有很熟
首先找一张想复制画风的图
建议最好是1:1的图 或是你要把它裁成1:1
理由後面说
这里使用这张
https://i.imgur.com/VqeVLOP.jpg
我在Upscale 的时候 会upscale 3-4次
然後用photoshop 把它合成一张
留下每张的优点
因为我不想要把它裁小 所以是用Dalle2的outpainting 把它变成1:1 (不建议这样做)
https://i.imgur.com/p5VPLjX.jpg
接着把想复制的图传到Discord 当作image prompt, 加上你原本用来产这张图的prompt,
文字可以稍微修改一些地方
我用2:3的比例 选了五张画风相似的图
也是都upscale 好几次 再PS结合 调色 让图更一致
再用Dalle2 outpating变成1:1 (不建议这样,最好一开始就是1:1的图)
https://i.imgur.com/b2cJEim.jpg
https://i.imgur.com/R4ot4f9.jpg
https://i.imgur.com/SdZ69t6.jpg
https://i.imgur.com/6B2j75L.jpg
https://i.imgur.com/5IQE9TA.jpg
这五张加上原本那张 就是要用来训练的图
如果可以有更多图 或是更多同画风不同主题的图
应该会更好
接着就是用Stable diffusion
我是用Reddit上找的automatic 1111 webui简易安装
因为要复制MJ画风所以我是用openjourney模型去训练
训练方式可以参考这个YouTube 影片
https://youtu.be/HahKXY7AQ8c
六张图本地训练大概十分钟
我的显卡是3080
结果
https://i.imgur.com/LOFdQPm.jpg
可以发现虽然经过Dalle2 outpainting
肉眼看不出明显破绽 但训练出的模型
有些图还是会看的出切痕
所以建议直接找1:1的图
不过我觉得训练结果还是蛮成功的
甚至虽然训练的资料只有年轻男性
但出来的模型也可以适用其他物体
https://i.imgur.com/ke8FWoE.jpg
https://i.imgur.com/Eoq0qf4.jpg
https://i.imgur.com/pkOPr9X.jpg
https://i.imgur.com/jUUPwiF.jpg
https://i.imgur.com/9PTdmJl.jpg
https://i.imgur.com/fPCEzdB.jpg
https://i.imgur.com/J92nuCN.jpg
明星名字也适用
https://i.imgur.com/LmnmzDM.jpg
为了证明模型训练的确有影响
这张和花那张是使用同样的关键字
但模型是用来训练的open journey
https://i.imgur.com/O9dhdab.jpg
差别还是蛮明显的
这是我第一次实验 MJ 结合 SD
感觉还有蛮多改善空间的
如果有擅长dreambooth 的大大
也希望可以分享一下心得
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.169.117.203 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/AI_Art/M.1672530812.A.28D.html
1F:推 ZMTL: 这个想法太有创意了!01/01 08:01
2F:推 ZMTL: PS的部分会很难学吗XDDDDD01/01 08:05
应该是不会,因为我PS也只看过两三小时的网课而已。但我还学过substance painter 逻
辑有点像
其实用免费的GIMP也可以达到差不多的效果,就是两张图以图层叠在一起,其中一个用ma
sk隐藏,接着选择mask用 白色画笔在想要让他显现的部分画 就会显现出来
其实这也不是必须的 只是我Dataset 太小 所以希望图的品质好一点 MJ现在的Upscaler
又还不够好 有时候眼睛漂亮但鼻子歪了之类,直接合成就会比一直重复Upscale来的快
※ 编辑: saces (1.169.117.203 台湾), 01/01/2023 08:15:56
3F:推 ryu55ryu55: 好多肌肉帅哥 好爱<301/01 08:14
4F:推 ZMTL: 我真的没想过可以up好几张来合成,我昨天(上面那个)up到崩溃01/01 08:19
5F:→ ZMTL: 好几张都这边差一点那边差一点XD01/01 08:19
6F:→ ZMTL: 突然有点後悔我生完大图习惯把四格清掉啊啊啊01/01 08:34
7F:推 ZMTL: 有机会的话可以来一段Ps x Upsalce的影片教学XD01/01 08:35
8F:推 Vulpix: 花那两张seed也一样吗?01/01 16:49
9F:推 mayasoo: 其实也可以训练embanding或者hypernetwork,效果比较微妙01/01 17:31
Seed不一样
用同样的seed的测试
1
训练模型
https://i.imgur.com/FQERxeJ.jpg
Open journey
https://i.imgur.com/SFY1it2.jpg
2
训练模型
https://i.imgur.com/LtAziyg.jpg
Open journey
https://i.imgur.com/eqwikEq.jpg
※ 编辑: saces (1.169.117.203 台湾), 01/01/2023 18:45:51
10F:推 Vulpix: 训练模型花那个粉嫩的感觉真的不错。 01/01 19:56
11F:→ Vulpix: 只是人脸率怎麽差那麽多XD 01/01 19:57
12F:推 zemill: 厉害 01/13 20:21
13F:推 zemill: 厉害! 01/13 20:23