|
AI绘图的普及，卖衣服，卖首饰，卖鞋淘宝店主可能是最早看到商机的人。在这个过程中也踩了不少的坑，走了不少的弯路。本文将绕过这些坑和弯路，直接上干货。 直接训练物品LoRA用于AI绘制是目前不可行的。假设你是一位淘宝卖鞋的，想将一双双的鞋训练成LoRA模型，然后让模特穿上，达到展示效果。网上此类视频教程很多，如果你照着这么做了，基本也就是做了无用功。训练出来的LoRA模型确实可以给模特穿上，不过鞋的细节上会有细微差别（比如纹理，形状），使用这些货不对版的图片，等待你的将是无穷无尽的客户退款。 例如使用物品LoRA训练一套黄色裙子，使用这个黄色裙子的LoRA进行绘图，黄色裙子上的野菊花纹没了。
物品LoRA的局限性
网上的那些视频教程例如训练鞋子LoRA的，可以肉眼看到差别，不管介绍的有多好，基本都是不可用。可能有人说，这是因为你的物品LoRA没有训练好造成的。站在LoRA模型生成的角度上来说，这是由模型本身原理决定的，跟模型训练好坏没有关系。 LoRA（Low-Rank Adaptation of Large Language Models，大型语言模型的低秩适应）是微软研究员提出的一种新颖技术，旨在解决微调大型语言模型的问题。LoRA提议冻结预训练模型的权重，并在每个Transformer块中注入可训练层（称为秩分解矩阵）。这段话说人话就是它是基于预训练模型的微调，或多或少与预训练的大模型有相应的融合。 例如上图中的黄色裙子其实是已经存在于预训练的大模型中的，物品黄色裙子的LoRA只是通过改变某些权重，达到指定的输出。而这个输出是与大模型共同作用的结果产生的。LoRA就目前而言对于细节是不可精确控制的。也就是说，也许你用这个物品LoRA绘制1000张图，恰好会有野菊花图案，但是可能领子的白色蕾丝花边却没有了。 所以当你看到有人视频介绍训练物品LoRA用于淘宝店的衣服，首饰，鞋子，直接点右上角的关闭，不用白白浪费时间了。 正确的做法应该是下面的方式： 训练真人模特的LoRA，使用inpaint进行局部重绘，controlnet控制人物姿态。1.训练一个真人模特的LoRA 没有条件的用户找网上日韩MM的图片训练。找两组脸比较类似的，LoRA训练会将人脸融合，因为融合后差异很大，这样做出来的模型基本没人找你肖像权问题。 有条件的用户还是建议真人模特拍照，然后用这些照片生成一个LoRA。人物LoRA训练也是有方法的，目前网上的那些美女LoRA大部分都是不合格的。例如对于全身照（fullbody），基本绘出来的图，晚上看了都是要做噩梦的。因为大多数人进行LoRA训练时没有进行全身图的训练。
按照上面这种方式训练的人物LoRA基本可以应对所有场景了。 2.使用Controlnet控制人物姿态，进行局部重绘 例如我们需要让LoRA模特穿上某件衣服，找个假模特或者自己真人出镜将衣服穿上，进行拍照，得到原始照片。使用inpaint局部重绘，加上openpose或者depth控制即可。
上图中黑色涂抹区域就是重绘区域，手动涂抹或者做个遮罩图进行局部重绘，衣服部分是不做重绘的。
原图与重绘
openpose控制动作
controlnet参数控制
使用openpose可以精确控制头和脖子的位置，避免了inpaint重绘出现只有大头或者没脖子的情况。使用深度图的方法和openpose类似，深度图对手指的处理会好些，如果你的图片出现手指问题，可以考虑用深度图来修正。 下面是最终的成图效果：
| 
淘宝
226 人阅读
|
7 人回复
|
2023-04-22
手机APP
小程序
公众号
人工客服