AI绘图取代淘宝真人模特，需要趟过的坑和弯路
AI绘图的普及，卖衣服，卖首饰，卖鞋淘宝店主可能是最早看到商机的人。在这个过程中也踩了不少的坑，走了不少的弯路。本文将绕过这些坑和弯路，直接上干货。直接训练物品LoRA用于AI绘制是目前不可行的。假设你是一位淘宝卖鞋的，想将一双双的鞋训练成LoRA模型，然后让模特穿上，达到展示效果。网上此类视频教程很多，如果你照着这么做了，基本也就是做了无用功。训练出来的LoRA模型确实可以给模特穿上，不过鞋的细节上会有细微差别（比如纹理，形状），使用这些货不对版的图片，等待你的将是无穷无尽的客户退款。例如使用物品LoRA训练一套黄色裙子，使用这个黄色裙子的LoRA进行绘图，黄色裙子上的野菊花纹没了。物品LoRA的局限性
网上的那些视频教程例如训练鞋子LoRA的，可以肉眼看到差别，不管介绍的有多好，基本都是不可用。可能有人说，这是因为你的物品LoRA没有训练好造成的。站在LoRA模型生成的角度上来说，这是由模型本身原理决定的，跟模型训练好坏没有关系。LoRA（Low-Rank Adaptation of Large Language Models，大型语言模型的低秩适应）是微软研究员提出的一种新颖技术，旨在解决微调大型语言模型的问题。LoRA提议冻结预训练模型的权重，并在每个Transformer块中注入可训练层（称为秩分解矩阵）。这段话说人话就是它是基于预训练模型的微调，或多或少与预训练的大模型有相应的融合。例如上图中的黄色裙子其实是已经存在于预训练的大模型中的，物品黄色裙子的LoRA只是通过改变某些权重，达到指定的输出。而这个输出是与大模型共同作用的结果产生的。LoRA就目前而言对于细节是不可精确控制的。也就是说，也许你用这个物品LoRA绘制1000张图，恰好会有野菊花图案，但是可能领子的白色蕾丝花边却没有了。所以当你看到有人视频介绍训练物品LoRA用于淘宝店的衣服，首饰，鞋子，直接点右上角的关闭，不用白白浪费时间了。正确的做法应该是下面的方式：训练真人模特的LoRA，使用inpaint进行局部重绘，controlnet控制人物姿态。1.训练一个真人模特的LoRA没有条件的用户找网上日韩MM的图片训练。找两组脸比较类似的，LoRA训练会将人脸融合，因为融合后差异很大，这样做出来的模型基本没人找你肖像权问题。有条件的用户还是建议真人模特拍照，然后用这些照片生成一个LoRA。人物LoRA训练也是有方法的，目前网上的那些美女LoRA大部分都是不合格的。例如对于全身照（fullbody），基本绘出来的图，晚上看了都是要做噩梦的。因为大多数人进行LoRA训练时没有进行全身图的训练。
按照上面这种方式训练的人物LoRA基本可以应对所有场景了。2.使用Controlnet控制人物姿态，进行局部重绘例如我们需要让LoRA模特穿上某件衣服，找个假模特或者自己真人出镜将衣服穿上，进行拍照，得到原始照片。使用inpaint局部重绘，加上openpose或者depth控制即可。
上图中黑色涂抹区域就是重绘区域，手动涂抹或者做个遮罩图进行局部重绘，衣服部分是不做重绘的。
原图与重绘
openpose控制动作
controlnet参数控制
使用openpose可以精确控制头和脖子的位置，避免了inpaint重绘出现只有大头或者没脖子的情况。使用深度图的方法和openpose类似，深度图对手指的处理会好些，如果你的图片出现手指问题，可以考虑用深度图来修正。下面是最终的成图效果：
“有条件的用户还是建议真人模特拍照，然后用这些照片生成一个LoRA。”。。都用真人模特了，直接淘宝模特拍照不是效率更高更好吗？ 摆好姿势 一键三连 你才知道，现在用了，发现不行，人家就是说我们给得是创意 那从你的角度看，顾及双方实际，一般普通店家找人AI作图的话，如何报价，报价多少双方觉得合适？？？0.5元一张？1元一张？10元一张？20一张？ 对，甚至还有用mid割韭菜的。只能自己拍，换脸啦，我用假模特，换脸，可以，但是换背景有点生硬啊，和ps抠图覆盖没啥区别。今天拍了个没五官的模特，怎么换头，是后脑勺。求指点 转发了
页:
[1]