训练衣服变形模型的方法、虚拟试衣方法及相关装置制造方法及图纸

本申请实施例涉及图像处理技术领域，公开了一种训练衣服变形模型的方法、虚拟试衣方法及相关装置，该方法通过构建包括Transformer模块、特征匹配模块和变形模块的衣服变形网络，采用若干个图像组对应的第一模特特征图和第一衣服特征图对衣服变形网络进行训练，得到衣服变形模型。利用Transformer模块的注意力机制建立模特图像和衣服图像之间的特征联系，可以得到具有全局稀疏特征的第一模特特征图和第一衣服特征图，两者中的稀疏特征具有匹配关联性，从而可以筛选出更具有辨识度和代表性的关联像素点。变形模块依据这些关联像素点的光流轨迹对衣服图像进行变形。训练得到的衣服变形模型能够使得变形后的衣服轮廓与人体相适应，还能使得衣服纹理走向自然。还能使得衣服纹理走向自然。还能使得衣服纹理走向自然。

【技术实现步骤摘要】
训练衣服变形模型的方法、虚拟试衣方法及相关装置


[0001]本申请实施例涉及图像处理
，尤其涉及一种训练衣服变形模型的方法、虚拟试衣方法及相关装置。

技术介绍

[0002]随着现代科技的不断进步，网购规模不断增加，用户可以通过手机在网络购物平台上购买衣物，但是，由于用户获取的待售衣物的信息一般是二维展示图片，用户无法知道这些衣物穿戴在自己身上的效果。从而，导致线上试装的需求日渐强烈，服装着装展示也成为现代计算机视觉领域的重要的方向。
[0003]目前，虚拟试穿技术一般通过拍摄用户图像，选择系统提供的目标服饰，对目标服饰进行变形处理，采用变形后的目标服饰对用户身上原有的衣服进行自动替换。然而，现有的衣服变形方法，无法平衡变形轮廓贴合人体和衣服纹理走向自然。

技术实现思路

[0004]本申请实施例主要解决的技术问题是提供一种训练衣服变形模型的方法、虚拟试衣方法及相关装置，该训练方法训练得到的衣服变形模型能够使得变形后的衣服轮廓与人体相适应，还能使得衣服纹理走向自然。
[0005]为解决上述技术问题，第一方面，本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练衣服变形模型的方法，其特征在于，衣服变形网络包括Transformer模块、特征匹配模块和变形模块；所述方法包括：获取若干个图像组，所述图像组包括衣服图像和模特图像，所述模特图像中的模特穿有所述衣服图像中的衣服；将所述模特图像和衣服图像作为输入图像对，将所述输入图像对输入所述Transformer模块进行计算处理，得到第一模特特征图和第一衣服特征图；将所述第一模特特征图和所述第一衣服特征图输入所述特征匹配模块进行特征匹配关联，得到关联矩阵，所述关联矩阵反映模特和衣服之间的像素点关联匹配度；所述变形模块根据所述关联矩阵对所述衣服图像进行变形，得到预测衣服变形图像；采用损失函数计算所述预测衣服变形图像和真实衣服变形图像之间的损失，并根据所述若干个图像组对应的损失和，对所述衣服变形网络进行迭代训练，直至收敛，得到所述衣服变形模型，其中，所述真实衣服变形图像是通过从所述模特图像中提取衣服区域得到的。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述模特图像进行人体关键点检测，得到关键点图像；所述将所述模特图像和衣服图像作为输入图像对，包括：将所述关键点图像和所述模特图像进行通道组合，得到组合图像；将所述组合图像和所述衣服图像作为所述输入图像对。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：对所述模特图像进行人体解析，得到解析图像，并根据所述解析图像从所述模特图像中提取躯干区域，得到模特躯干图；所述将所述关键点图像和所述模特图像进行通道组合，得到组合图像，包括：将所述关键点图像和所述模特躯干图进行通道组合，得到所述组合图像。4.根据权利要求2所述的方法，其特征在于，所述衣服变形网络还包括特征提取模块，在所述将所述输入图像对输入所述Transformer模块，得到关联矩阵的步骤之前，所述方法还包括：采用所述特征提取模块对所述组合图像进行特征提取，得到第二模特特征图；采用所述特征提取模块对所述衣服图像进行特征提取，得到第二衣服特征图；所述将所述组合图像和所述衣服图像作为所述输入图像对，包括：将所述第二模特特征图和所述第二衣服特征图作为所述输入图像对。5.根据权利要求4所述的方法，其特征在于，所述将所述输入图像对输入所述Transformer模块计算处理，得到得到第一模特特征图和第一衣服特...

【专利技术属性】
技术研发人员：陈仿雄，
申请(专利权)人：深圳数联天下智能科技有限公司，
类型：发明
国别省市：