训练试衣模型的方法、虚拟试衣方法及相关装置制造方法及图纸

本申请实施例涉及图像处理技术领域，公开了一种训练试衣模型的方法、虚拟试衣方法及相关装置，构建的试衣网络包括生成模块、编码模块和融合模块，采用编码模块对衣服图像进行特征提取，得到反映衣服样式特征的第一衣服编码和反映衣服纹理特征的第二衣服编码。采用人体关键点图像、身体躯干图以及第一衣服编码作为生成模块的输入，进行先编码后解码，在解码过程中，第一衣服编码与生成的至少一个特征图分别进行特征融合，生成衣服具有立体感的初始试衣图像。利用融合模块将第二衣服编码和初始试衣图像进行融合，对融合结果进行调整，生成高分辨率的试衣图像。从而，训练得到的试衣模型能够生成高分辨率、衣服试穿立体感真实贴切的虚拟试衣图像。虚拟试衣图像。虚拟试衣图像。

【技术实现步骤摘要】
训练试衣模型的方法、虚拟试衣方法及相关装置


[0001]本申请实施例涉及图像处理
，尤其涉及一种训练试衣模型的方法、虚拟试衣方法及相关装置。

技术介绍

[0002]随着现代科技的不断进步，网购规模不断增加，用户可以通过手机在网络购物平台上购买衣物，但是，由于用户获取的待售衣物的信息一般是二维展示图片，用户无法知道这些衣物穿戴在自己身上的效果，因而可能会导致买到不适合自己的衣物，购物体验较差。
[0003]随着神经网络的不断发展，在生成图像领域得到了广泛的应用。因此，研究者将神经网络应用到虚拟试衣中，提出各种试衣算法。然而，本申请专利技术人所知晓的一些虚拟试衣算法，大多数都是先对衣服变形再生成模拟试穿衣服的试衣图像，并且所生成的试衣图像分辨率都比较低，同时衣服被模拟穿上后缺乏立体感，导致最终呈现的试穿效果存在贴图感，不够真实自然。

技术实现思路

[0004]有鉴于此，本申请一些实施例提供了一种训练试衣模型的方法、虚拟试衣方法及相关装置，该方法训练得到的试衣模型能够生成高分辨率、衣服试穿立体感真实贴切的虚拟试衣图像。
[0005]第一方面，本申请一些实施例中提供了一种训练试衣模型的方法，试衣网络包括生成模块、编码模块和融合模块，其中，生成模块包括编码器和解码器，用于对输入的图像进行先编码后解码处理；编码模块用于对输入的图像进行特征提取，融合模块用于对输入的至少两个特征图进行特征融合；
[0006]方法包括：
[0007]获取若干个图像组，图像组包括衣服图像和模特图像，模特图像中的模特穿有衣服图像中的衣服；
[0008]从模特图像中提取出身体躯干图和人体关键点图像；
[0009]将身体躯干图、人体关键点图像输入生成模块中的编码器进行编码处理，将编码结果和第一衣服编码输入生成模块中的解码器进行解码处理，生成初始试衣图像；其中，在解码过程中生成的至少一个特征图分别与第一衣服编码进行特征融合，第一衣服编码为编码模块对衣服图像进特征提取后得到的，反映衣服的样式特征；
[0010]将初始试衣图像和第二衣服编码输入融合模块进行特征融合，将输出的融合结果进行分辨率调整，得到预测试衣图像；其中，第二衣服编码为编码模块对衣服图像进行特征提取后得到的，反映衣服的纹理特征；
[0011]采用损失函数计算预测试衣图像和模特图像之间的损失，并根据若干个图像组对应的损失和，对试衣网络进行迭代训练，直至收敛，得到试衣模型。
[0012]在一些实施例中，解码器包括多个级联的、间隔设置的上采样卷积层和特征融合
层，其中，特征融合层采用以下方式将上一上采样卷积层输出的特征图与第一衣服编码进行特征融合：
[0013]将第一衣服编码进行降维处理；
[0014]采用降维处理后的第一衣服编码，与上一上采样卷积层输出的特征图进行线性融合，得到融合后的特征图。
[0015]在一些实施例中，特征融合层采用以下公式将上一上采样卷积层输出的特征图与第一衣服编码进行特征融合：
[0016][0017]其中，V
i
是第i个上采样卷积层输出的特征图，V
i
是输入第i个特征融合层的第一衣服编码转换得到的权重值，是输入第i个特征融合层的第一衣服编码转换得到的偏差值，IN(V
i
,S)是第i个特征融合层输出的融合后的特征图。
[0018]在一些实施例中，融合模块采用以下方式对初始试衣图像和第二衣服编码进行特征融合：
[0019]将第二衣服编码的各个行向量分别和初始试衣图像进行线性融合；
[0020]将各个行向量分别对应的线性融合结果进行相加融合。
[0021]在一些实施例中，融合模块采用以下公式对初始试衣图像和第二衣服编码进行特征融合：
[0022][0023]其中，W是第二衣服编码，G1是初始试衣图像，AIN(G1,W)是融合模块输出的融合结果，FC表示全连接层，W[i]是第二衣服编码的第i行向量。
[0024]在一些实施例中，试衣网络还包括至少一个超分模块，超分模块包括至少一个残差单元和至少一个卷积层，残差单元用于对输入的图像进行映射变换处理，以提取特征，至少一个卷积层用于对各个残差单元输出的特征图进行升维，生成高分辨率图像；
[0025]将输出的融合结果进行分辨率调整，得到预测试衣图像，包括：
[0026]根据融合结果的分辨率和模特图像的分辨率，确定超分模块的数量R；
[0027]将融合结果输入级联的R个超分模块，依次进行计算处理，输出预测试衣图像。
[0028]在一些实施例中，残差单元采用以下方式对输入的图像进行映射变换处理：
[0029]将输入的图像进行通道缩减映射，再进行通道扩展映射；
[0030]将通道扩展映射后的特征图与输入的图像进行融合处理，得到残差单元输出的特征图。
[0031]第二方面，本申请一些实施例中提供了一种虚拟试衣方法，包括：
[0032]获取试穿者图像和待试衣服图像；
[0033]从试穿者图像中提取出试穿者的身体躯干图，从试穿者图像中提取出试穿者的人体关键点图像；
[0034]将试穿者的身体躯干图、试穿者的人体关键点图像和待试衣服图像输入试衣模型，生成虚拟试衣图像；其中，试衣模型采用第一方面的方法训练得到。
[0035]第三方面，本申请一些实施例中提供了一种计算机设备，包括：
[0036]至少一个处理器，以及
[0037]与至少一个处理器通信连接的存储器，其中，
[0038]存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面的方法。
[0039]第四方面，本申请一些实施例中提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机设备执行第一方面的方法。
[0040]本申请实施例的有益效果：区别于现有技术的情况，本申请实施例提供的训练试衣模型的方法，首先构建的试衣网络包括生成模块、编码模块和融合模块，其中，生成模块包括编码器和解码器，用于对输入的图像进行先编码后解码处理；编码模块用于对输入的图像进行特征提取，融合模块用于对输入的至少两个特征图进行特征融合。然后，获取若干个图像组，每个图像组包括衣服图像和模特图像，模特图像中的模特穿有衣服图像中的衣服。从模特图像中提取出身体躯干图和人体关键点图像。将身体躯干图、人体关键点图像输入生成模块中的编码器进行编码处理，将编码结果和第一衣服编码输入生成模块中的解码器进行解码处理，生成初始试衣图像，其中，在解码过程中生成的至少一个特征图分别与第一衣服编码进行特征融合，第一衣服编码为编码模块对衣服图像进特征提取后得到的，反映衣服的样式特征。然后，将初始试衣图像和第二衣服编码输入融合模块进行特征融合，将输出的融合结果进行分辨率调整，得到预测试衣图像；其中，第二衣服编码为编码模块对衣服图像进行特征提取后得到的，反本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练试衣模型的方法，其特征在于，试衣网络包括生成模块、编码模块和融合模块，其中，所述生成模块包括编码器和解码器，用于对输入的图像进行先编码后解码处理；所述编码模块用于对输入的图像进行特征提取，所述融合模块用于对输入的至少两个特征图进行特征融合；所述方法包括：获取若干个图像组，所述图像组包括衣服图像和模特图像，所述模特图像中的模特穿有所述衣服图像中的衣服；将所述模特的身体躯干图、人体关键点图像输入所述生成模块中的编码器进行编码处理，将编码结果和第一衣服编码输入所述生成模块中的解码器进行解码处理，生成初始试衣图像；其中，在解码过程中生成的至少一个特征图分别与所述第一衣服编码进行特征融合，所述第一衣服编码为所述编码模块对所述衣服图像进特征提取后得到，用于反映所述衣服的样式特征；将所述初始试衣图像和第二衣服编码输入所述融合模块进行特征融合，将输出的融合结果进行分辨率调整，得到所述预测试衣图像；其中，所述第二衣服编码为所述编码模块对所述衣服图像进行特征提取后得到，用于反映所述衣服的纹理特征；采用损失函数计算所述预测试衣图像和所述模特图像之间的损失，并根据所述若干个图像组对应的损失和，对所述试衣网络进行迭代训练，直至收敛，得到所述试衣模型。2.根据权利要求1所述的方法，其特征在于，所述解码器包括多个级联的、间隔设置的上采样卷积层和特征融合层，其中，所述特征融合层采用以下方式将上一上采样卷积层输出的特征图与所述第一衣服编码进行特征融合：将所述第一衣服编码进行降维处理；采用降维处理后的第一衣服编码，与所述上一上采样卷积层输出的特征图进行线性融合，得到融合后的特征图。3.根据权利要求2所述的方法，其特征在于，所述特征融合层采用以下公式将上一上采样卷积层输出的特征图与所述第一衣服编码进行特征融合：其中，V
i
是第i个上采样卷积层输出的特征图，V
i
是输入第i个特征融合层的第一衣服编码转换得到的权重值，是输入第i个特征融合层的第一衣服编码转换得到的偏差值，IN(V
i
,S)是第i个特征融合层输出的融合后的特征图。4.根据权利要求1所述的方法，其特征在于，所述融合模块采用以下方式对所述初始试衣图像和所述第二衣服编码进行特征融合：将所述第二衣服编码的各个行向...

【专利技术属性】
技术研发人员：陈仿雄，
申请(专利权)人：深圳数联天下智能科技有限公司，
类型：发明
国别省市：