训练试衣模型的方法、生成试衣图像的方法及相关装置制造方法及图纸

本申请实施例涉及图像处理技术领域，公开了一种训练试衣模型的方法、生成试衣图像的方法及相关装置，试衣网络包括融合解析网络和生成网络，融合解析网络对N个衣服图像和反映模特身体躯干像素区域的第二解析图进行编码和解码，得到融合解析图。生成网络中的第一编码器对N个变形后的衣服图像进行编码得到N个衣服编码，生成网络中级联的第二编码器、N个融合模块、解码器依次对身体躯干图和融合解析图进行编码、融合、解码直至输出预测试衣图像。相同层次的解析特征图约束相同层次的试衣特征图的像素类别。随着试衣网络的不断迭代训练，融合解析图按真实混搭试穿效果进行分割，生成的预测试衣图像不断地靠近真实试衣图像，得到准确的试衣模型。确的试衣模型。确的试衣模型。

【技术实现步骤摘要】
训练试衣模型的方法、生成试衣图像的方法及相关装置


[0001]本申请实施例涉及图像处理
，尤其涉及一种训练试衣模型的方法、生成试衣图像的方法及相关装置。

技术介绍

[0002]随着现代科技的不断进步，网购规模不断增加，用户可以通过手机在网络购物平台上购买衣物，但是，由于用户获取的待售衣物的信息一般是二维展示图片，用户无法知道这些衣物穿戴在自己身上的效果，因而可能会导致买到不适合自己的衣物，购物体验较差。
[0003]随着神经网络的不断发展，在生成图像领域得到了广泛的应用。因此，研究者将神经网络应用到虚拟试衣中，提出各种试衣算法，然而现有的虚拟试衣算法，只能实现单件衣服试穿，无法做到多件衣服混搭试穿。

技术实现思路

[0004]本申请实施例主要解决的技术问题是提供一种训练试衣模型的方法、生成试衣图像的方法及相关装置，该训练方法训练得到的试衣模型能够生成多件衣服混搭效果的试衣图像。
[0005]为解决上述技术问题，第一方面，本申请实施例中提供了一种训练试衣模型的方法，试衣网络包括融合解析网络和生成网络，其中，生成网络包括第一编码器和级联的第二编码器、N个融合模块、解码器，第一编码器与N个融合模块连接；
[0006]方法包括：
[0007]获取训练集，训练集包括多个训练数据，训练数据包括真实试衣图像和N个衣服图像，真实试衣图像包括模特穿有N个衣服图像中对应衣服的图像，其中，N≥2；
[0008]对真实试衣图像进行人体解析，得到第一解析图，从第一解析图中分离出第二解析图，并根据第二解析图从真实试衣图像中提取出身体躯干图，其中，第二解析图反映模特身体躯干的像素区域；
[0009]将N个衣服图像和第二解析图输入融合解析网络，得到融合解析图，融合解析图包括N个衣服图像中对应衣服的像素区域和模特身体躯干的像素区域；
[0010]将身体躯干图、融合解析图和N个变形后的衣服图像输入生成网络，得到预测试衣图像，其中，N个变形后的衣服图像是通过对N个衣服图像中的衣服按真实试衣图像中模特人体结构进行变形得到的，N个变形后的衣服图像输入第一编码器得到N个衣服编码，N个衣服编码分别对应输入N个融合模块，身体躯干图和融合解析图输入生成网络得到预测试衣图像，在融合解码过程中，相同层次的解析特征图约束相同层次的试衣特征图的像素类别；
[0011]采用损失函数对试衣网络进行迭代训练，直到试衣网络收敛，得到试衣模型，损失函数用于表征训练集中各真实试衣图像和各预测试衣图像之间的差异。
[0012]在一些实施例中，根据第二解析图从真实试衣图像中提取出身体躯干图，包括：
[0013]对第二解析图进行二值化处理，得到二值化图像，在二值化图像中身体躯干区域
对应的像素为1，其它区域对应的像素为0；
[0014]将真实试衣图像中的像素和二值化图像中的像素对应位置相乘，得到身体躯干图。
[0015]在一些实施例中，融合模块包括第一卷积层、第二卷积层和融合层；
[0016]融合模块采用以下方式对输入特征图和输入衣服编码进行融合处理：
[0017]通过第一卷积层和第二卷积层分别对输入特征图进行特征提取，得到第一中间特征图和第二中间特征图；
[0018]通过第一卷积层和第二卷积层分别对输入衣服编码进行特征提取，得到第一中间编码和第二中间编码；
[0019]通过融合层对输入特征图、第一中间特征图、第二中间特征图和第一中间编码、第二中间编码进行融合处理。
[0020]在一些实施例中，通过融合层对输入特征图、第一中间特征图、第二中间特征图和第一中间编码、第二中间编码进行融合处理，包括：
[0021]以第一中间特征图为均值、第二中间特征图为方差，对输入特征图进行归一化处理；
[0022]将归一化处理得到的结果与第一中间编码、第二中间编码进行融合处理。
[0023]在一些实施例中，融合层采用以下公式进行融合处理：
[0024][0025]其中，x为输入特征图，μ(x)为第一中间特征图，σ(x)为第二中间特征图，y为输入衣服编码，μ(y)为第一中间编码，σ(y)为第二中间编码，IN(x，y)为融合层输出的特征图。
[0026]在一些实施例中，损失函数包括真实试衣图像和预测试衣图像之间的对抗损失、感知损失和衣服像素损失，其中，衣服像素损失反映N个衣服图像中的衣服分别在真实试衣图像中的像素和在预测试衣图像中的像素之间的差异。
[0027]在一些实施例中，损失函数包括：
[0028]L＝L
cGAN
+λ1L
percept
+λ2L
L1
；
[0029]其中，L
cGAN
＝E[logD(T)]+E[1
‑
logD(Y)][0030][0031][0032]其中，L
cGAN
为对抗损失，L
percept
为感知损失，L
L1
为衣服像素损失，λ1和λ2为超参数，T为真实试衣图像，Y为预测试衣图像，D为判别器，F
i
(T)是由真实试衣图像提取得到的第i个特征图，F
i
(Y)是由预测试衣图像提取得到的第i个特征图，R
i
是F
i
(T)或F
i
(Y)中的元素数量，V为F
i
(T)的个数或F
i
(Y)的个数，f
j
(T)是第j件衣服在真实试衣图像中的像素，f
j
(F)是第j件衣服在预测试衣图像中的像素。
[0033]为解决上述技术问题，第二方面，本申请实施例中提供了一种生成试衣图像的方法，包括：
[0034]获取用户图像和N个待试衣服图像；
[0035]对用户图像进行人体解析，得到用户的第一解析图，从用户的第一解析图中分离出用户的第二解析图，并根据用户的第二解析图从用户图像中提取出用户的身体躯干图，其中，用户的第二解析图反映用户身体躯干的像素区域；
[0036]将N个变形后的待试衣服图像、用户的身体躯干图和N个待试衣服图像输入试衣模型，生成试衣图像，其中，试衣模型采用如权利要求1
‑
7中任意一项训练试衣模型的方法训练得到，N个变形后的待试衣服图像是通过对N个待试衣服图像中的衣服按用户图像中用户人体结构进行变形得到。
[0037]为解决上述技术问题，第三方面，本申请实施例中提供了一种电子设备，包括：
[0038]至少一个处理器，以及
[0039]与至少一个处理器通信连接的存储器，其中，
[0040]存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上第一方面中的方法。
[0041]为解决上述技术问题，第四方面，本申请实施例中提供了一种计算机可读存储介质，计算机可读存储介质存储有计算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练试衣模型的方法，其特征在于，试衣网络包括融合解析网络和生成网络，其中，生成网络包括第一编码器和级联的第二编码器、N个融合模块、解码器，所述第一编码器与所述N个融合模块连接；所述方法包括：获取训练集，所述训练集包括多个训练数据，所述训练数据包括真实试衣图像和N个衣服图像，所述真实试衣图像包括模特穿有所述N个衣服图像中对应衣服的图像，其中，N≥2；对所述真实试衣图像进行人体解析，得到第一解析图，从所述第一解析图中分离出第二解析图，并根据所述第二解析图从所述真实试衣图像中提取出身体躯干图，其中，所述第二解析图反映所述模特身体躯干的像素区域；将所述N个衣服图像和所述第二解析图输入融合解析网络，得到融合解析图，所述融合解析图包括所述N个衣服图像中对应衣服的像素区域和所述模特身体躯干的像素区域；将所述身体躯干图、所述融合解析图和N个变形后的衣服图像输入生成网络，得到预测试衣图像，其中，所述N个变形后的衣服图像是通过对所述N个衣服图像中的衣服按所述真实试衣图像中模特人体结构进行变形得到的，所述N个变形后的衣服图像输入所述第一编码器得到N个衣服编码，所述N个衣服编码分别对应输入所述N个融合模块，所述身体躯干图和所述融合解析图输入生成网络得到所述预测试衣图像，在融合解码过程中，相同层次的解析特征图约束相同层次的试衣特征图的像素类别；采用损失函数对所述试衣网络进行迭代训练，直到所述试衣网络收敛，得到所述试衣模型，所述损失函数用于表征所述训练集中各所述真实试衣图像和各所述预测试衣图像之间的差异。2.根据权利要求1所述的方法，其特征在于，所述根据所述第二解析图从所述真实试衣图像中提取出身体躯干图，包括：对所述第二解析图进行二值化处理，得到二值化图像，在所述二值化图像中身体躯干区域对应的像素为1，其它区域对应的像素为0；将所述真实试衣图像中的像素和所述二值化图像中的像素对应位置相乘，得到所述身体躯干图。3.根据权利要求1所述的方法，其特征在于，所述融合模块包括第一卷积层、第二卷积层和融合层；所述融合模块采用以下方式对输入特征图和输入衣服编码进行融合处理：通过所述第一卷积层和所述第二卷积层分别对所述输入特征图进行特征提取，得到第一中间特征图和第二中间特征图；通过所述第一卷积层和所述第二卷积层分别对所述输入衣服编码进行特征提取，得到第一中间编码和第二中间编码；通过所述融合层对所述输入特征图、所述第一中间特征图、所述第二中间特征图和所述第一中间编码、所述第二中间编码进行融合处理。4.根据权利要求3所述的方法，其特征在于，所述通过所述融合层对所述输入特征图、所述第一中间特征图、所述第二中间特征图和所述第一中间编码、所述第二中间编码进行融合处理，包括：以所述第一中间特征图为均值、所述第二中间特征图为方差，对所述输入特征图进行
归一化处理；将归一化处理得到的结果与所述第一中间编码、所述第二中间编码进行融合处理。5.根据权利要求4所述的方法，其特征在于，所述融合层采用以下公式进行融合处理：其中，x为所述输入特征图，μ(x)为所述第一中间特征图，σ(x)为所述第二中间特征图，y为所述...

【专利技术属性】
技术研发人员：陈仿雄，
申请(专利权)人：深圳数联天下智能科技有限公司，
类型：发明
国别省市：