一种高精度服装纹理虚拟试穿方法与系统技术方案

本发明专利技术涉及一种高精度的服装纹理虚拟试穿方法与系统，由试衣人图像输入采集模块、人体解析模块，服装纹理生成模块以及人体姿态融合试穿模块构成。主要包括纹理生成和服装试穿两个步骤，首先依据开源数据集的人体解析图分离服装区域蒙版，得到试穿区域外的人物保留特征区域；其次，服装区域蒙版作为条件约束纹理生成区域，采用一个融合编解码网络的增强条件生成对抗网络实现纹理高维特征提取和服装形变区域的纹理重构；最后，使用一个编解码网络融合了人体姿态保留特征和纹理生成重构服装特征，得到服装纹理虚拟试穿结果。本发明专利技术具有高精度、交互性好、普适性强等优点，能有效处理身体遮挡，克服纹理形变失真，生成细腻自然的纹理试穿效果，预览个性化选择纹理的上身效果，提升用户的虚拟试穿体验。提高数字化时尚定制中的用户沟通效率，减少服装设计周期，降低成本，对于在线换装、交互式远程定制等互联网消费模式都有良好应用价值。网消费模式都有良好应用价值。网消费模式都有良好应用价值。

【技术实现步骤摘要】
一种高精度服装纹理虚拟试穿方法与系统


[0001]本专利技术涉及一种基于二维图像的高精度服装纹理虚拟试穿方法(High
‑
Precision Texture Virtual Fitting，HPTVF)以及基于该方法形成的系统，属计算机图形图像领域。

技术介绍

[0002]随着人们生活水平的提高，人们对时尚的追求促使服装定制成为服装行业的发展趋势。但是，传统服装定制的周期较长，短时间内，用户难以看到定制服装的上身效果。近年来，虚拟服装建模与虚拟试穿利用AI、计算机视觉等技术带给用户交互式的虚拟试穿体验，促进数字化服装定制的发展。
[0003]目前，成衣虚拟试穿主要分为三维试穿和二维试穿两大类。三维虚拟试穿能够展示立体的试衣效果，如Fitiquette、DC
‑
suit、Fits me、虚拟试衣屏、好买衣和炫试衣等。二维虚拟试穿只需要将服装图像作为输入数据，使服装图像根据人的姿势和身体外形自然形变，高精度恢复服装颜色和图案及人物特征，如VITON、CP
‑
VTON等方法。二维虚拟试穿的生成图像也可通过映射转为三维虚拟试穿，普适性更强。
[0004]然而，服装纹理虚拟试穿相比成衣虚拟试穿的难点在于：纹理虚拟试穿需要处理纹理块与各类服装外形间的大尺度变形和大空间错位，并且，要能高精度还原纹理细节和人物特征，保证试穿区域外的服装不受干扰，而基于成衣变形的方法难以实现上述要求。近年来，纹理合成方法TextureGAN使用级联的生成对抗网络(GAN)的思想实现了纹理贴图到不规则草图轮廓内的纹理合成，在鞋包饰品应用的纹理合成效果较好，但该方法在纹理试穿时，人物面部特征失真，同时生成的服装纹理较模糊。当前，条件生成对抗网络(CGAN)是一种监督型学习，能够有效控制图像特征损失，在高精度图像生成领域应用广泛，但仍不能处理纹理的高维语义特征损失，导致形变生成纹理的内容、风格仍可能失真变形。

技术实现思路

[0005]本专利技术的目的是：提供一种高精度的服装纹理试穿方法以及系统。
[0006]为了达到上述目的，本专利技术的技术方案是提供了一种高精度服装纹理虚拟试穿系统，其特征在于，包括：
[0007]输入采集模块，用于采集二维人体图像X0，该二维人体图像X0中的人体可以处于任意姿态；
[0008]人体解析模块，用于对输入采集模块所采集的二维人体图像X0进行处理，获得人体特征保留区X3和试穿区域定位蒙板X1；
[0009]服装纹理生成模块，用于将人体解析模块输出的试穿区域定位蒙板X1以及纹理特征约束X2输入到服装纹理生成模块，其中，试穿区域定位蒙板X1作为纹理生成区域的定位输入，纹理特征约束X2作为生成服装属性的条件约束输入，由服装纹理生成模块A在指定的纹理生成区域X1内基于纹理特征约束X2所约束的纹理特征生成二维服装图像Y1；
[0010]人体姿态融合试穿模块，用于将服装纹理生成模块输出的二维服装图像Y1与人体
解析模块输出的人体特征保留区X3进行融合处理得到试穿结果Y2，实现服装纹理的虚拟试穿，其中，试穿结果Y2为指定人体特征保留区之外融合生成服装纹理的试穿结果。样本数据集包括服装、纹理、人体姿态图像样本库，可供用户个性化选择虚拟试穿的服装式样、纹理以及姿态，并支撑虚拟试穿网络的智能学习训练。
[0011]优选地，所述人体解析模块对输入采集模块所采集的二维人体图像X0进行人体解析，得到所述人体特征保留区X3和所述试穿区域定位蒙板X1。
[0012]优选地，所述服装纹理生成模块采用增强CGAN网络，该增强CGAN网络利用纹理生成器G提取纹理特征约束X2的高维特征，并将提取到的高维特征映射到服装形变的纹理生成区域，实现纹理生成区域X1内的纹理重构，生成二维服装图像Y1；
[0013]在对服装纹理生成模块A进行训练时，由判别器D对样本数据集Z中的真实样本和纹理生成器G的生成图像进行真假判别，将联合损失反馈给纹理生成器G，纹理生成器G结合反馈的联合损失进行网络参数更新，不断迭代，使得纹理生成器G生成的图像逐渐接近真实样本，当生成
‑
对抗博弈达到平衡时得到最终的优化网络。
[0014]优选地，所述增强CGAN网络的纹理生成器G采用了编解码网络，实现对所述纹理特征约束X2的高维特征提取以及纹理生成区域的纹理重构，该编解码网络包括下采样、残差网络、上采样三部分。(一般性)优选地，所述增强CGAN网络的损失采用了联合损失函数，使所述纹理生成器G输出的二维服装图像Y1不断接近真实图像，从而优化网络的参数。联合损失函数包括L1损失、内容损失L
c
、风格损失L
s
和条件对抗损失L
CGAN
，但不限于此。
[0015]优选地，所述L1损失表示为：
[0016][0017]式中，U
i
为训练样本数据集Z中的第i个真实样本、U
i
'为与U
i
相对应的纹理生成器G输出的二维服装图像、n为训练样本数据集Z中的样本总数；
[0018]所述内容损失表示为：
[0019][0020]式中，U为训练样本数据集Z中的真实样本、U'为与U相对应的纹理生成器G输出的二维服装图像、φ
j
(U')与φ
j
(U)分别为U'与U在神经网络卷积层第j层的特征图像，λ
j
表示各个特征图所占内容损失的权重系数；
[0021]所述风格损失表示为：
[0022][0023][0024]式中：为二维图像x第j层特征图像对应的Gram矩阵(,c
’
)处的元素，C
j
、H
j
、W
j
为第j层的特征图像的尺寸，φ
j
(x)
h,w,c
、φ
j
(x)
h,w,c'
分别为x在第j层特征图像(h,,)以及(h,,
′
)处的元素；
[0025]所述条件对抗损失表示为：
[0026][0027]式中，U～P
data
(U)表示真实样本U服从的分布、M～P
M
(M)表示定位蒙版M服从的分布、E表示期望、T表示纹理特征约束X2、D(U|T)表示判别器对真实样本的判别、M表示试穿区域定位蒙板X1、G(M|T)表示纹理生成器在T条件下输入M得到的生成图像、D(G(M|T))表示判别器对生成图像的判别；
[0028]训练时，判别器D目标是最大化L
CGAN
(D,G)，纹理生成器G目标是最小化L
CGAN
(D,G)。
[0029]优选地，所述人体姿态融合试穿模块采用编解码网络处理。
[0030]本专利技术的另一个技术方案是提供了一种高精度服装纹理虚拟试穿方法，其特征在于，包括以下步骤：
[0031]步骤1、通过输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高精度服装纹理虚拟试穿系统，其特征在于，包括：输入采集模块，用于采集二维人体图像X0，该二维人体图像X0中的人体可以处于任意姿态；人体解析模块，用于对输入采集模块所采集的二维人体图像X0进行处理，获得人体特征保留区X3和试穿区域定位蒙板X1；服装纹理生成模块，用于将人体解析模块输出的试穿区域定位蒙板X1以及纹理特征约束X2输入到服装纹理生成模块，其中，试穿区域定位蒙板X1作为纹理生成区域的定位输入，纹理特征约束X2作为生成服装属性的条件约束输入，由服装纹理生成模块A在指定的纹理生成区域X1内基于纹理特征约束X2所约束的纹理特征生成二维服装图像Y1；人体姿态融合试穿模块，用于将服装纹理生成模块输出的二维服装图像Y1与人体解析模块输出的人体特征保留区X3进行融合处理得到试穿结果Y2，实现服装纹理的虚拟试穿，其中，试穿结果Y2为指定人体特征保留区之外融合生成服装纹理的试穿结果。如权利要求1所述的一种高精度服装纹理虚拟试穿系统，其特征在于，所述人体解析模块对输入采集模块所采集的二维人体图像X0进行人体解析，得到所述人体特征保留区X3和所述试穿区域定位蒙板X1。2.如权利要求1所述的一种高精度服装纹理虚拟试穿系统，其特征在于，所述服装纹理生成模块采用增强CGAN网络，该增强CGAN网络利用纹理生成器G提取纹理特征约束X2的高维特征，并将提取到的高维特征映射到服装形变的纹理生成区域，实现纹理生成区域X1内的纹理重构，生成二维服装图像Y1；在对服装纹理生成模块A进行训练时，由判别器D对样本数据集Z中的真实样本和纹理生成器G的生成图像进行真假判别，将联合损失反馈给纹理生成器G，纹理生成器G结合反馈的联合损失进行网络参数更新，不断迭代，使得纹理生成器G生成的图像逐渐接近真实样本，当生成
‑
对抗博弈达到平衡时得到最终的优化网络。3.如权利要求3所述的一种高精度服装纹理虚拟试穿系统，其特征在于，所述增强CGAN网络的纹理生成器G采用了编解码网络，实现对所述纹理特征约束X2的高维特征提取以及纹理生成区域的纹理重构，该编解码网络包括下采样、残差网络、上采样三部分，通过尺度变换、加强网络深度实现了服装形变区域内高维语义特征的高精度生成。4.如权利要求3所述的一种高精度服装纹理虚拟试穿系统，其特征在于，所述增强CGAN网络的损失采用了联合损失函数，使所述纹理生成器G输出的二维服装图像Y1不断接近真实图像，从而优化网络的参数，其中，联合损失函数包括L1损失、内容损失L
c
、风格损失L
s
和条件对抗损失L
CGAN
。5.如权利要求5所述的一种高精度服装纹理虚拟试穿系统，其特征在于，所述L1损失表示为：式中，U
i
为训练样本数据集Z中的第i个真实样本、U
′
...

【专利技术属性】
技术研发人员：王萍，刘玉叶，
申请(专利权)人：东华大学，
类型：发明
国别省市：