一种基于语义的多姿势虚拟试衣方法技术

本发明专利技术涉及虚拟试衣领域，具体涉及一种基于语义的多姿势虚拟试衣方法，包括：步骤101，选择人体图像、目标衣服和人体姿势图；步骤102，分别提取人体图像的语义信息，依据人体衣服语义，对目标衣服进行扭转变形；步骤103，将变形后的衣服、人体语义表征、人体姿势表征送入条件式对抗生成网络，得到初始试衣结果；步骤104，采用由粗到细的两步图像合成方法，生成试衣结果时，在神经网络中间层采用语义条件空间归一化，保留衣服语义并和其它人体语义分离，训练时，将生成的语义标签作为输入；步骤105，输出并显示用户指定目标衣服和姿势的虚拟试衣结果。本发明专利技术适用于电子商务服装在线销售领域，能够极大提升用户体验，实现海量、高效的虚拟试衣效果。的虚拟试衣效果。的虚拟试衣效果。

【技术实现步骤摘要】
一种基于语义的多姿势虚拟试衣方法


[0001]本专利技术涉及虚拟试衣领域，特别是一种基于语义的多姿势虚拟试衣方法。

技术介绍

[0002]将目标衣服试穿到人体图像上是虚拟试衣任务的主要目标，也是近来计算机视觉领域的重要应用场景。
[0003]传统的虚拟试衣技术，大部分研究者都专注于基于三维建模的虚拟试衣技术，利用三维扫描、三维重建等技术建立服装和人体的三维模型来实现虚拟试衣，大多数方法都是建立在计算机图形学的基础上，根据用户自身三维人体信息，建立人体三维模型，再将衣服渲染在所建立的人体三维模型上，得益于计算机图形学精确计算出来的衣服和人体几何形变，这类方法得出的试衣结果较为准确，但是，这种方法往往需要巨大的计算资源，且对硬件设备有很强的依赖性；基于图像的虚拟试衣技术能很好的克服上述问题，但现有的二维虚拟试衣技术往往只适用于简单的试穿场合，人体图像的质量和目标衣服的图像质量都会影响试衣效果。

技术实现思路

[0004]为了解决上述现有技术的不足，本专利技术提供一种基于语义的多姿势虚拟试衣系统和方法，在不需要额外计算量或者复本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义的多姿势虚拟试衣方法，其特征在于，包括以下步骤：步骤101，用户选择人体图像、目标衣服和需要试穿的人体姿势图；步骤102，分别提取人体图像的语义信息，生成人体语义解析图，同时根据语义解析图，采用空间转换网络，对目标衣服进行扭转变形；步骤103，将变形后的衣服、人体语义表征、人体姿势表征送入条件式生成对抗网络中，得到初始的试衣结果；步骤104，采用由粗到细的图像合成方法，生成试衣结果时，在神经网络中间层采用语义条件空间归一化操作，保留衣服语义并和人体其他语义分离开；训练时，通过生变分自编码器VAE生成的语义标签作为输入，在测试阶段，不生成语义标签；步骤105，通过训练好的模型对用户输入的目标姿势、目标衣服和人体图像进行测试，输出并显示用户指定目标衣服和姿势的虚拟试衣结果。2.如权利要求1所述的一种基于语义的多姿势虚拟试衣方法，其特征在于，所述步骤102具体为：提取人体图像语义信息，包括人体衣服语义、身体部分语义、头发和脸部语义和裤子语义；所述的空间转换网络采用薄板样条插值法对目标衣服进行扭转变形，采用卷积神经网络预测薄板样条插值法的参数θ，在卷积神经网络的第3，4，5层，使用带偏移量的卷积核代替常规卷积核，将常规的感受野网格增强为带有偏移量{Δp
n
|n＝1,...,N}的网格其中带有偏移量的不规则采样坐标变成了p
n
+Δp
n
，对Δp
n
进行双线性插值转换，将其转换成整数，其中p代表任意位置的坐标，q列举了所有特征图中的整数空间位置，G(
·
,
·
)是双线性插值操作，G是二维运算，被分成两个维度的运算：单独维度的线性插值运算为：a,b分别是一维空间中两个点的坐标，同时，在生成变形后的目标衣服后，对参数θ进行修正，得到人体衣服语义匹配的预测参数(θ+Δθ)。3.如权利要求1所述的一种基于语义的多姿势虚拟试衣方法，其特征在于，所述步骤103中的人体语义表征包括人体衣服语义、身体部分语义、头发和脸部语义的单通道掩膜，所述人体姿势表征采用18个人体姿势关键点来表示，所述关键点被转换成18通道的姿势热图；所述条件式生成对抗网络包括生成器和判别器，所述生成器由特征提取器即编码器和Unet神经网络组成，特征提取器分别提取变形衣服、人体语义掩膜和姿势表征的高阶特征，接着将所述高阶特征送入Unet神经网络中完成特征的融合，所述判别器由下采样卷积模块和最后的全连接层组成，对真实的条件和人体图像判断为真，对生成器生成的结果和条件判断为假。4.如权利要求1所述的一种基于语义的多姿势虚拟试衣方法，其特征在于，所述所述神经网络为条件式对抗生成网络，其目标函数为：全局GAN损失函数为：
其中分别表示判别器对于真实图像分布和生成图像分布的判别期望值，G表示生成器，D表示判别器，分别是判别器最小化解纠缠生成器生成分布判别期望和最大化真实分布判别期望，Z表示随机噪声变量，x
...

【专利技术属性】
技术研发人员：张建明，宋阳，王志坚，
申请(专利权)人：浙江大学，
类型：发明
国别省市：