基于2D图像的四阶段虚拟试衣方法及装置制造方法及图纸

本发明专利技术提供了一种基于2D图像的四阶段虚拟试衣方法及装置，包括：获取参考人图像和目标衣服图像；从参考人图像中提取人体部位语义分割图和姿势图，并融合人体部位语义分割图中的衣服区域和手臂区域得到衣服无关融合图；对目标衣服图像进行扭曲得到扭曲衣服图像；根据衣服无关融合图和扭曲衣服图像预测参考人穿着目标衣服图像中目标衣服的语义分割图；根据预测的语义分割图和姿势图生成手臂图像；根据扭曲衣服图像、预测的语义分割图及手臂图像生成试穿合成图像，完成基于2D图像的四阶段虚拟试衣，解决现有技术中存在的不吻合有伪影等严重影响图像视觉质量等问题，提升试穿效果的真实度。

【技术实现步骤摘要】
基于2D图像的四阶段虚拟试衣方法及装置
本专利技术涉及计算机与网络
，尤指一种四阶段虚拟试衣方法及装置。
技术介绍
随着计算机技术和在线购物平台的发展，在线服装购物出现了显著的增长，与传统购物相比，在线购物具有方便快捷等诸多优势，但由于不能像实体店服装购物一样可以实时试穿、检查服装后再购买等，有些人依然会为了避免反复退货选择在实体店购买服装，可见创建一个接近现实的交互式购物环境越来越重要，虚拟试衣也由此引起了广泛的关注。早期主要是基于3D的方法实现虚拟试衣，但是3D方法需要依赖计算机图像学来构建3D模块并渲染试穿图像，且3D数据获取难度较大，需要花费大量的人力物力财力，大大限制了虚拟试穿在实际中的应用。近期有技术人员提出了基于图像的视觉试穿，试图将虚拟试穿转换为条件图像生成问题，并显示出令人鼓舞的结果。目前，国内外很多机构都在做相关研究，但更多的是关注于如何更好的生成目标衣服细节，忽视了目标服装与参考人的对应关系，使得生成的试穿合成图像存在不吻合有伪影等严重影响图像视觉质量的问题；同时忽略了其他试穿无关细节的保持，在试穿合成图像中出现模糊不清甚至被衣服遮挡等情况，严重影响试穿效果。
技术实现思路
本专利技术的目的是提供一种基于2D图像的四阶段虚拟试衣方法及装置，有效解决现有虚拟试衣中合成的试穿图像存在不吻合有伪影等严重影响图像视觉质量的问题。本专利技术提供的技术方案如下：一种基于2D图像的四阶段虚拟试衣方法，包括：获取参考人图像和目标衣服图像；从所述参考人图像中提取人体部位语义分割图和姿势图，并融合所述人体部位语义分割图中的衣服区域和手臂区域得到衣服无关融合图；对目标衣服图像进行扭曲得到扭曲衣服图像；根据所述衣服无关融合图和扭曲衣服图像预测参考人穿着目标衣服图像中目标衣服的语义分割图；根据所述预测的语义分割图和姿势图生成手臂图像；根据所述扭曲衣服图像、预测的语义分割图及手臂图像生成试穿合成图像，完成基于2D图像的四阶段虚拟试衣。本专利技术还提供了一种基于2D图像的四阶段虚拟试衣装置，包括：图像获取模块，用于获取参考人图像和目标衣服图像；衣服无关融合图生成模块，用于从所述参考人图像中提取人体部位语义分割图和姿势图，并融合所述人体部位语义分割图中的衣服区域和手臂区域得到衣服无关融合图；衣服扭曲模块，用于对目标衣服图像进行扭曲得到扭曲衣服图像；语义分割图生成模块，用于根据所述衣服无关融合图和扭曲衣服图像预测参考人穿着目标衣服图像中目标衣服的语义分割图；手臂图像生成模块，用于根据所述预测的语义分割图和姿势图生成手臂图像；试穿合成模块，用于根据所述扭曲衣服图像、预测的语义分割图及手臂图像生成试穿合成图像，完成基于2D图像的四阶段虚拟试衣。本专利技术还提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时实现上述基于2D图像的四阶虚拟试衣方法的步骤。本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述基于2D图像的四阶虚拟试衣方法的步骤。本专利技术提供的基于2D图像的四阶段虚拟试衣方法及装置，至少能够带来以下有益效果：1.使用扭曲衣服图像和从参考人图像中提取的衣服无关融合图预测穿着目标衣服的语义分割图，以此使用预测的语义分割图指导生成试穿后改变的手臂图像以及指导合成试穿图像，解决现有技术中存在的不吻合有伪影等严重影响图像视觉质量等问题，提升试穿效果的真实度。2.使用从原始参考人图像中根据关节点提取的手掌图像和预测语义分割图中提取的手臂掩码生成试穿后改变的手臂图像，使得生成的试穿合成图像能够生成正确且完整的手臂，完全的保留参考人非试穿区域的细节，使试穿效果更加接近于真实，大大提升了用户体验。3.扭曲衣服过程中使用像素扭曲和特征扭曲结合的策略，以此生成更加自然逼真的扭曲衣服形状和纹理，同时提升变形、旋转和遮挡的鲁棒性，解决单独使用像素扭曲时出现的形状畸变纹理失真问题。4.对于非试穿区域细节图的提取不仅考虑面部和头发的图像，同时考虑除试穿区域的其他区域，如试穿上衣时，会将裤子区域作为非试穿区域，以完整保留非试穿衣服区域细节，进一步提升效果。附图说明下面将以明确易懂的方式，结合附图说明优选实施例，对上述特性、技术特征、优点及其实现方式予以进一步说明。图1为本专利技术中基于2D图像的四阶段虚拟试衣方法流程示意图；图2为本专利技术中对目标衣服图像进行像素扭曲流程示意图；图3为本专利技术中同时对目标衣服图像进行像素扭曲和特征扭曲流程示意图；图4为本专利技术中语义分割图生成流程图；图5为本专利技术中手臂图像生成流程图；图6为本专利技术中试穿合成图像生成流程图；图7为本专利技术中基于2D图像的四阶段虚拟试衣装置结构示意图；图8为本专利技术一实例中基于生成衣服的完整度的试穿效果对比图；图9为本专利技术一实例中基于生成手臂的完整度的试穿效果对比图；图10为本专利技术一实例中基于衣服契合程度/整体试穿合成图像视觉质量的效果对比图；图11为本专利技术中终端设备结构示意图。附图标号说明：100-基于2D图像的四阶段虚拟试衣装置，110-图像获取模块，120-衣服无关融合图生成模块，130-衣服扭曲模块，140-语义分割图生成模块，150-手臂图像生成模块，160-试穿合成模块。具体实施方式为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对照附图说明本专利技术的具体实施例。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施例。如图1所示为本申请提供的基于2D图像的四阶段虚拟试衣方法，包括：S10获取参考人图像和目标衣服图像；S20从参考人图像中提取人体部位语义分割图和姿势图，并融合人体部位语义分割图中的衣服区域和手臂区域得到衣服无关融合图；S30对目标衣服图像进行扭曲得到扭曲衣服图像；S40根据衣服无关融合图和扭曲衣服图像预测参考人穿着目标衣服图像中目标衣服的语义分割图；S50根据预测的语义分割图和姿势图生成手臂图像；S60根据扭曲衣服图像、预测的语义分割图及手臂图像生成试穿合成图像，完成基于2D图像的四阶段虚拟试衣。参考人图像和目标衣服图像可来源于专用的图片网站或服装购物网站，这里不做具体限定。参考人图像为需要试穿目标衣服的人的图像，为了达到更好的试穿效果，该图像应尽量完整的保留人的正面特征；试穿目标衣服为参考人图像中的人需要试穿的衣服的图像，该图像应尽量保留衣服的纹理、形状等特征。在进行虚拟试衣之前，需要根据需求搭建神经元网络并对其进行训练，是以数据集中包括训练部分和测试部分。在训练和测本文档来自技高网...

【技术保护点】
1.一种基于2D图像的四阶段虚拟试衣方法，其特征在于，包括：/n获取参考人图像和目标衣服图像；/n从所述参考人图像中提取人体部位语义分割图和姿势图，并融合所述人体部位语义分割图中的衣服区域和手臂区域得到衣服无关融合图；/n对目标衣服图像进行扭曲得到扭曲衣服图像；/n根据所述衣服无关融合图和扭曲衣服图像预测参考人穿着目标衣服图像中目标衣服的语义分割图；/n根据所述预测的语义分割图和姿势图生成手臂图像；/n根据所述扭曲衣服图像、预测的语义分割图及手臂图像生成试穿合成图像，完成基于2D图像的四阶段虚拟试衣。/n

【技术特征摘要】
1.一种基于2D图像的四阶段虚拟试衣方法，其特征在于，包括：
获取参考人图像和目标衣服图像；
从所述参考人图像中提取人体部位语义分割图和姿势图，并融合所述人体部位语义分割图中的衣服区域和手臂区域得到衣服无关融合图；
对目标衣服图像进行扭曲得到扭曲衣服图像；
根据所述衣服无关融合图和扭曲衣服图像预测参考人穿着目标衣服图像中目标衣服的语义分割图；
根据所述预测的语义分割图和姿势图生成手臂图像；
根据所述扭曲衣服图像、预测的语义分割图及手臂图像生成试穿合成图像，完成基于2D图像的四阶段虚拟试衣。


2.如权利要求1所述的四阶段虚拟试衣方法，其特征在于，所述根据所述预测的语义分割图和姿势图生成手臂图像包括：
从所述语义分割图像中提取手臂掩码；
根据所述姿势图中的手掌关键点从参考人图像中提取手掌图像；
使用手掌图像和手臂掩码生成手臂图像。


3.如权利要求1或2所述的四阶段虚拟试衣方法，其特征在于，所示从所述参考人图像中提取人体部位语义分割图和姿势图之后，还包括：
根据所述人体部位语义分割图与所述参考人图像中得到粗糙身体形状图和非试穿区域细节图，所述非试穿区域细节图为除手臂区域之外的非试穿区域图；
根据所述粗糙身体形状图、姿势图及非试穿区域细节图合成得到参考人表示图；
所述对目标衣服图像进行扭曲得到扭曲衣服图像中，包括：
将所述参考人表示图和目标衣服图像分别传入两个非共享参数的孪生卷积神经网络提取特征，所述两个孪生卷积神经网络结构相同；
将所述参考人表示图和目标衣服图像的特征传入回归网络预测空间变换参数；
根据所述空间变换参数对目标衣服图像的像素进行扭曲得到像素扭曲衣服图像，完成对目标衣服图像的扭曲。


4.如权利要求3所述的四阶段虚拟试衣方法，其特征在于，
所述根据所述空间变换参数对目标衣服图像的像素进行扭曲得到扭曲衣服图像之后还包括：
将所述目标衣服图像传入卷积神经网络提取特征；
根据所述空间变换参数对提取的目标衣服图像的特征进行扭曲；
将扭曲的特征传入与所述卷积神经网络结构对应的反卷积神经网络得到经过特征扭曲的特征扭曲衣服图像和预测扭曲衣服合成掩码；
基于所述扭曲衣服合成掩码对像素扭曲衣服图像和特征扭曲衣服图像进行合成得到扭曲衣服图像；和/或，
在所述根据所述扭曲衣服图像、预测的语义分割图及手臂图像生成试穿合成图像中包括：
根据语义分割图、提取的非试穿区域细节图、扭曲衣服图像及手臂图像得到初步试穿合成图像和预测试穿图像合成掩码；
使用试穿图像合成掩码对初步试穿合成图像和扭曲衣服图像进行逐元素乘法操作得到最终的试穿合成图像。


5.一种基于2D图像的四阶段虚拟试衣装置，其特征在于，包括：
图像获取模块，用于获取参考人图像和目标衣服图像；
衣服无关融合图生成模块，用于从所述参考人图像中提取人体部位语义分割图和姿势图，并融合所述人体部位语义分割图中的衣服区域和手臂区域得到衣服无关融合图；
衣服扭曲模块，用于对目标衣服图像进行扭曲...

【专利技术属性】
技术研发人员：彭涛，常源，刘军平，胡新荣，何儒汉，张俊杰，张自力，姜明华，
申请(专利权)人：武汉纺织大学，
类型：发明
国别省市：湖北;42