虚拟试装系统、方法、设备及计算机可读介质技术方案

本申请涉及一种虚拟试装系统、方法、设备及计算机可读介质。该系统包括：变形分割单元，用于提取目标对象的人体特征和目标着装的着装特征，并将人体特征和着装特征融合后，基于对融合特征的多级校正生成与目标对象的外形匹配的目标着装的着装分割图像；着装变换单元，用于将目标着装按照着装分割图像进行变换，得到目标着装的着装变换图像；试装单元，用于按照着装分割图像对目标对象进行分割后，将着装变换图像拟合至分割区域，得到目标对象对目标着装的试装图像。本申请融合目标对象的人体特征和目标着装的着装特征，直接预测输出与目标对象外形匹配的变形后的着装分割图像，解决了由于累积误差导致虚拟试穿结果不准确的技术问题。技术问题。技术问题。

【技术实现步骤摘要】
虚拟试装系统、方法、设备及计算机可读介质


[0001]本申请涉及多媒体智能处理
，尤其涉及一种虚拟试装系统、方法、设备及计算机可读介质。

技术介绍

[0002]虚拟试装(Virtual Try
‑
on)是指：给定目标衣服图像和模特图像，生成模特穿着目标衣服图像的照片，从而实现模特虚拟试穿目标衣服的目的。试穿结果要满足以下四种要求：1、保持图像中人体的姿态和身形不变；2、目标衣服适配人体姿态和身形；3、保留除目标衣服外的其他信息，如下装等；4、保持目标穿着后的折痕、图案、logo清晰自然。在电商领域，良好的虚拟试装技术不仅仅能为消费者提供新奇的互动体验，还能引导和刺激消费者更快的做出购买决策。在视频播放平台领域，虚拟试装技术能为观影者带来全新的观影体验，如在观影的同时，观影者可以上传自己照片，虚拟穿着剧中人物的衣服，带来沉浸式的观影体验，亦或者可随意切换剧中人物的衣服穿着，增加观影的互动性和乐趣，也无形中让用户在视频播放平台上留存时间更长。
[0003]目前，相关技术中，通常是通过ACGPN算法来进行虚拟试装。ACGPN算法总共包含4个模块：A模块、B模块、C模块和D模块。其中A模块用于生成人体实例分割图，对输入的人体图像进行解析，通过不同数字标记出图像中人物的各个肢体，如左手臂区域填充0，右手臂区域填充1，身体躯干填充2等等；B模块用于生成变形后衣服分割图，该分割图为二值化图像，图像中变形后衣服区域填充1，其余位置填充0；C模块包含两个部分：空间变换网络STN(Spatial Transformer Network)和校正网络，其中STN输出粗略的变换后的衣服图像，校正网络对STN的输出进行校正，输出最终的变换后衣服图像；D模块综合前述模块的输出，生成最终的虚拟试穿图像。然而，在深度学习任务中，人体实例的划分包含手部、脚部、头发、脸部、躯干等非常多的细节区域的预测，要获得非常精细的预测结果难度非常大，因此ACGPN算法中A模块的误差进一步导致了B模块的误差，由此A模块、B模块的误差累积到了C模块、D模块，导致最终输出的虚拟试穿结果不准确。
[0004]针对由于累积误差导致虚拟试穿结果不准确的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本申请提供了一种虚拟试装系统、方法、设备及计算机可读介质，以解决由于累积误差导致虚拟试穿结果不准确的技术问题。
[0006]根据本申请实施例的一个方面，本申请提供了一种虚拟试装系统，包括：
[0007]变形分割单元，用于提取目标对象的人体特征和目标着装的着装特征，并将人体特征和着装特征融合后，基于对融合特征的多级校正生成与目标对象的外形匹配的目标着装的着装分割图像；
[0008]着装变换单元，用于将目标着装按照着装分割图像进行变换，得到目标着装的着
装变换图像；
[0009]试装单元，用于按照着装分割图像对目标对象进行分割后，将着装变换图像拟合至分割区域，得到目标对象对目标着装的试装图像。
[0010]可选地，该变形分割单元包括：
[0011]第一特征提取网络，用于利用目标着装的图像提取目标着装的着装特征；
[0012]第二特征提取网络，用于利用目标对象的预设分割图和预设关键点图来提取目标对象的人体特征，其中，预设分割图为预先对目标对象的各个部位逐一单独识别并分割所得到的图像，预设关键点图用于标记人体关键点；
[0013]第一特征解码网络，用于融合第一特征提取网络的各卷积层输出的着装特征和第二特征提取网络的各卷积层输出的人体特征，并贯穿融合过程对融合特征进行上采样解码，得到基础着装分割图像；
[0014]多级校正网络，用于对基础着装分割图像进行多级校正，得到最终的着装分割图像。
[0015]可选地，多级校正网络包括多个结构相同且串联设置的子校正网络；其中，
[0016]第一个子校正网络的输入包括：基础着装分割图像；
[0017]剩余每个子校正网络的输入包括：基础着装分割图像和前一个子校正网络输出的中间校正图像；
[0018]最后一个子校正网络输出的中间校正图像为最终的着装分割图像。
[0019]可选地，子校正网络包括：
[0020]第一特征编码网络，包括多个卷积层和多个下采样层，卷积层和下采样层串联且交替设置；
[0021]第二特征解码网络，与第一特征编码网络串联，包括多个卷积层和多个上采样层，卷积层和上采样层串联且交替设置；
[0022]第一特征编码网络的输入包括：基础着装变换图像；或者基础着装变换图像和前一个子校正网络输出的中间校正图像；
[0023]第二特征解码网络的第一目标卷积层的输入包括：第一特征编码网络的最后一个下采样层输出的中间校正图像；
[0024]第二特征解码网络的第二目标卷积层的输入包括：与第二目标卷积层相邻的前一个上采样层输出的中间校正图像和第一特征编码网络中的第一卷积层输出的中间校正图像；
[0025]第二特征解码网络的第三目标卷积层的输入包括：与第三目标卷积层相邻的前一个上采样层输出的中间校正图像和第一特征编码网络中的第二卷积层输出的中间校正图像；
[0026]第二特征解码网络的第四目标卷积层的输入包括：与第四目标卷积层相邻的前一个上采样层输出的中间校正图像和第一特征编码网络中的第三卷积层输出的中间校正图像；
[0027]第二特征解码网络的第五目标卷积层的输入包括：与第五目标卷积层相邻的前一个上采样层输出的中间校正图像和第一特征编码网络中的第四卷积层输出的中间校正图像；
[0028]其中，第一目标卷积层至第五目标卷积层在第二特征解码网络中的位置顺序与递增顺序一致，第一特征编码网络中的第一卷积层至第四卷积层的位置顺序与递增顺序相反。
[0029]可选地，第一特征提取网络包括多个卷积层和多个下采样层，卷积层和下采样层串联且交替设置，卷积层用于提取目标着装的所述着装特征，下采样层用于对卷积层输出的着装特征进行下采样编码。
[0030]可选地，第二特征提取网络包括多个卷积层和多个下采样层，卷积层和下采样层串联且交替设置，卷积层用于提取目标对象的所述人体特征，下采样层用于对卷积层输出的人体特征进行下采样编码。
[0031]可选地，第一特征解码网络包括多个卷积层和多个上采样层，卷积层和上采样层串联且交替设置，上采样层用于对融合特征进行上采样解码；
[0032]第一特征解码网络的第六目标卷积层的输入包括：第一特征提取网络中最后一个下采样层输出的着装特征和第二特征提取网络中最后一个下采样层输出的人体特征；
[0033]第一特征解码网络的第七目标卷积层的输入包括：与第七目标卷积层相邻的前一个上采样层输出的融合特征、第一特征提取网络中的第五卷积层输出的着装特征以及第二特征提取网络中的第六卷积层输出的人体特征；
[0034]第一特征解码网络的第八目标卷积层的输入包括：与第八目标卷积层相邻的前一个上采样层输出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟试装系统，其特征在于，包括：变形分割单元，用于提取目标对象的人体特征和目标着装的着装特征，并将所述人体特征和所述着装特征融合后，基于对融合特征的多级校正生成与所述目标对象的外形匹配的所述目标着装的着装分割图像；着装变换单元，用于将所述目标着装按照所述着装分割图像进行变换，得到所述目标着装的着装变换图像；试装单元，用于按照所述着装分割图像对所述目标对象进行分割后，将所述着装变换图像拟合至分割区域，得到所述目标对象对所述目标着装的试装图像。2.根据权利要求1所述的系统，其特征在于，所述变形分割单元包括：第一特征提取网络，用于利用所述目标着装的图像提取所述目标着装的所述着装特征；第二特征提取网络，用于利用所述目标对象的预设分割图和预设关键点图来提取所述目标对象的所述人体特征，其中，所述预设分割图为预先对所述目标对象的各个部位逐一单独识别并分割所得到的图像，所述预设关键点图用于标记人体关键点；第一特征解码网络，用于融合所述第一特征提取网络的各卷积层输出的所述着装特征和所述第二特征提取网络的各卷积层输出的所述人体特征，并贯穿融合过程对融合特征进行上采样解码，得到基础着装分割图像；多级校正网络，用于对所述基础着装分割图像进行多级校正，得到最终的所述着装分割图像。3.根据权利要求2所述的系统，其特征在于，所述多级校正网络包括多个结构相同且串联设置的子校正网络；其中，第一个所述子校正网络的输入包括：所述基础着装分割图像；剩余每个所述子校正网络的输入包括：所述基础着装分割图像和前一个所述子校正网络输出的中间校正图像；最后一个所述子校正网络输出的中间校正图像为最终的所述着装分割图像。4.根据权利要求3所述的系统，其特征在于，所述子校正网络包括：第一特征编码网络，包括多个卷积层和多个下采样层，所述卷积层和所述下采样层串联且交替设置；第二特征解码网络，与所述第一特征编码网络串联，包括多个卷积层和多个上采样层，所述卷积层和所述上采样层串联且交替设置；所述第一特征编码网络的输入包括：所述基础着装变换图像；或者所述基础着装变换图像和前一个所述子校正网络输出的中间校正图像；所述第二特征解码网络的第一目标卷积层的输入包括：所述第一特征编码网络的最后一个下采样层输出的中间校正图像；所述第二特征解码网络的第二目标卷积层的输入包括：与所述第二目标卷积层相邻的前一个所述上采样层输出的中间校正图像和所述第一特征编码网络中的第一卷积层输出的中间校正图像；所述第二特征解码网络的第三目标卷积层的输入包括：与所述第三目标卷积层相邻的前一个所述上采样层输出的中间校正图像和所述第一特征编码网络中的第二卷积层输出
的中间校正图像；所述第二特征解码网络的第四目标卷积层的输入包括：与所述第四目标卷积层相邻的前一个所述上采样层输出的中间校正图像和所述第一特征编码网络中的第三卷积层输出的中间校正图像；所述第二特征解码网络的第五目标卷积层的输入包括：与所述第五目标卷积层相邻的前一个所述上采样层输出的中间校正图像和所述第一特征编码网络中的第四卷积层输出的中间校正图像；其中，所述第一目标卷积层至所述第五目标卷积层在所述第二特征解码网络中的位置顺序与递增顺序一致，所述第一特征编码网络中的所述第一卷积层至所述第四卷积层的位置顺序与递增顺序相反。5.根据权利要求2所述的系统，其特征在于，所述第一特征提取网络包括多个卷积层和多个下采样层，所述卷积层和所述下采样层串联且交替设置，所述卷积层用于提取所述目标着装的所述着装特征，所述下采样层用于对所述卷积层输出的所述着装特征进行下采样编码；所述第二特征提取网络包括多个卷积层和多个下采样层，所述卷积层和所述下采样层串联且交替设置，所述卷积层用于提取所述目标对象的所述人体特征，所述下采样层用于对所述卷积层输出的所述人体特征进行下采样编码。6.根据权利要求2所述的系统，其特征在于，所述第一特征解码网络包括多个卷积层和多个上采样层，所述卷积层和所述上采样层串联且交替设置，所述上采样层用于对所述融合特征进行上采样解码；所述第一特征解码网络的第六目标卷积层的输入包括：所述第一特征提取网络中最后一个下采样层输出的所述着装特征和所述第二特征提取网络中最后一个下采样层输出的所述人体特征；所述第一特征解码网络的第七目标卷积层的输入包括：与所述第七目标卷积层相邻的前一个所述上采样层输出的所述融合特征、所述第一特征提取网络中的第五卷积层输出的所述着装特征以及所述第二特征提取网络中的第六卷积层输出的所述人体特征；所述第一特征解码网络的第八目标卷积层的输入包括：与所述第八目标卷积层相邻的前一个所述上采样层输出的所述融合特征、所述第一特征提取网络中的第七卷积层输出的所述着装特征以及所述第二特征提取网络中的第八卷积层输出的所述人体特征；所述第一特征解码网络的第九目标卷积层的输入包括：与所述第九目标卷积层相邻的前一个所述上采样层输出的所述融合特征、所述第一特征提取网络中的第九卷积层输出的所述着装特征以及所述第二特征提取网络中的第十卷积层输出的所述人体特征；其中，所述第六目标卷积层至所述第九目标卷积层在所述第一特征解码网络中的位置顺序与递增顺序一致，所述第一特征提取网络中的所述第五卷积层、所述第七卷积层以及所述第九卷积层的位置顺序与递增顺序一致，所述第二特征提取网络中的所述第六卷积层、所述第八卷积层以及所述第十卷积层的位置顺序与递增顺序一致。7.根据权利要求1所述的系统，其特征在于，所述着装变换单元包括：空间变换网络，用于以所述目标着装的图像和所述着装分割图像为输入，按照所述着装分割图像对所述目标...

【专利技术属性】
技术研发人员：吴佳涛，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：