虚拟试装系统、方法、设备及计算机可读介质技术方案

本申请涉及一种虚拟试装系统、方法、设备及计算机可读介质。该系统包括：变形分割单元，用于以预设关键点连接拓扑图作为肢体连接约束提取目标对象的人体特征，并提取目标着装的着装特征，将人体特征和着装特征融合后，基于融合特征生成与目标对象的外形匹配的目标着装的着装分割图像；着装变换单元，用于将目标着装按照着装分割图像进行变换，得到目标着装的着装变换图像；试装单元，用于按照着装分割图像对目标对象进行分割后，以细节特征提取模型提取得到的目标着装中的图案细节特征作为所述着装变换图像的信息补充，将着装变换图像拟合至分割区域，得到目标对象对目标着装的试装图像。本申请解决了由于累积误差导致虚拟试穿结果不准确的问题。穿结果不准确的问题。穿结果不准确的问题。

【技术实现步骤摘要】
虚拟试装系统、方法、设备及计算机可读介质


[0001]本申请涉及多媒体智能处理
，尤其涉及一种虚拟试装系统、方法、设备及计算机可读介质。

技术介绍

[0002]虚拟试装(Virtual Try
‑
on)是指：给定目标衣服图像和模特图像，生成模特穿着目标衣服图像的照片，从而实现模特虚拟试穿目标衣服的目的。试穿结果要满足以下四种要求：1、保持图像中人体的姿态和身形不变；2、目标衣服适配人体姿态和身形；3、保留除目标衣服外的其他信息，如下装等；4、保持目标穿着后的折痕、图案、logo清晰自然。在电商领域，良好的虚拟试装技术不仅仅能为消费者提供新奇的互动体验，还能引导和刺激消费者更快的做出购买决策。在视频播放平台领域，虚拟试装技术能为观影者带来全新的观影体验，如在观影的同时，观影者可以上传自己照片，虚拟穿着剧中人物的衣服，带来沉浸式的观影体验，亦或者可随意切换剧中人物的衣服穿着，增加观影的互动性和乐趣，也无形中让用户在视频播放平台上留存时间更长。
[0003]目前，相关技术中，通常是通过ACGPN算法来进行虚拟试装。ACGPN算法总共包含4个模块：A模块、B模块、C模块和D模块。其中A模块用于生成人体实例分割图，对输入的人体图像进行解析，通过不同数字标记出图像中人物的各个肢体，如左手臂区域填充0，右手臂区域填充1，身体躯干填充2等等；B模块用于生成变形后衣服分割图，该分割图为二值化图像，图像中变形后衣服区域填充1，其余位置填充0；C模块包含两个部分：空间变换网络STN(Spatial Transformer Network)和校正网络，其中STN输出粗略的变换后的衣服图像，校正网络对STN的输出进行校正，输出最终的变换后衣服图像；D模块综合前述模块的输出，生成最终的虚拟试穿图像。然而，在深度学习任务中，人体实例的划分包含手部、脚部、头发、脸部、躯干等非常多的细节区域的预测，要获得非常精细的预测结果难度非常大，因此ACGPN算法中A模块的误差进一步导致了B模块的误差，由此A模块、B模块的误差累积到了C模块、D模块，导致最终输出的虚拟试穿结果不准确。
[0004]针对由于累积误差导致虚拟试穿结果不准确的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本申请提供了一种虚拟试装系统、方法、设备及计算机可读介质，以解决由于累积误差导致虚拟试穿结果不准确的技术问题。
[0006]根据本申请实施例的一个方面，本申请提供了一种虚拟试装系统，包括：
[0007]变形分割单元，用于以预设关键点连接拓扑图作为肢体连接约束提取目标对象的人体特征，并提取目标着装的着装特征，以及将人体特征和着装特征融合后，基于融合特征生成与目标对象的外形匹配的目标着装的着装分割图像，其中，预设关键点连接拓扑图用于在目标对象的肢体出现遮挡的情况下约束对象特征提取模型识别出目标对象的肢体；
[0008]着装变换单元，用于将目标着装按照着装分割图像进行变换，得到目标着装的着装变换图像；
[0009]试装单元，用于按照着装分割图像对目标对象进行分割后，以细节特征提取模型提取得到的目标着装中的图案细节特征作为所述着装变换图像的信息补充，将着装变换图像拟合至分割区域，得到目标对象对目标着装的试装图像。
[0010]可选地，变形分割单元包括：
[0011]第一特征提取网络，用于利用目标着装的图像提取目标着装的着装特征；
[0012]第二特征提取网络，用于利用目标对象的预设分割图、预设关键点图以及预设关键点连接拓扑图来提取目标对象的人体特征，其中，预设分割图为预先对目标对象的各个部位逐一单独识别并分割所得到的图像，预设关键点图用于标记人体关键点，对象特征提取模型包括第二特征提取网络；
[0013]第一特征解码网络，用于融合第一特征提取网络的各卷积层输出的着装特征和第二特征提取网络的各卷积层输出的人体特征，并贯穿融合过程对融合特征进行上采样解码，得到着装分割图像。
[0014]可选地，第一特征提取网络包括多个卷积层和多个下采样层，卷积层和下采样层串联且交替设置，卷积层用于提取目标着装的着装特征，下采样层用于对卷积层输出的着装特征进行下采样编码。
[0015]可选地，第二特征提取网络包括多个卷积层和多个下采样层，卷积层和下采样层串联且交替设置，卷积层用于提取目标对象的人体特征，下采样层用于对卷积层输出的人体特征进行下采样编码。
[0016]可选地，第一特征解码网络包括多个卷积层和多个上采样层，卷积层和上采样层串联且交替设置，上采样层用于对融合特征进行上采样解码；
[0017]第一特征解码网络的第一目标卷积层的输入包括：第一特征提取网络中最后一个下采样层输出的着装特征和第二特征提取网络中最后一个下采样层输出的人体特征；
[0018]第一特征解码网络的第二目标卷积层的输入包括：与第二目标卷积层相邻的前一个上采样层输出的融合特征、第一特征提取网络中的第一卷积层输出的着装特征以及第二特征提取网络中的第二卷积层输出的人体特征；
[0019]第一特征解码网络的第三目标卷积层的输入包括：与第三目标卷积层相邻的前一个上采样层输出的融合特征、第一特征提取网络中的第三卷积层输出的着装特征以及第二特征提取网络中的第四卷积层输出的人体特征；
[0020]第一特征解码网络的第四目标卷积层的输入包括：与第四目标卷积层相邻的前一个上采样层输出的融合特征、第一特征提取网络中的第五卷积层输出的着装特征以及第二特征提取网络中的第六卷积层输出的人体特征；
[0021]其中，第一目标卷积层至第四目标卷积层在第一特征解码网络中的位置顺序与递增顺序一致，第一特征提取网络中的第一卷积层、第三卷积层以及第五卷积层的位置顺序与递增顺序一致，第二特征提取网络中的第二卷积层、第四卷积层以及第六卷积层的位置顺序与递增顺序一致。
[0022]可选地，着装变换单元包括：
[0023]空间变换网络，用于以目标着装的图像和着装分割图像为输入，按照着装分割图
像对目标着装进行变换，得到第一着装变换图像；
[0024]校正网络，用于对空间变换网络输出的着装变换图像进行变换校正，得到最终的第二着装变换图像。
[0025]可选地，校正网络包括：
[0026]第一特征编码网络，包括多个卷积层和多个下采样层，卷积层和下采样层串联且交替设置；
[0027]第二特征解码网络，与第一特征编码网络串联，包括多个卷积层和多个上采样层，卷积层和上采样层串联且交替设置；
[0028]第一特征编码网络的输入包括：空间变换网络输出的着装变换图像和着装分割图像；
[0029]第二特征解码网络的第五目标卷积层的输入包括：第一特征编码网络的最后一个下采样层输出的中间变换图像；
[0030]第二特征解码网络的第六目标卷积层的输入包括：与第六目标卷积层相邻的前一个上采样层输出的中间变换图像和第一特征编码网络中的第七卷积层输出的中间变换图像；
...

【技术保护点】

【技术特征摘要】
1.一种虚拟试装系统，其特征在于，包括：变形分割单元，用于以预设关键点连接拓扑图作为肢体连接约束提取目标对象的人体特征，并提取目标着装的着装特征，以及将所述人体特征和所述着装特征融合后，基于融合特征生成与所述目标对象的外形匹配的所述目标着装的着装分割图像，其中，所述预设关键点连接拓扑图用于在所述目标对象的肢体出现遮挡的情况下约束对象特征提取模型识别出所述目标对象的肢体；着装变换单元，用于将所述目标着装按照所述着装分割图像进行变换，得到所述目标着装的着装变换图像；试装单元，用于按照所述着装分割图像对所述目标对象进行分割后，以细节特征提取模型提取得到的所述目标着装中的图案细节特征作为所述着装变换图像的信息补充，将所述着装变换图像拟合至分割区域，得到所述目标对象对所述目标着装的试装图像。2.根据权利要求1所述的系统，其特征在于，所述变形分割单元包括：第一特征提取网络，用于利用所述目标着装的图像提取所述目标着装的所述着装特征；第二特征提取网络，用于利用所述目标对象的预设分割图、预设关键点图以及所述预设关键点连接拓扑图来提取所述目标对象的所述人体特征，其中，所述预设分割图为预先对所述目标对象的各个部位逐一单独识别并分割所得到的图像，所述预设关键点图用于标记人体关键点，所述对象特征提取模型包括所述第二特征提取网络；第一特征解码网络，用于融合所述第一特征提取网络的各卷积层输出的所述着装特征和所述第二特征提取网络的各卷积层输出的所述人体特征，并贯穿融合过程对融合特征进行上采样解码，得到所述着装分割图像。3.根据权利要求2所述的系统，其特征在于，所述第一特征提取网络包括多个卷积层和多个下采样层，所述卷积层和所述下采样层串联且交替设置，所述卷积层用于提取所述目标着装的所述着装特征，所述下采样层用于对所述卷积层输出的所述着装特征进行下采样编码。4.根据权利要求2所述的系统，其特征在于，所述第二特征提取网络包括多个卷积层和多个下采样层，所述卷积层和所述下采样层串联且交替设置，所述卷积层用于提取所述目标对象的所述人体特征，所述下采样层用于对所述卷积层输出的所述人体特征进行下采样编码。5.根据权利要求2所述的系统，其特征在于，所述第一特征解码网络包括多个卷积层和多个上采样层，所述卷积层和所述上采样层串联且交替设置，所述上采样层用于对所述融合特征进行上采样解码；所述第一特征解码网络的第一目标卷积层的输入包括：所述第一特征提取网络中最后一个下采样层输出的所述着装特征和所述第二特征提取网络中最后一个下采样层输出的所述人体特征；所述第一特征解码网络的第二目标卷积层的输入包括：与所述第二目标卷积层相邻的前一个所述上采样层输出的所述融合特征、所述第一特征提取网络中的第一卷积层输出的所述着装特征以及所述第二特征提取网络中的第二卷积层输出的所述人体特征；所述第一特征解码网络的第三目标卷积层的输入包括：与所述第三目标卷积层相邻的
前一个所述上采样层输出的所述融合特征、所述第一特征提取网络中的第三卷积层输出的所述着装特征以及所述第二特征提取网络中的第四卷积层输出的所述人体特征；所述第一特征解码网络的第四目标卷积层的输入包括：与所述第四目标卷积层相邻的前一个所述上采样层输出的所述融合特征、所述第一特征提取网络中的第五卷积层输出的所述着装特征以及所述第二特征提取网络中的第六卷积层输出的所述人体特征；其中，所述第一目标卷积层至所述第四目标卷积层在所述第一特征解码网络中的位置顺序与递增顺序一致，所述第一特征提取网络中的所述第一卷积层、所述第三卷积层以及所述第五卷积层的位置顺序与递增顺序一致，所述第二特征提取网络中的所述第二卷积层、所述第四卷积层以及所述第六卷积层的位置顺序与递增顺序一致。6.根据权利要求1所述的系统，其特征在于，所述着装变换单元包括：空间变换网络，用于以所述目标着装的图像和所述着装分割图像为输入，按照所述着装分割图像对所述目标着装进行变换，得到第一着装变换图像；校正网络，用于对所述空间变换网络输出的所述着装变换图像进行变换校正，得到最终的第二着装变换图像。7.根据权利要求6所述的系统，其特征在于，所述校正网络包括：第一特征编码网络，包括多个卷积层和多个下采样层，所述卷积层和所述下采样层串联且交替设置；第二特征解码网络，与所述第一特征编码网络串联，包括多个卷积层和多个上采样层，所述卷积层和所述上采样层串联且交替设置；所述第一特征编码网络的输入包括：所述空间变换网络输出的所述着装变换图像和所述着装分割图像；所述第二特征解码网络的第五目标卷积层的输入包括：所述第一特征编码网络的最后一个下采样层输出的中间变换图像；所述第二特征解码网络的第六目标卷积层的输入包括：与所述第六目标卷积层相邻的前一个所述上采样层输出的中间变换图像和所述第一特征编码网络中的第七卷积层输出的中间变换图像；所述第二特征解码网络的第七目标卷积层的输入包括：与所述第七目标卷积层相邻的前一个所述上采样层输出的中间变换图像和所述第一特征编码网络中的第八卷积层输出的中间变换图像；所述第二特征解码网络的第八目标卷积层的输入包括：与所述第八目标卷积层相邻的前一个所述上采样层输出的中间变换图像和所述第一特征编码网络中的第九卷积层输出的中间变换图像；所述第二特征解码网络的第九目标卷积层的输入包括：与所述第九目标卷积层相邻的前一个所述上采样层输出的中间变换图像和所述第一特征编码网络中的第十卷积层输出的中间变换图像；其中，所述第五目标卷积层至所述第九目标卷积层在所述第二特征解码网络中的位置顺序与递增顺序一致，所述第一特征编码网络中的所述第七卷积层至所述第十卷积层的位置顺序与递增顺序相反。8.根据权利要求6所述的系统，其特征在于，所述试装单元包括：
分支网络，用于通过所述第一着装变换图像提取所述目标着装中的所述图案细节特征，所述细节特征提取模型包括所述分支网络；主干网络，用于将所述第二着装变换图像拟合至所述分割区域，并在拟合过程中连接所述图案细节特征，得到所述目标对象对所述目标着装的所述试装图像。9.根据权利要求8所述的系统，其特征在于，所述分支网络包括：第二特征编码网络，包括多个卷积层和多个下采样层，所述卷积层和所述下采样层串联且交替设置；第三特征解码网络，与所述第二特征编码网络串联，包括多个卷积层和多个上采样层，所述卷积层和所述上采样层串联且交替设置；所述第二特征编码网络的输入包括所述第一着装变换图像。10.根据权利要求9所述的系统，其特征在于，所述主干网络包括：第三特征编码网络，包括多个卷积层和多个下采样层，所述卷积层和所述下采样层串联且交替设置；第四特征解码网络，与所述第二特征编码网络串联，包括多个卷...

【专利技术属性】
技术研发人员：吴佳涛，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：