一种基于自适应选帧的云端协同高效虚拟试衣方法技术

本发明专利技术涉及一种基于自适应选帧的云端协同虚拟试衣方法，涉及基于二维图像的虚拟试衣领域。利用手机摄像头实时采集当前用户的图像信息，根据图像信息在手机端利用Resnet网络完成三维人体重建，获取SMPL人体模型的参数信息；比较当前三维姿态与之前三维姿态的差异，根据差异程度来选择将图像和SMPL参数上传至云端；云端根据接收到的参数恢复出SMPL模型，并找出对应的身体部分进行交换；云端分别利用两个UNet网络对背景和前景进行合成，组合后完成最终的输出。成最终的输出。成最终的输出。

【技术实现步骤摘要】
一种基于自适应选帧的云端协同高效虚拟试衣方法


[0001]本专利技术涉及基于二维图像的虚拟试衣领域，具体涉及一种基于自适应选帧的云端协同高效虚拟试衣方法。

技术介绍

[0002]虚拟试衣是实现用户不用脱去身上衣服，实现变装查看效果的一种技术应用。近年来，随着生成对抗网络的发展，众多的研究者致力于使用简单的二维图像完成虚拟试衣。基于二维图像的虚拟试衣的一般流程如下：(1)人体解析：将人体图像输入至人体解析器，以获取身体各部分、脸部、头发、衣服和姿势等信息，进而有效地指导人体部位的精确区域的合成；(2)服饰信息提取：采取变形或编码等方式获取目标服饰的信息；(3)人体图像合成：根据上述条件信息，利用生成对抗网络来完成最终换衣图像的生成。
[0003]尽管基于二维图像虚拟试衣的研究已经取得了充足的进展，但大多数方法只能运行在昂贵的高性能服务器，缺乏与用户的交互感。考虑到智能手机的便捷性与普及程度，利用智能手机来完成实时换衣，可以提升换衣过程的交互感。然而目前手机的算力并不能满足换衣算法运行的需求，尤其是对于生成对抗网络等深度学习算法。因此，云端协同是一种有效的解决方式：将简单的任务(人体解析)在手机端完成，将复杂耗时的任务(图像合成)上传至云端完成。

技术实现思路

[0004]要解决的技术问题
[0005]为了避免现有技术的不足之处，本专利技术提供一种基于自适应选帧的云端协同高效虚拟试衣方法。
[0006]技术方案
[0007]一种基于自适应选帧的云端协同高效虚拟试衣方法，其特征在于步骤如下：
[0008]步骤1：利用手机摄像头实时采集当前用户的图像信息，根据图像信息在手机端利用人体网格恢复网络HMR完成三维人体重建，获取蒙皮多人线性模型SMPL的身体形状参数和姿势参数并记录当前参数值K＝(θ,β)；
[0009]步骤2：比较当前的参数值K与全局参数值K
′
之间的差异，如果差异大于给定阈值则说明姿态变化较大，需要将该帧图像I与当前参数值K上传至云端完成后续处理，并将全局参数值K
′
更新为当前参数值K；
[0010]步骤3：云端接收到参数θ,β后恢复出SMPL三维模型的6890个顶点：
[0011]N
v
＝SMPL(θ,β)
[0012]利用神经三维网格渲染器NMR对三维模型进行渲染，得到源模型在相机视角下的二维图像C
s
，C
s
中蕴含三维图像与二维图像在空间上的对应关系；根据SMPL三维模型每一个顶点的所属的人体部位，可以将输入图像分为前景图像I
fs
和背景图像I
bs
，并且可以将前景图像I
fs
进一步划分为身体的不同部位，记为PARTS[face,neck,..,leg]；对参考图像做相同
的处理，获得C
r
，以及其前景图像I
fr
和背景图像I
br
，以及对应的身体分割信息PARTS[face,neck,..,leg]；
[0013]对原图像的衣服部分进行遮蔽处理，得到掩模M
t
；将参考图像的衣服部分替换至MASK部分，得到对应要生成的换装后的图像表示I
sgt
；
[0014]步骤4：利用生成对抗网络分别对源背景图像I
bgs
和目标图像I
sgt
进行生成处理：
[0015][0016][0017]其中生成器G采用UNet网络实现；
[0018]最终，将背景图像和前景图像用线性合成，并用目标掩模M
t
进行加权，得到最终的图像输出，并将结果返回至手机终端
[0019][0020]本专利技术进一步的技术方案：步骤2中差异计算公式如下：
[0021][0022]一种计算机系统，其特征在于包括：一个或多个处理器，计算机可读存储介质，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的方法。
[0023]一种计算机可读存储介质，其特征在于存储有计算机可执行指令，所述指令在被执行时用于实现上述的方法。
[0024]有益效果
[0025]本专利技术提供的一种基于自适应选帧的云端协同虚拟试衣方法，利用手机摄像头实时采集当前用户的图像信息，根据图像信息在手机端利用Resnet网络完成三维人体重建，获取SMPL人体模型的参数信息；比较当前三维姿态与之前三维姿态的差异，根据差异程度来选择将图像和SMPL参数上传至云端；云端根据接收到的参数恢复出SMPL模型，并找出对应的身体部分进行交换；云端分别利用两个UNet网络对背景和前景进行合成，组合后完成最终的输出。
[0026]具有以下优点：
[0027](1)手机摄像头采集到的相邻图像帧变化不大，只挑取姿态变化较大的图像帧进行处理可以在保持变装效果的同时减轻计算量；
[0028](2)二维图像难以有效描述人体的形状特征，引入三维信息来描述人体的形状特征，从而减少偏差；
[0029](3)为了维持源图像的背景，对前景与背景进行分开合成，从而产生源背景相符的换装图片。
附图说明
[0030]附图仅用于示出具体实施例的目的，而并不认为是对本专利技术的限制，在整个附图中，相同的参考符号表示相同的部件。
[0031]图1为本专利技术实例中整体系统架构图；
[0032]图2为模型的详细结构图。
具体实施方式
[0033]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。此外，下面描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0034]本专利技术提供的一种基于自适应选帧的云端协同高效虚拟试衣方法，基于以下原理：利用云端结合的方式可以快速完成虚拟换衣：在手机端完成三维姿态重建，在云端完成渲染合成并返回变换效果。为了保证虚拟试衣的质量与速度，有如下解决方式：(1)手机摄像头采集到的相邻图像帧变化不大，只挑取姿态变化较大的图像帧进行处理可以在保持变装效果的同时减轻计算量；(2)二维图像难以有效描述人体的形状特征，引入三维信息来描述人体的形状特征，从而减少偏差；(3)为了维持源图像的背景，对前景与背景进行分开合成，从而产生源背景相符的换装图片。
[0035]包括：
[0036]云端协同虚拟试衣方法：在手机端完成三维姿态重建，在云端完成渲染合成并返回变换效果；
[0037]用于虚拟试衣的自适应选帧方法：比较当前帧的SMPL参数与全局SMPL参数的差异，根据差异大小来选择是否上传至云端进行渲染合成。
[0038]具体步骤如下：
[0039]步骤1：利用手机摄像头实时采集当前用户的图像信息，根据图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应选帧的云端协同高效虚拟试衣方法，其特征在于步骤如下：步骤1：利用手机摄像头实时采集当前用户的图像信息，根据图像信息在手机端利用人体网格恢复网络HMR完成三维人体重建，获取蒙皮多人线性模型SMPL的身体形状参数和姿势参数并记录当前参数值K＝(θ,β)；步骤2：比较当前的参数值K与全局参数值K
′
之间的差异，如果差异大于给定阈值则说明姿态变化较大，需要将该帧图像I与当前参数值K上传至云端完成后续处理，并将全局参数值K
′
更新为当前参数值K；步骤3：云端接收到参数θ,β后恢复出SMPL三维模型的6890个顶点：N
v
＝SMPL(θ,β)利用神经三维网格渲染器NMR对三维模型进行渲染，得到源模型在相机视角下的二维图像C
s
，C
s
中蕴含三维图像与二维图像在空间上的对应关系；根据SMPL三维模型每一个顶点的所属的人体部位，可以将输入图像分为前景图像I
fs
和背景图像I
bs
，并且可以将前景图像I
fs
进一步划分为身体的不同部位，记为PARTS[face,neck,..,leg]；对参考图像做相同的处理，获得C
r
，以及其前景图像I
fr

【专利技术属性】
技术研发人员：郭斌，冯煦阳，邱晨，於志文，王柱，刘思聪，梁韵基，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：