基于多视角投影轮廓一致性约束的三维人体体形重建方法及系统技术方案

本发明专利技术属于计算机视觉人体重建技术领域，具体涉及一种基于多视角投影轮廓一致性约束的三维人体体形重建方法及系统，本发明专利技术方法包括：S1，使用相机采集视频，通过视频帧提取获得人体序列图像；S2，将得到的序列图像进行筛选，获取关键帧序列，并获取相机参数；S3，利用得到的相机参数，通过关节点提取法提取多视角的2D关节点，基于多视立体成像原理计算3D关节点；S4，统一SMPL

【技术实现步骤摘要】
基于多视角投影轮廓一致性约束的三维人体体形重建方法及系统


[0001]本专利技术属于计算机视觉人体重建
，具体涉及一种基于多视角投影轮廓一致性约束的三维人体体形重建方法及系统。

技术介绍

[0002]近年来，三维人体重建在游戏动画行业、服装定制行业、电子商务、虚拟试衣、健身健康行业等领域得到广泛应用，成为计算机视觉领域的研究热点。
[0003]三维人体重建的表达主要有三维点云和参数化模型两种方式：点云通过离散采样目标表面为三维坐标的集合体现空间几何结构，其空间表达能力取决于点云分布和密度。参数化人体模型从大量人体数据中学习其统计分布，使用一组低维向量描述人体形状和姿态，通过对人体形变空间的低维流形嵌入，能够使表达模型具有参数少、完整全面等特点。
[0004]人体点云根据获取方式不同，可分为主动式的结构光投影方式，以及被动式的双目、多目立体成像方式。基于主动式结构光的人体重建精度较高，但是成本高、扫描时间长、用户体验差，而且点云后期处理与分析复杂，普及使用具有局限性；双目、多目立体成像需要搭建多相机系统，占地面积大、重建精度受环境光、纹理信息等影响。基于人体参数化模型的人体重建可分为深度学习、优化算法两种方案，深度学习回归方案通过构建数据集进行训练获得模型，对参数化模型进行预测，效率较高，但是深度学习模型需要大量数据进行训练，且真实场景难以获得人体真实数据，导致甚多学习模型泛化能力差、适用性低、精度较差等问题的出现；基于优化算法的方案通过已知信息构建目标函数，通过优化算法优化模型参数最终获得重建结果，重建精度高，但是其存在速度慢、受初始值影响大、容易陷入局部最优解等问题。

技术实现思路

[0005]为此，本专利技术的目的在于提供一种基于多视角投影轮廓一致性约束的三维人体体形重建方法及系统，以解决三维人体重建现状成本高、重建精度低等技术问题。
[0006]为实现上述目的，本专利技术采取如下技术方案：
[0007]一种基于多视角投影轮廓一致性约束的三维人体体形重建方法，包括如下步骤：
[0008]S1，使用相机围绕静止人体采集视频，并通过视频帧提取获得人体序列图像；
[0009]S2，将步骤S1得到的序列图像进行筛选，获取关键帧序列，并获取相机参数；
[0010]S3，利用步骤S2得到的相机参数，并通过图像人体关节点提取法提取多视角的2D关节点，基于多视立体成像原理计算3D关节点；
[0011]S4，统一SMPL
‑
X模型与相机的坐标系，并依据步骤S3得到的3D关节点构建目标函数，采用BFGS
‑
LS进行人体模型姿态优化；
[0012]S5，根据正侧面图像人体轮廓构建目标函数，采用BFGS
‑
LS进行人体模型体形优化，得到最终的人体模型。
[0013]优选的，步骤S1包括如下步骤：
[0014]S1.1，要求被拍摄者穿着紧身衣物以
‘
A
’
姿态静止站立，拍摄者通过相机(或手机)从被拍摄者右斜侧围绕至左侧面，约145
°
范围，拍摄视频；
[0015]S1.2，对所拍视频每间隔30帧提取一张图像，获得序列图像。
[0016]优选的，步骤S2包括如下步骤：
[0017]S2.1，采用人体朝向角判别MEBOW模型，该模型利用COCO数据集深度学习模型训练，输入人体图像，可获得角度分辨率为5
°
的人体朝向判别结果，通过人体MEBOW分类模型，对序列图像进行人体朝向估计，筛选出人体朝向最接近
‑
45
°
,
‑
30
°
,
‑
15
°
,0
°
,15
°
,30
°
,45
°
,60
°
,75
°
,90
°
的10张关键帧图像，并重点标记
‑
45
°
为人体右斜侧图像、0
°
为人体正面图像、45
°
为人体左斜侧图像、90
°
为人体左侧面；
[0018]S2.2，将10张关键帧图像通过运动恢复结构得到相机的内参数，以及10张图像对应的相机位姿参数。
[0019]S3，利用步骤S2得到的相机参数，并通过openpose提取各视角的2D关节点，基于多视立体成像计算3D openpose关节点；
[0020]优选的，步骤S3包括如下步骤：
[0021]S3.1，openpose人体姿态估计框架是基于深度学习的实时二维姿态估计算法，可从单张人体图像上识别出25个关节点，具有较好的鲁棒性，通过openpose提取人体正面、侧面、左右斜侧面4张图像的2Dopenpose关节点，得到2D openpose关节点的像素坐标；
[0022]S3.2，在已知相机参数及多视角2D关节坐标的前提下，利用正面、左斜侧、右斜侧图像，通过多视立体成像模型构建方程组，利用SVD奇异值分解的方法，求解得到3D关节点。
[0023]优选的，步骤S4具体如下：
[0024]S4.1，在进行优化之前，需要实现SMPL
‑
X模型与相机坐标系的统一，首先通过步骤S3得到的三维关节点1、8、2、5与标准T姿态对应位置的关节点计算旋转平移矩阵，实现关节点坐标统一，即SMPL
‑
X坐标系与相机坐标系统一；
[0025]S4.2，基于步骤S3得到的3D关节点，构建关节点位置及关节角度的目标函数，目标函数如下：
[0026][0027]其中L
o
为关节角度约束项：
[0028][0029][0030]L
d
为关节点距离约束项：
[0031][0032]为3D openpose关节点，为SMPL
‑
X关节点，i、j表示关节点序号，α为调节L
o
和L
d
相对大小的权重系数，θ、β分别为SMPL
‑
X的pose参数和shape参数；
[0033]以SMPL
‑
X初始T姿态模型为初始值，通过BFGS
‑
LS优化算法优化pose参数和shape
参数的初始结果。
[0034]优选的，步骤S5具体如下：
[0035]S5.1，通过人体分割模型对正面图像以及侧面图像进行背景分割，并利用openCV对分割后的图像进行轮廓提取，得到正面、侧面图像人体轮廓；
[0036]S5.2，利用正面相机参数、侧面相机参数对SMPL
‑
X模型进行投影获得正侧面投影散点图，并利用Alpha
‑
Shapes算法提取散点图的轮廓，利用正侧面轮廓的差异性构建轮廓偏差的目标函数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多视角投影轮廓一致性约束的三维人体体形重建方法，其特征在于，包括如下步骤：S1，采用相机围绕静止人体采集视频，并通过视频帧提取获得人体序列图像；S2，将步骤S1得到的序列图像进行筛选，获取关键帧序列，并获取相机参数；S3，利用步骤S2得到的相机参数，并通过图像人体关节点提取法提取多视角的2D关节点，基于多视立体成像原理计算3D关节点；S4，统一SMPL
‑
X模型与相机的坐标系，并依据步骤S3得到的3D关节点构建目标函数，采用BFGS
‑
LS进行人体模型姿态优化；S5，根据正侧面图像人体轮廓构建目标函数，采用BFGS
‑
LS进行人体模型体形优化，得到最终的人体模型。2.根据权利要求1所述的基于多视角投影轮廓一致性约束的三维人体体形重建方法，其特征在于，步骤S1包括如下步骤：S1.1，人体穿着紧身衣物以指定姿态静止站立，相机从人体右斜侧围绕至左侧面，145
°
范围，拍摄视频；S1.2，对所拍视频每间隔30帧提取一张图像，获得序列图像。3.根据权利要求1或2所述的基于多视角投影轮廓一致性约束的三维人体体形重建方法，其特征在于，步骤S2包括如下步骤：S2.1，采用人体朝向角判别MEBOW模型，该模型利用COCO数据集深度学习模型训练，输入人体图像，通过人体MEBOW模型，对序列图像进行人体朝向估计，筛选出人体朝向最接近
‑
45
°
,
‑
30
°
,
‑
15
°
,0
°
,15
°
,30
°
,45
°
,60
°
,75
°
,90
°
的10张关键帧图像，并重点标记
‑
45
°
为人体右斜侧图像、0
°
为人体正面图像、45
°
为人体左斜侧图像、90
°
为人体左侧面；S2.2，将10张关键帧图像通过运动恢复结构得到相机的内参数，以及10张图像对应的相机位姿参数。4.根据权利要求3所述的基于多视角投影轮廓一致性约束的三维人体体形重建方法，其特征在于，步骤S3包括如下步骤：S3.1，使用openpose提取人体正面、侧面、左右斜侧面4张图像的2D openpose关节点，得到2D openpose关节点的像素坐标；S3.2，在已知相机参数及多视角2D关节坐标的前提下，利用正面、左斜侧、右斜侧图像，通过多视立体成像模型构建方程组，利用SVD奇异值分解的方法，求解得到3D关节点。5.根据权利要求4所述的基于多视角投影轮廓一致性约束的三维人体体形重建方法，其特征在于，步骤S4包括如下步骤：S4.1，通过步骤S3得到的3D关节点中的左右肩关节点、左右胯部关节点与标准T姿态对应位置的关节...

【专利技术属性】
技术研发人员：陈庆光，周升龙，蔡云涛，钟明伟，
申请(专利权)人：杭州五车书智能科技有限公司，
类型：发明
国别省市：