【技术实现步骤摘要】
一种从深度图像中获取手部三维参数化模型的方法
本专利技术属于计算机视觉领域，尤其涉及一种从深度图像中获取手部三维参数化模型的方法。
技术介绍
传统的基于计算机视觉的无模型手势姿态估计中经常会遇到遮挡(包括自遮挡)、分辨率低、噪声等问题，这些问题对最终的姿态估计结果会产生较大影响。相对于传统的无模型方法，基于手部参数化模型的手势姿态估计方法给手势姿态估计任务提供了较强的先验知识，使之能够最大限度在有遮挡、低分辨率等条件下提供较为优秀的性能。目前使用最广泛的手部参数化模型即为MANO模型(handModelwithArticulatedandNon-rigiddefOrmations)。MANO模型是JavierRomero等人于2017年公开发表的一种参数化手部模型。根据2018年以来国内外手部姿态估计的相关研究工作表明：使用MANO参数化模型，对于估计出一个合理且准确的手势姿态，有着至关重要的作用。MANO模型用一组参数来定义三角化的手部三维网格其中为手部的形状参数，为手部的姿态参数，代表通过轴角表示的16个手部关节...
【技术保护点】
1.一种从深度图像中获取手部三维参数化模型的方法，其特征在于，包括以下步骤：/n(1)获取深度图像序列和深度相机内参，包括以下子步骤：/n(1.1)使用结构光深度相机拍摄用户平放于平整桌面的双手，得到手部深度图像序列；/n(1.2)读取深度相机的相机内参，包括焦距和中心点偏移；/n(2)由步骤(1)得到的手部深度图像序列和对应的深度相机内参，重建粗略的手部三维点云，包括以下子步骤：/n(2.1)根据第一帧深度图像和深度相机内参获得三维点云，并将第一帧的相机坐标系作为世界坐标系构建三维网格模型，对于之后的深度图像序列，执行步骤(2.2)；/n(2.2)根据单帧深度图像和相机内...
【技术特征摘要】
1.一种从深度图像中获取手部三维参数化模型的方法，其特征在于，包括以下步骤：
(1)获取深度图像序列和深度相机内参，包括以下子步骤：
(1.1)使用结构光深度相机拍摄用户平放于平整桌面的双手，得到手部深度图像序列；
(1.2)读取深度相机的相机内参，包括焦距和中心点偏移；
(2)由步骤(1)得到的手部深度图像序列和对应的深度相机内参，重建粗略的手部三维点云，包括以下子步骤：
(2.1)根据第一帧深度图像和深度相机内参获得三维点云，并将第一帧的相机坐标系作为世界坐标系构建三维网格模型，对于之后的深度图像序列，执行步骤(2.2)；
(2.2)根据单帧深度图像和相机内参获得三维点云并计算点云中每一点的法向量；
(2.3)将当前帧的三维点云和通过光线投影根据上一帧相机位姿从三维网格模型投影得到的点云进行配准，计算当前帧的相机位姿；
(2.4)根据计算得到的相机位姿，将当前帧的点云与三维网格模型进行融合，更新三维网格模型；
(2.5)根据当前帧的相机位姿，通过光线投影从更新后的三维网格模型投影得到当前视角下的点云，并计算点云中每一点的法向量，用来对下一帧的输入深度图像进行配准；重复执行步骤(2.2)-(2.5)直到完成对深度图像序列的处理；
(2.6)将三维网格模型转换为点云，得到粗略的手部三维点云；
(3)由步骤(2)得到粗略的手部三维点云，人工去除非手部点云与噪声点云，得到精细的手部三维点云，包括以下子步骤：
(3.1)剔除与手部三维点云不相连的点云；
(3.2)选择步骤(3.1)处理后的三维点云中属于所述桌面平面的非共线的三个点，根据三个点计算桌面的平面表示；
(3.3)根据桌面的平面表示，剔除远离手部点云一侧空间的三维点云；
(3.4)剔除步骤(3.3)处理后的三维点云中与手部三维点云不相连的点云，得到精细的手部三维点云；
(4)通过精细的手部三维点云获取用户个性化的手部三维参数化模型，包括以下子步骤：
(4.1)基于精细的手部三维点云及其投影到图像平面的指尖二维位置，优化求解手部三维参数化模型的全局旋转和平移参数；
(4.2)固定步骤(4.1)得到的全局旋转和平移参数，基于精细的手部三维点云及其投影到图像平面的指尖位置，优化求解手部三维参数化模型的形状和姿态参数；
(4.3)剔除一部分手指部分的点云，并基于处理后的手部三维点云进一步优化求解手部三维参数化模型的形状参数，最终得到用户个性化的手部三维参数化模型。
2.根据权利要求1所述的一种从深度图像中获取手部三维参数化模型的方法，其特征在于，所述三维网格模型通过名为TSDF的三维重建算法进行构建和...
【专利技术属性】
技术研发人员：耿卫东，梁秀波，厉向东，金文光，戴青锋，刘帅，姬源智，周洲，韩晨晨，毋从周，朱俊威，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。