一种单张图片重建手部三维模型并显示的方法及系统技术方案

本发明专利技术提供一种单张图片重建手部三维模型并显示的方法及系统，其包括以下步骤：使用深度学习构建手部关节骨架检测模型，使用深度学习构建手部三维网格生成模型，使用深度学习构建人脸和关键点检测模型，使用摄像头采集视频，并逐帧解码成RGB图片；使用手部关键骨架检测模型检测RGB图片中的手部位置和关节骨架，并对其进行裁剪；将手部三维网格根据步骤进行角度调整，并渲染成三维模型，且显示在步骤计算得到的显示区域位置上。克服了以往方法采集复杂，流程繁琐等缺点，并且运行速度快，计算资源要求相对低。有助于模型更好地学习数据中的特征，增强了模型的准确率。实现对数字化内容的高效率、低成本、节能环保的无接触手势控制。节能环保的无接触手势控制。节能环保的无接触手势控制。

【技术实现步骤摘要】
一种单张图片重建手部三维模型并显示的方法及系统


[0001]本专利技术涉及图像处理领域，具体涉及一种单张图片重建手部三维模型并显示在屏幕的方法几系统。

技术介绍

[0002]三维模型重建顾名思义就是从一些数据重建出物体的三维逼真的三维模型，在其重建的过程中针对不同的数据的三维重建会有不同的处理算法。准确的三维模型重建可以有效地帮助实现增强现实(AR)以及虚拟现实技术(VR)，另外也是特效，电脑合成图片(CG)等技术的基础。
[0003]目前，三维模型重建常常使用slam点云，图片等数据进行重建。然而，使用点云重建虽然能够较为精确地恢复三维模型，但面临着设备复杂，成本高等特点。而采用图片的方式则通常采用多张图片或者多个摄像头融合生成手部模型，在处理多张图片的关键点匹配时，会增加耗时，并且对于纹理特征较少的图片效果匹配准确度较差。

技术实现思路

[0004]本专利技术针对现有技术中存在的技术问题，提供一种单张图片重建手部三维模型并显示的方法及系统，使用单张RGB图片提取手部三维网格，使得在手部建模任务中，克服了以往方法采集复杂，流程繁琐等缺点，并且运行速度快，计算资源要求相对低。并且本专利技术专利中涉及到的多阶段建模及训练的方法，有助于模型更好地学习数据中的特征，增强了模型的准确率。此外本专利技术专利结合人脸检测，确定的显示方法，能够实现对人的手部进行数字化同步，更加符合人类的操作模式，可以提供更加沉浸式的数字化体验。在技术的应用场景中可以实现对数字化内容的高效率、低成本、节能环保的无接触手势控制。
[0005]本专利技术解决上述技术问题的技术方案如下：一种单张图片重建手部三维模型并显示的方法，
[0006]其包括以下步骤：
[0007]步骤1：使用深度学习构建手部关机骨架检测模型、手部三维网格生成模型和人脸和关键点检测模型，分别用于基于一张RGB图片检测手部并得到手部关节骨架特征图，得到手部三维网格，提取图片中的人脸及脸部器官位置；
[0008]步骤2：使用摄像头采集视频信息，并逐帧解码成RGB图片；
[0009]步骤3：分别使用手部关键骨架检测模型检测RGB图片中的手部位置和关节骨架，并对其进行裁剪；使用人脸和关键点检测模型检测图片中的人脸并提取关键点位置；
[0010]步骤4：根据步骤3获取的手部位置和人脸位置，判断步骤3是否都分别检测到所需要检测的对象信息，若均检测到所需要检测的对象信息，则计算确定手部在显示区域的显示角度和位置；否则，则回到步骤2；
[0011]步骤5：将手部图片和关节骨架的特征值输入到手部三维网格生成模型中，通过高斯分布算法将关节骨架特征图转换为热力特征图，提供给人脸和关键点检测模型并输出手
部三维网格；
[0012]步骤6：将手部三维网格进行角度调整，并渲染成三维模型，且显示在步骤4计算得到的显示区域位置上。
[0013]在上述技术方案的基础上，本专利技术还可以作出如下改进。
[0014]可选的，所述步骤1使用的深度学习方法基于卷积神经网络构建关节骨架检测模型，且步骤1中的手部关节骨架包括手肘、各个手指的指尖以及手指关节。
[0015]可选的，所述步骤1中，所述手部三维网格生成模型的输入为步骤1得到的手部关节骨架特征图，采用高斯分布算法将手部关节骨架特征图转换为热力图特征，并使用基于深度残差图卷积神经网络提取深度特征得到手部三维网格结构。
[0016]可选的，所述步骤3中使用人脸和关键点检测模型检测图片中的人脸并提取关键点位置时若未能提取到关键点位置，则输出空数据提供给后续步骤。
[0017]可选的，所述步骤3中，使用步骤1构建的手部关节骨架检测模型提取图片中的手部位置和关节骨架特征点，若检测到手部关节骨架的特征点，则计算出包含所有特征点的最大矩形手部边界框，并根据边界框的坐标在原图中裁剪获得裁剪后的手部图片；若未能检测到手部关节骨架的特征点则输出空数据提供给后续步骤。
[0018]可选的，所述步骤4中，将视频图像画面的中心点作为摄像头的位置，记为p1，将手部关节骨架检测模型输出的手部关节特征点的中心位置坐标点，记为p2，将人脸和关键点检测模型输出的人脸特征中心点位置记为p3，根据摄像头分辨率以及人脸区域最大正方形大小估计人脸到摄像头的距离d1，根据摄像头分辨率以及手部区域最大正方形大小，估计手部到摄像头的距离d2，将p1，p2，p3三个点的二维坐标以摄像头位置为原点，d1作为p3的z轴坐标，d2作为p2的z轴坐标，将p1、p2、p3三个点分别转化为三维坐标p10、p22、p31，并连成三维坐标系的三角形，并通过三角函数计算三维坐标系下的边p10p22和边p22p31的夹角θ。
[0019]可选的，所述步骤6中，根据夹角θ进行旋转，然后再进行镜像翻转，得到人视角下的手部三维网格，再使用三维绘图算法对手部网格进行渲染显示。
[0020]进一步的，本专利技术还公开了一种单张图片重建手部三维模型并显示的系统，该系统采用了上述任一种单张图片重建手部三维模型并显示的方法。
附图说明
[0021]图1为本专利技术的一种单张图片重建手部三维模型并显示的方法及系统的处理流程示意图。
[0022]图2为本专利技术的一种单张图片重建手部三维模型并显示的方法及系统的手部关节骨架示意图。
[0023]图3为本专利技术的一种单张图片重建手部三维模型并显示的方法及系统的手部三维网格示意图。
具体实施方式
[0024]下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。
[0025]在本专利技术的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、
“
连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0026]图1为本专利技术提供的一种单张图片重建手部三维模型并显示的方法及系统的处理流程示意图，如图1所示，本实施例公开的一种单张图片重建手部三维模型并显示的方法，
[0027]其包括以下步骤：
[0028]步骤1：使用深度学习构建手部关机骨架检测模型、手部三维网格生成模型和人脸和关键点检测模型，分别用于基于一张RGB图片检测手部并得到手部关节骨架特征图，得到手部三维网格，提取图片中的人脸及脸部器官位置；
[0029]步骤2：使用摄像头采集视频信息，并逐帧解码成RGB图片；
[0030]步骤3：分别使用手部关键骨架检测模型检测RGB图片中的手部位置和关节骨架，并对其进行裁剪；使用人脸和关键点检测模型检测图片中的人脸并提取关键点位置；
[0031]步骤4：根据步骤3获取的手部位置和人脸位置，判断步骤3是否都分别检测到所需要检测的对象信息，若均检测到所需要检测的对象信息，则计算确定手部在显示区域的显示角度和位置；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种单张图片重建手部三维模型并显示的方法，其特征在于，其包括以下步骤：步骤1：使用深度学习构建手部关机骨架检测模型、手部三维网格生成模型和人脸和关键点检测模型，分别用于基于一张RGB图片检测手部并得到手部关节骨架特征图，得到手部三维网格，提取图片中的人脸及脸部器官位置；步骤2：使用摄像头采集视频信息，并逐帧解码成RGB图片；步骤3：分别使用手部关键骨架检测模型检测RGB图片中的手部位置和关节骨架，并对其进行裁剪；使用人脸和关键点检测模型检测图片中的人脸并提取关键点位置；步骤4：根据步骤3获取的手部位置和人脸位置，判断步骤3是否都分别检测到所需要检测的对象信息，若均检测到所需要检测的对象信息，则计算确定手部在显示区域的显示角度和位置；否则，则回到步骤2；步骤5：将手部图片和关节骨架的特征值输入到手部三维网格生成模型中，通过高斯分布算法将关节骨架特征图转换为热力特征图，提供给人脸和关键点检测模型并输出手部三维网格；步骤6：将手部三维网格进行角度调整，并渲染成三维模型，且显示在步骤4计算得到的显示区域位置上。2.根据权利要求1所述的一种单张图片重建手部三维模型并显示的方法，其特征在于，所述步骤1使用的深度学习方法基于卷积神经网络构建关节骨架检测模型，且步骤1中的手部关节骨架包括手肘、各个手指的指尖以及手指关节。3.根据权利要求1所述的一种单张图片重建手部三维模型并显示的方法，其特征在于，所述步骤1中，所述手部三维网格生成模型的输入为步骤1得到的手部关节骨架特征图，采用高斯分布算法将手部关节骨架特征图转换为热力图特征，并使用基于深度残差图卷积神经网络提取深度特征得到手部三维网格结构。4.根据权利要求1所述的一种单张图片重建手部三维模型并显示的方法，其特征在于，所述步骤3中使用人...

【专利技术属性】
技术研发人员：吕松南，罗诚，
申请(专利权)人：苏州方正璞华信息技术有限公司，
类型：发明
国别省市：