一种面向虚拟现实的基于单深度图的人体关节点识别方法技术

本发明专利技术公开了一种面向虚拟现实的基于单深度图的人体关节点识别方法，首先通过卷积网络离线训练手势公开数据集NYU，得到一个鲁棒性好、准确率高以及识别速度快的模型；然后通过深度摄像头实时捕获深度图像，在对图像一系列预处理之后分别传入人体骨骼识别模块和手势识别模块，返回识别后的关节点三维信息，进而映射三维人体模型。利用本发明专利技术方法，在虚拟现实环境下具有良好的交互功能，在识别率、运算速度、普适性及准确性等方面均有较好的表现。

A human face recognition method based on single depth map for virtual reality

The invention discloses a virtual reality-oriented human joint point recognition method based on single depth map. Firstly, through the convolution network offline training gesture data set NYU, a model with good robustness, high accuracy and fast recognition speed is obtained. Then, the depth image is captured in real time by the depth camera, and the image is processed. After a series of pretreatments, the human skeleton recognition module and gesture recognition module are respectively imported, and the three-dimensional information of the identified joint points is returned, and then the three-dimensional human model is mapped. The method of the invention has good interaction function in virtual reality environment and good performance in recognition rate, operation speed, universality and accuracy.

【技术实现步骤摘要】
一种面向虚拟现实的基于单深度图的人体关节点识别方法
本专利技术属于人机交互
，尤其是涉及一种面向虚拟现实的基于单深度图的人体关节点识别方法。
技术介绍
虚拟现实是一种可以创建和体验虚拟拟世界的计算机系统，提供给用户具有高度沉浸感的人机交互和画面呈现。由于体验沉浸式虚拟现实需要穿头戴式显示设备(HMD)，视线被阻挡，因而传统的键鼠交互不再适用，新的人机交互形式是虚拟现实的核心技术之一，其主要交互形式依旧是人体姿势以及手势，市面上现存的硬件设备，包括leapmotion、手柄、手套等设备。额外的交互设备不但增加了硬件成本，而且增加的连接线进一步造成动作的限制，裸手交互，轻量级设备的基于计算机视觉的交互技术是虚拟现实发展的重要方向。单一深度图像中的人体关节点识别在虚拟现实(VR)和增强现实(AR)的应用中起着重要作用，当前在虚拟环境下的人机交互，尽管已经进行了多年的研究，但由于视野变化大，关节灵活度高，深度质量差，严重自闭症和类似部位混乱，仍然具有挑战性。传统的识别是对对象区域分割后的图像进行特征提取和模型参数估计，是将参数空间中的点或轨迹分类到该空间里某个子集的过程，常见的研究方法一般为3类：基于模板匹配的方法、基于人工神经网络的方法以及基于概率统计模型的方法，适用背景的复杂度和抗干扰能力都能满足一般用户的需求，准确率和识别率也得到了显著的提高。但这些算法在识别率、运算速度、普适性及准确性等方面仍有不足，最近卷积网络(ConvNets)在诸如对象分类和人体姿态估计等几种计算机视觉任务中的应用都出现了很大的增长，因为其具有很强的建模能力和端到端的特征学习能力，模型的准确性和鲁棒性都有显著提高。ConvNets也被引入解决手部姿态估计问题，通常采用复杂的结构设计，如多分支输入和多模型回归，有使用ConvNets生成2D热图并通过逆向运动学推断3D手势；有使用线性层作为先验姿态，使用多阶段ConvNets直接回归三维位置；有采用3个ConvNets分别对每个视图的2D热图进行深度投影并将它们融合以产生3D手势；有将骨架流形嵌入到ConvNets中，并端到端训练模型以呈现顺序预测。ConvNets的多模型集成方法传统的集成学习意味着训练多个单独的模型，并通过平均或权重融合来结合他们的输出，这在识别竞赛中被广泛采用。然而，ConvNets仍然无法获得传统的随机森林方法的重要优势。使用ConvNets进行手势估计最近深度ConvNets已经应用于手部深度成像的姿态估计。但是，使用多个ConvNets需要大量的内存和时间，这对于应用程序来说并不实用，尤其是虚拟现实应用需要占用大量计算机资源。
技术实现思路
本专利技术提供了一种面向虚拟现实的基于单深度图的人体关节点识别方法，在虚拟现实环境下具有良好的交互功能，与现有技术相比，在识别率、运算速度、普适性及准确性等方面均有较大的提高。一种面向虚拟现实的基于单深度图的人体关节点识别方法，包括以下步骤：(1)搭建五区域卷积神经网络模型，所述五区域卷积神经网络模型包括多个不同的卷积层、激活层、池化层和全连接层；(2)选取训练集，并设置五区域卷积神经网络模型的训练参数；(3)根据五区域卷积神经网络模型及其训练参数，以最小化损失函数为目标训练模型，得到深度图像手势估计神经网络模型；(4)利用深度摄像机获取实时的深度图像帧，并对图像帧预处理；(5)利用人体形态模型对经过预处理的图像帧进行分割，提取出独立的人体区域，通过人体骨骼识别模型识别人体关节点坐标；(6)利用手部模型分类器，在每个独立的人体区域上检测手部区域；若能够检测出手部区域，则执行步骤(7)，若检测不到，则跳转至步骤(4)；(7)通过步骤(3)的手势估计神经网络模型得到手势关节点坐标；(8)通过深度摄像机的参数，将步骤(5)与步骤(7)返回的关节点坐标从图像坐标系转换到物理坐标系，并最终映射三维人体模型。本专利技术所采用的图像为深度图像，它不受光线变化的影响，有效地克服了在计算机视觉领域目标在低亮度下的识别困难的难题。步骤(1)中，所述五区域卷积神经网络包括：一个数据输入层、六个卷积层、三个池化层、两个eltwise层、两个全连接层。第一层为数据输入层，然后是六个卷积层，两个eltwise层分别位于第三、第五个卷积层之后，三个池化层分别位于第二个卷积层，第一、第二个eltwise层之后，两个全连接层位于第三个池化层之后。其中所述六个卷积层卷积核大小都为3×3，卷积步长为1，各卷积核个数分别为16、16、32、32、64、64。所述三个池化层卷积核大小为2×2，步长为2。每个卷积层后面跟着一个ReLU激活，两个池化层之间通过残差连接增加特征图尺寸。步骤(2)中，所述的训练集采用公开数据集NYU进行模型训练，包含14个关节的72K张训练图像和8K张测试图像。步骤(3)中，所述五区域卷积神经网络模型的训练过程为：(3-1)根据手部二值图像检测并绘制其外部轮廓，求出轮廓的封闭多边形并确定封闭多边形的中心；(3-2)以该中心为中心提取一个立方体，将立方体重新调整大小，深度值归一化为[-1,1]作为ConvNet的输入；(3-3)深度值归一化后的图像作为输入，先进入网络通过六个卷积层进行特征提取，将输出特征映射到五个特征区域：R1,R2,R3,R4,R5，其中，R1-R4分别为以图像四个顶点为顶点且沿着特征图边缘提取的固定大小区域，R5为以图像中心为区域中心提取的同样大小区域，以图像中心为区域中心(见附图3)，五个特征区域作为分支，分别馈送到两个全连接层进行回归，每个回归器的丢失率为0.5；(3-4)训练使用最小批量为128的随机梯度下降，使用0.0005的重量衰减和0.9的动量，学习率从0.005开始，每5万次迭代后除以10，模型训练达到200000次迭代。步骤(4)中，所述的预处理具体步骤为：对实时深度图像帧进行中值滤波处理，然后进行图像前景提取操作，最后进行膨胀与腐蚀操作。所述中值滤波处理的公式为：D2(x,y)＝med{D1(x-k,y-l)}(k,l∈W)其中，D2(x,y)为滤波处理后的深度图像，D1(x,y)为原始图像，(x,y)为坐标处的深度值，W代表二维滤波模板，k表示模板的长度，l表示模板的宽度。所述图像前景提取操作的公式为：其中，fg(x,y)表示前景图像中(x,y)处的逻辑值，d(x,y)表示深度图像(x,y)坐标处的深度值。与现有技术相比，本专利技术的有益效果是：1、本专利技术以深度图像为数据源，克服了RGB图像容易受到外界光照、阴影等因素变化的影响。2、本专利技术采用卷积神经网络进行关键的手部关节点识别，而对自由度相对较低的人体关节点识别采用机器学习，在保证识别率的前提下，实时速度得到了提高。3、本方法是采用具有共享卷积特征提取器的多输出分支。由于FC层的推理比卷积层的推理快得多，多输出结构比多输入结构花费的时间更少。附图说明图1为本专利技术的人体关节点识别架构图；图2为本专利技术针对特征提取的网络结构图；图3为本专利技术的网络概貌图；图4为本专利技术实施例关节点识别效果图。具体实施方式下面结合附图对本专利技术做进一步阐述和说明。如图1所示，面向虚拟现实的基于单深度图的人体关节点识别方法，包括两个阶段：人体关节点检测阶段和人体姿态识别阶本文档来自技高网...

【技术保护点】
1.一种面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，包括以下步骤：(1)搭建五区域卷积神经网络模型，所述五区域卷积神经网络模型包括多个不同的卷积层、激活层、池化层和全连接层；(2)选取训练集，并设置五区域卷积神经网络模型的训练参数；(3)根据五区域卷积神经网络模型及其训练参数，以最小化损失函数为目标训练模型，得到深度图像手势估计神经网络模型；(4)利用深度摄像机获取实时的深度图像帧，并对图像帧预处理；(5)利用人体形态模型对经过预处理的图像帧进行分割，提取出独立的人体区域，通过人体骨骼识别模型识别人体关节点坐标；(6)利用手部模型分类器，在每个独立的人体区域上检测手部区域；若能够检测出手部区域，则执行步骤(7)，若检测不到，则跳转至步骤(4)；(7)通过步骤(3)的手势估计神经网络模型得到手势关节点坐标；(8)通过深度摄像机的参数，将步骤(5)与步骤(7)返回的关节点坐标从图像坐标系转换到物理坐标系，并最终映射三维人体模型。

【技术特征摘要】
1.一种面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，包括以下步骤：(1)搭建五区域卷积神经网络模型，所述五区域卷积神经网络模型包括多个不同的卷积层、激活层、池化层和全连接层；(2)选取训练集，并设置五区域卷积神经网络模型的训练参数；(3)根据五区域卷积神经网络模型及其训练参数，以最小化损失函数为目标训练模型，得到深度图像手势估计神经网络模型；(4)利用深度摄像机获取实时的深度图像帧，并对图像帧预处理；(5)利用人体形态模型对经过预处理的图像帧进行分割，提取出独立的人体区域，通过人体骨骼识别模型识别人体关节点坐标；(6)利用手部模型分类器，在每个独立的人体区域上检测手部区域；若能够检测出手部区域，则执行步骤(7)，若检测不到，则跳转至步骤(4)；(7)通过步骤(3)的手势估计神经网络模型得到手势关节点坐标；(8)通过深度摄像机的参数，将步骤(5)与步骤(7)返回的关节点坐标从图像坐标系转换到物理坐标系，并最终映射三维人体模型。2.根据权利要求1所述的面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，步骤(1)中，所述五区域卷积神经网络模型由6个具有3×3内核的卷积层和3个2×2内核的池化层组成，每个卷积层后面跟着一个ReLU激活，两个池化层之间通过残差连接以增加特征图尺寸。3.根据权利要求1所述的面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，步骤(2)中，所述的训练集为公开数据集NYU。4.根据权利要求1所述的面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，步骤(3)中，所述五区域卷积神经网络模型的训练过程为：(3-1)根据手部二值图像检测并绘制其外部轮廓，求出轮廓...

【专利技术属性】
技术研发人员：卢书芳，蔡历，丁雪峰，高飞，毛家发，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33