一种基于三维人体骨架的人体基本动作实时识别方法技术

本发明专利技术公开了一种基于三维人体骨架的人体基本动作实时识别方法，具体按照确定Kinect的安置角度；根据三维人体骨架定义人体基本动作，得到多个定义动作；利用Kinect获取待识别人体动作，获取待识别人体动作的动作特征，将待识别人体动作与定义动作进行特征匹配，进行待识别人体动作的识别的步骤。本发明专利技术一种基于三维人体骨架的人体基本动作实时识别方法，能够通过Kinect实时获取骨骼数据对人体基本动作的动作进行实时识别。

【技术实现步骤摘要】
一种基于三维人体骨架的人体基本动作实时识别方法
本专利技术属于计算机视觉和模式识别的重要研究内容和交叉学科
，涉及一种基于三维人体骨架的人体基本动作实时识别方法，具体的涉及一种基于Kinect采集的三维人体模型的三维人体骨架的人体基本动作实时识别方法。
技术介绍
人体动作识别研究通过计算机对人体动作序列进行一系列分析和辨别。动作序列是一个有序姿态的变化过程，现实中人们一般通过眼睛来捕获动作数据，再经过大脑分析和自己经验的对比从而得出动作类型，所以在人体动作识别的过程中，视觉分析是非常重要的一个部分。目前动作识别已经在智能监控、虚拟现实、高级人机交互、体育运动分析、自动驾驶等多个领域取得了重大的实际应用价值。人体动作识别实质就是利用模型来判断测试的动作是否和先前标定的动作一致，如果一致说明选择的分类模型比较好，因此它是一种对动作分类的方法。随着动作识别应用范围的扩大和研究的深入，已经取得了诸多研究成果。2007年，Meng等人提出了一种适用于安全系统、人机交互和智能环境的嵌入式计算机视觉应用的人体动作识别系统。利用分层运动历史直方图特征来表示运动信息，提取一个低维特征向量并将其应用到基于支持向量机分类器的人体动作识别系统。由于是对每帧获取直方图然后进行计算，因此整个过程实时性较差。2010年A.AravindKumar设计了基于视频分析的人体活动识别系统，主要运用了一种使用跟踪像素点的轨迹的方法，该方法利用信号处理技术找出它们的属性，提取其中的特征，用支持向量机对数据进行训练，最终对新视频进行分类。但是在跟踪过程中，需要手动选择感兴趣的点或区域进行匹配，由于仅使用相关系数来匹配感兴趣的最佳匹配区域，当区域旋转或改变其形状时，某些点可能会丢失，对特征提取的影响较大。2016年Chen等人提出了利用深度和惯性传感器融合的实时人体动作识别系统，该系统利用了两种不同模式的传感器的数据：视觉深度和惯性。将这两种不同的模式传感器的特征通过一个基于决策的融合方法进行实时融合。两种不同模式的传感器的特征融合过程比较复杂，而且对识别的效果影响较大，鲁棒性较差。
技术实现思路
本专利技术的目的是提供一种基于三维人体骨架的人体基本动作实时识别方法，能够通过Kinect实时获取骨骼数据对人体基本动作的动作进行实时识别。本专利技术所采用的技术方案是，一种基于三维人体骨架的人体基本动作实时识别方法，具体按照下述方法进行：步骤1，确定Kinect的安置角度；步骤2，根据三维人体骨架定义人体基本动作，得到多个定义动作；步骤3，利用Kinect获取待识别人体动作，获取待识别人体动作的动作特征，将待识别人体动作与定义动作进行特征匹配，进行待识别人体动作的识别。本专利技术的特点还在于：步骤1中具体按照下述方法确定Kinect的安置角度：根据人体所在平面的法向量和Kinect镜头平面的法向量计算人体所在平面和Kinect镜头平面的夹角：当人体所在平面的法向量和Kinect镜头平面的法向量都指向人体所在平面的法向量和Kinect镜头平面之间或者是人体所在平面的法向量和Kinect镜头平面的法向量都指向人体所在平面的法向量和Kinect镜头平面之外，则人体所在平面的法向量和Kinect镜头平面的法向量计算人体所在平面和Kinect镜头平面的夹角为：其中，为人体所在平面的法向量，为Kinect镜头平面的法向量；当人体所在平面的法向量和Kinect镜头平面的法向量中，一个指向人体所在平面的法向量和Kinect镜头平面之间，另一个指向人体所在平面的法向量和Kinect镜头平面之外，则人体所在平面的法向量和Kinect镜头平面的法向量计算人体所在平面和Kinect镜头平面的夹角为：步骤2具体按照下述步骤进行：步骤2.1，使用Kinect对人体基本动作进行三维人体骨架追踪，得到人体深度视频和骨骼视频，将人体深度视频分解为多帧人体深度图像，骨骼视频分解为多帧骨骼图像；然后将相应的将人体深度图像和骨骼图像融合，得到多帧融合图像；步骤2.2，提取每帧融合图像中的骨骼特征，提取骨骼特征中的关节点位置特征、空间位置特征和关节角度特征，然后定义人体基本动作，得到多个定义动作。步骤2.1中先将每帧人体深度图像进行预处理，将每帧人体深度图像利用二值化思想进行处理，将人体深度图像中人体的颜色设定为黑色，将除人体外的颜色设定为白色后，再将预处理后的人体深度图像与相应的骨骼图像融合。步骤2.2中，具体按照下述方法提取每帧融合图像的空间位置特征：步骤2.2.1，提取每帧融合图像中的人体的左脚关节点F1、右脚关节点F2、左脚踝关节点F3、右脚踝关节点F4、左膝关节点F5、右膝关节点F6、左髋关节点F7、右髋关节点F8、髋中心关节点F0、脊柱关节点F9、右手关节点F10、左手关节点F11、右手腕关节点F12、左手腕关节点F13、左肘关节点F14、右肘关节点F15、右肩关节点F16、左肩关节点F19、颈关节点F18和头部关节点F19的空间位置，得到，以髋中心关节点为中心节点，得到初始空间位置特征计算公式：M＝Fn-F0(3)步骤2.2.2，分别计算每个关节点Fn的X轴坐标与髋中心关节点F0的X轴坐标的差值，每个关节点Fn的Y轴坐标与髋中心关节点F0的Y轴坐标的差值，每个关节点Fn的Z轴坐标与髋中心关节点F0的Z轴坐标的差值：其中，n＝1,2,3...,N，N＝19，为关节点Fn在第i帧融合图像中的X轴坐标，为髋关节中心点的X轴坐标；其中，为关节点Fn在第i帧融合图像中的Y轴坐标，为髋关节中心点的Y轴坐标；其中，为关节点Fn在第i帧融合图像中的Z轴坐标，为髋关节中心点的Z轴坐标；步骤2.2.3，分别计算每帧融合图像的X轴差值向量、Y轴差值向量和Z轴差值向量，并根据每帧融合图像的X轴差值向量、Y轴差值向量和Z轴差值向量得到每帧融合图像的初始空间位置特征：其中，为第i帧融合图像在X轴的差值向量，为第i帧融合图像在Y轴的差值向量，为第i帧融合图像在Z轴的差值向量，Mi为每帧融合图像的初始空间位置特征；步骤2.2.4，将每帧融合图像的特征向量均进行归一化处理，得到每帧融合图像的空间位置特征M'i：其中，(x0,y0,z0)为髋中心关节点的坐标，(xi,yi,zi)为其他关节点中任一关节点的坐标。步骤2.2中具体按照下述方法提取每帧融合图像中的所有关节角度特征：步骤a，得到组成每个关节角度的第一关节向量和第二关节向量：根据组成第一关节向量的两个关节点的坐标得到第一关节向量；根据组成第二关节向量的两个关节点的坐标得到第一关节向量；步骤b，根据第一关节向量和第二关节向量得到第一关节向量和第二关节向量的关节角度。步骤2.2中具体按照下述方法定义人体基本动作：①抬左手/抬右手右手关节点F10的Y轴坐标大于髋中心关节点F0的Y轴坐标即为抬右手动作；左手关节点F11的Y轴坐标大于髋中心关节点F0的Y轴坐标即为抬左手动作；②原地踏步分别计算左膝关节点F5、右膝关节点F6在多帧融合图像中Y轴方向上的累积距离：其中,yL为左膝关节点F5在多帧融合图像中Y轴方向上的累积距离，yR为右膝关节点F6在多帧融合图像中Y轴方向上的累积距离，yiL表示第i帧融合图像中左膝关节点F5的Y轴坐标，yiR第i帧融合图像中右膝关节点F本文档来自技高网...

【技术保护点】
1.一种基于三维人体骨架的人体基本动作实时识别方法，其特征在于，具体按照下述方法进行：步骤1，确定Kinect的安置角度；步骤2，根据三维人体骨架定义人体基本动作，得到多个定义动作；步骤3，利用Kinect获取待识别人体动作，获取待识别人体动作的动作特征，将待识别人体动作与定义动作进行特征匹配，进行待识别人体动作的识别。

【技术特征摘要】
1.一种基于三维人体骨架的人体基本动作实时识别方法，其特征在于，具体按照下述方法进行：步骤1，确定Kinect的安置角度；步骤2，根据三维人体骨架定义人体基本动作，得到多个定义动作；步骤3，利用Kinect获取待识别人体动作，获取待识别人体动作的动作特征，将待识别人体动作与定义动作进行特征匹配，进行待识别人体动作的识别。2.根据权利要求1所述的一种基于三维人体骨架的人体基本动作实时识别方法，其特征在于，所述步骤1中具体按照下述方法确定Kinect的安置角度：根据人体所在平面的法向量和Kinect镜头平面的法向量计算人体所在平面和Kinect镜头平面的夹角：当人体所在平面的法向量和Kinect镜头平面的法向量都指向人体所在平面的法向量和Kinect镜头平面之间或者是人体所在平面的法向量和Kinect镜头平面的法向量都指向人体所在平面的法向量和Kinect镜头平面之外，则人体所在平面的法向量和Kinect镜头平面的法向量计算人体所在平面和Kinect镜头平面的夹角为：其中，为人体所在平面的法向量，为Kinect镜头平面的法向量；当人体所在平面的法向量和Kinect镜头平面的法向量中，一个指向人体所在平面的法向量和Kinect镜头平面之间，另一个指向人体所在平面的法向量和Kinect镜头平面之外，则人体所在平面的法向量和Kinect镜头平面的法向量计算人体所在平面和Kinect镜头平面的夹角为：3.根据权利要求1所述的一种基于三维人体骨架的人体基本动作实时识别方法，其特征在于，所述步骤2具体按照下述步骤进行：步骤2.1，使用Kinect对人体基本动作进行三维人体骨架追踪，得到人体深度视频和骨骼视频，将所述人体深度视频分解为多帧人体深度图像，所述骨骼视频分解为多帧骨骼图像；然后将相应的将人体深度图像和骨骼图像融合，得到多帧融合图像；步骤2.2，提取每帧所述融合图像中的骨骼特征，提取骨骼特征中的关节点位置特征、空间位置特征和关节角度特征，然后定义人体基本动作，得到多个定义动作。4.根据权利要求3所述的一一种基于三维人体骨架的人体基本动作实时识别方法，其特征在于，所述步骤2.1中先将每帧人体深度图像进行预处理，将每帧人体深度图像利用二值化思想进行处理，将人体深度图像中人体的颜色设定为黑色，将除人体外的颜色设定为白色后，再将预处理后的人体深度图像与相应的骨骼图像融合。5.根据权利要求3所述的一种基于三维人体骨架的人体基本动作实时识别方法，其特征在于，所述步骤2.2中，具体按照下述方法提取每帧融合图像的空间位置特征：步骤2.2.1，提取每帧融合图像中的人体的左脚关节点F1、右脚关节点F2、左脚踝关节点F3、右脚踝关节点F4、左膝关节点F5、右膝关节点F6、左髋关节点F7、右髋关节点F8、髋中心关节点F0、脊柱关节点F9、右手关节点F10、左手关节点F11、右手腕关节点F12、左手腕关节点F13、左肘关节点F14、右肘关节点F15、右肩关节点F16、左肩关节点F19、颈关节点F18和头部关节点F19的空间位置，得到，以髋中心关节点为中心节点，得到初始空间位置特征计算公式：M＝Fn-F0(3)步骤2.2.2，分别计算每个关节点Fn的X轴坐标与髋中心关节点F0的X轴坐标的差值，每个关节点Fn的Y轴坐标与髋中心关节点F0的Y轴坐标的差值，每个关节点Fn的Z轴坐标与髋中心关节点F0的Z轴坐标的差值：其中，n＝1,2,3...,N，N＝19，为关节点Fn在第i帧融合图像中的X轴坐标，为髋关节中心点的X轴坐标；其中，为关节点Fn在第i帧融合图像中的Y轴坐标，为髋关节中心点的Y轴坐标；其中，为关节点Fn在第i帧融合图像中的Z轴坐标，为髋关节中心点的Z轴坐标；步骤2.2.3，分别计算每帧融合图像的X轴差值向量、Y轴差值向量和Z轴差值向量，并根据每帧融合图像的X轴差值向量、Y轴差值向量和Z轴差值向量得到每帧融合图像的初始空间位置特征：其中，为第i帧融合图像在X轴的差值向量，为第i帧融合图像在Y轴的差值向量，为第i帧融合图像在Z轴的差值向量，Mi为每帧融合图像的初始空间位置特征；步骤2.2.4，将每帧融合图像的特征向量均进行归一化处理，得到每帧融合图像的空间位置特征M'i：其中，(x0,y0,z0)为髋中心关节点的坐标，(xi,yi,zi)为其他关节点中任一关节点的坐标。6.根据权利要求3所述的一种基于三维人体骨架的人体基本动作实时识别方法，其特征在于，所述步骤2.2中具体按照下述方法提取每帧融合图像中的所有关节角度特征：步骤a，得到组成每个关节角度的第一关节向量和第二关节向量：根据组成第一关节向量...

【专利技术属性】
技术研发人员：王映辉，李天阳，李建明，宁小娟，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西,61