基于深度图像和骨骼信息的动作识别方法技术

一种基于深度图像与骨骼信息的人体动作识别方法。其包括采集人体动作视频，从中提取深度图像和骨骼动作帧序列；从深度图像中提取出全局点云特征向量；从骨骼动作帧序列中生成骨骼点特征向量；将全局点云特征向量和骨骼点特征向量输入两个SVM分类器中进行训练，得到两个动作分类模型；利用两个动作分类模型对待识别人体动作样本的类别进行识别等步骤。本发明专利技术提供的基于深度图像与骨骼信息的人体动作识别方法基于深度图像生成运动历史点云，提取运动历史点云的全局特征，同时融合骨骼点特征，结合两种特征，提高了动作识别的鲁棒性。

Motion Recognition Method Based on Depth Image and Bone Information

【技术实现步骤摘要】
基于深度图像和骨骼信息的动作识别方法
本专利技术属于计算机视觉和模式识别
，具体涉及一种基于深度图像与骨骼信息的人体动作识别方法。
技术介绍
随着计算机技术的快速发展，对于动作识别的需要越来越迫切，在诸如：智能视频监控、病人监护系统、人机交互、虚拟现实、智能家居，游戏体感等领域将有着越来越重要的应用。在动作识别早期阶段，大量使用传统的RGB视频序列进行动作识别，但这种方式对各种因素极为敏感，例如：光照变化，视点变化，遮挡和背景因素，使得行为识别仍然面临着挑战。随着技术的进步，近年来出现了配有深度传感器的深度摄像机，例如微软的kinect深度摄像机和华硕公司的Xtiont深度摄像机。这种深度摄像机既能获取传统RGB图像，并且可以同时获取高质量的深度图像和骨骼信息。与传统相机相比，深度相机具有对周围因素影响不敏感等一系列优点，因此利用深度摄像机进行人体动作识别也逐渐成为研究的热点。利用深度相机识别人体动作主要分为两大类：(1)利用深度图像实现动作识别。Yang等提出将深度图像序列投影到笛卡儿积平面上获得3个方向上的深度运动图(depthmotionmap,DMM)，对深度运动图提取本文档来自技高网...

【技术保护点】
1.一种基于骨骼信息和深度图像的动作识别方法，其特征在于：所述的基于骨骼信息和深度图像的动作识别方法包括按顺序进行的下列步骤：1)利用深度摄像机采集人体动作视频，然后从每一个人的人体动作视频中分别提取出多帧深度图像和骨骼动作帧序列而作为一个人体动作样本，由所有人的人体动作样本构成训练样本；2)对上述训练样本中的每一帧深度图像进行预处理以去除背景干扰，然后由预处理后的多帧深度图像生成运动历史点云，之后对运动历史点云进行降采样，以减少点云数量和提高识别速度，然后从降采样后的运动历史点云中提取出全局点云特征向量ν；3)对步骤1)得到的骨骼动作帧序列进行预处理，去除其中的冗余帧，然后分别提取每一骨骼动...

【技术特征摘要】
1.一种基于骨骼信息和深度图像的动作识别方法，其特征在于：所述的基于骨骼信息和深度图像的动作识别方法包括按顺序进行的下列步骤：1)利用深度摄像机采集人体动作视频，然后从每一个人的人体动作视频中分别提取出多帧深度图像和骨骼动作帧序列而作为一个人体动作样本，由所有人的人体动作样本构成训练样本；2)对上述训练样本中的每一帧深度图像进行预处理以去除背景干扰，然后由预处理后的多帧深度图像生成运动历史点云，之后对运动历史点云进行降采样，以减少点云数量和提高识别速度，然后从降采样后的运动历史点云中提取出全局点云特征向量ν；3)对步骤1)得到的骨骼动作帧序列进行预处理，去除其中的冗余帧，然后分别提取每一骨骼动作帧的相对位移、相对位置和相对角度特征，得到特征集合，利用局部聚合向量描述子算法生成骨骼点特征向量F；4)将按上述步骤1)至3)得到的大量训练样本的全局点云特征向量ν和骨骼点特征向量F分别输入到两个SVM分类器中进行训练，得到所需要的两个动作分类模型；5)利用上述两个动作分类模型对待识别人体动作样本的类别进行识别。2.根据权利要求1所述的基于骨骼信息和深度图像的动作识别方法，其特征在于：在步骤2)中，所述的对上述训练样本中的每一帧深度图像进行预处理以去除背景干扰，然后由预处理后的多帧深度图像生成运动历史点云，之后对运动历史点云进行降采样，以减少点云数量和提高识别速度，然后从降采样后的运动历史点云中提取出全局点云特征向量ν的方法是：(1)对深度图像进行预处理；依据深度值的大小从深度图像中获取人体动作区域，由此将人体动作区域和背景区域分离开；然后应用背景差分法检测人体运动区域中的人体，公式如下：其中，D(x,y)为深度图像中某个像素点与深度摄像机间的距离；D'(x,y)为深度图像中当前像素点与深度摄像机间的距离；σth为预先设定的距离阈值；Dbk(x,y)为某个像素点背景的距离；(2)将每一帧预处理后的深度图像进行坐标转换，生成运动历史点云；将每一帧预处理后的深度图像从二维坐标系转换到三维相机坐标系下，得到人体的实际三维坐标数据，然后将三维相机坐标系下三维点的X、Y、Z值赋给点云三维点的X、Y、Z值，以点云的存储格式表示三维坐标数据，得到三维人体运动历史体；运动历史点云是由每一帧深度图像得到的三维人体运动历史体填充而生成；运动历史点云是将一个动作序列压缩成一个包含空间信息与时间信息的点的集合，公式为MHPC＝{P1,P2,...,Pn}，其中n表示MHPC中点的个数；点云中任一点的坐标定义为Pi(x,y,z,h),i∈(1,n)，其中Pi.x,Pi.y,Pi.z是指在三维相机坐标系下点的x,y,z坐标值，用来记录人体动作的发生位置；Pi.h为深度图像的帧号，用来记录该点的发生时间；(3)对生成的运动历史点云进行降采样；(4)从降采样后的运动历史点云中提取出全局点云特征向量；具体方法如下：(4.1)计算运动历史点云中每一个点的法线；运动历史点云中每一个点pi对应一个协方差矩阵C，公式如下：其中，k表示点pi邻近点的数目，表示最近邻近点的三维质心，λj表示协方差矩阵的第j个特征值，表示第j个特征向量，vp表示视点方向向量；通过上式得到运动历史点云中每一个点pi的法线(4.2)利用上述法线计算降采样后的运动历史点云的中心点与任意一点之间的三个角度，得到三组n维向量；通过下列公式可以计算出该运动历史点云的中心点与任意一点之间的三个角度α，φ，θ：其中，和为运动历史点云中两个点的坐标，和分别为点和点对应的法线，ν,u,w为定义的三个坐标轴方向向量，n为运动历史点云中点的数量；通过计算运动历史点云的中心点与每一点之间的三个角度α，φ，θ，可以得到三组{α1,α2,α3…αn}，{β1,β2,β3…βn}，{θ1,θ2,θ3…θn}n维向量；(4.3)连接每组n维向量；通过转换矩阵可将每组n维向量降维成一个50维向量，然后将三组50维向量连接起来，最后得到一个150维的全局点云特征向量ν，作为一个人体动作样本的点云特征；其中：为计算得到的三组n维向量；为转换矩阵；为降维后得到的的全局点云特征向量；则连接后的[α1,α2,α3…α50,β1,β2,β3…β50,θ1,θ2,θ3…θ50]为连接后的全局点云特征向量。3.根据权利要求1所述的基于骨骼信息和深度图像的动作识别方法，其特征在于：在步骤3)中，所述的对步骤1)得到的骨骼动作帧序列进行预处理，去除其中的冗余帧，然后分别提取每一骨骼动作帧的相对位移、相对位置和相对角度特征，得到特征集合，利用局部聚合向量描述子算法生成骨骼点特征向量F的方法是：骨...

【专利技术属性】
技术研发人员：张良，郭守向，其他发明人请求不公开姓名，
申请(专利权)人：中国民航大学，
类型：发明
国别省市：天津,12