基于多特征深度运动图的人体行为识别方法技术

本发明专利技术公开了一种基于多特征深度运动图的人体行为识别方法，具体实现步骤为：(1)将深度视频的所有帧投影到前、侧、顶三个正交平面；(2)在每个平面堆叠两个连续投影帧的绝对像素差形成深度运动图(DMM{v＝f,s,t})，然后分别提取LBP特征、GIST特征、HOG特征，对应三个方向形成特征描述子；(3)采用相对熵主成分分析法对三种不同的特征描述子进行特征融合和降维；(4)计算各类行为训练样本融合和降维后的特征在l1范数和l2范数下的稀疏重构误差，利用熵权法自适应加权融合两种重构误差，设计一种基于误差融合的分类器用于行为识别。本发明专利技术能提高人体行为识别的准确率。

Human behavior recognition method based on multi feature deep motion graph

The invention discloses a human behavior recognition method based on multi feature depth motion graph. The specific implementation steps are as follows: (1) projection all frames of depth video to three orthogonal planes of the front, side and top; (2) form a depth motion graph (DMM{v = f, s, t}) at each plane stacking the absolute pixel difference of a continuous projection frame (s, t}), and then respectively, LBP features, GIST features and HOG features are extracted, and feature descriptors are formed in three directions. (3) the feature fusion and dimensionality reduction of three different feature descriptors are carried out by relative entropy principal component analysis. (4) calculation of sparse reconstruction errors of the characteristics of various behavior training samples and dimensionality reduction under the L1 norm and L2 norm. Entropy weight method adaptively weighted two kinds of reconstruction errors, and designed a classifier based on error fusion for behavior recognition. The invention can improve the accuracy of human behavior recognition.

【技术实现步骤摘要】
基于多特征深度运动图的人体行为识别方法
本专利技术属于人工智能、模式识别领域，具体涉及基于多特征深度运动图的人体行为识别。
技术介绍
人类行为识别已广泛应用于异常行为分析、智能监控、家庭安全。在过去的几十年中，人类行为识别一直是一个活跃的研究领域，研究主要集中在RGB视频图像序列。如：因为时空兴趣点具有丰富的运动信息的特性，在三维时空空间，Harris探测器用来检测在时空三维空间的兴趣点，使用兴趣点描述动作并识别行为；通过追踪每帧采样点的光流信息形成的稠密轨迹特征已广泛应用于人体行为识别。然而基于RGB图像的方法对光照、拍摄角度、背景和遮挡敏感，不利于行为识别。近年来，随着低成本传感器的发布，基于深度图的动作识别已经取得了一些进展。与RGB视频图像相比，深度图像的像素值代表深度距离的大小，是一种距离成像图像。所以，深度图像可以更好地保持稳定性，不受光线和环境变化的影响。深度图像可以描述场景的三维信息，避免了传统图像中的线性透视问题。现有的人体行为识别方法包括一些基于深度图人体轮廓或人体剪影的算法。然而，这些方法只考虑到全局特征未能考虑到细节，得到的运动信息和外形信息不够充分，导致得到的识别精度不高。ChenC等人[ChenC,LiuK,KehtarnavazN.Real-timehumanactionrecognitionbasedondepthmotionmaps[J].Journalofreal-timeimageprocessing,2016,12(1):155-163.]通过堆叠连续两帧之间的绝对差，形成深度运动图(DMMv)，以识别人体行为。该方法在一定程度上考虑到了视频的时序性。但是该方法直接融合三个投影方向的深度运动图，只利用了全局特征；融合方式选择直接串联方式导致融合后的特征过冗余，增大了计算量；在后期分类时利用单一系数重构误差容易造成相似行为错分。综上所述，现有方案的局限性如下：a.基于RGB图像的方法对光照、拍摄角度、背景和遮挡敏感；b.基于深度运动图，通过直接串联方法融合三个投影方向的深度运动图生成的融合特征不仅高度冗余，而且局部细节特征描述能力弱；c.只考虑了单一稀疏重构误差用于测试样本分类容易造成相似行为(如跑和步行)的错误识别。因此，有必要提供一种，能不受光照、角度、背景以及遮挡因素的影响，能同时描述人体局部和全局特征并且提高计算效率，降低特征冗余度，同时提高人体行为识别准确率的人体行为识别方法。
技术实现思路
为了解决现有技术的缺陷，本专利技术公开了一种基于多特征深度运动图的人体行为识别方法。与传统人体行为识别方法相比，本专利技术通过对人体运动进行更为详细描述、根据特征贡献率进行特征融合、利用两种稀疏重构误差设计分类器，取得了更高的行为识别率。本专利技术所采用的技术方案为：一种基于多特征深度运动图的人体行为识别方法，包括训练阶段和人体行为识别阶段；所述分类器训练阶段为：首先对训练样本数据集中的每一个训练样本，即每一个深度视频分别进行运动描述和特征提取；然后对提取出的所有训练样本的特征进行特征融合和降维；再基于所有训练样本融合和降维后的特征，求解各类行为的字典和对应的稀疏向量；最后分别计算各类行为的训练样本融合和降维后的特征在l1范数和l2范数下的稀疏重构误差，利用熵权法自适应加权融合两类稀疏重构误差，设计基于误差融合的分类器；所述人体行为识别阶段为：首先对待分类的深度视频进行运动描述和特征提取，然后对其提取出的特征进行特征融合和降维，再将待分类的深度视频融合和降维后的特征输入训练过程得到的分类器，求解待分类的深度视频所属行为分类。进一步地，所述运动描述为：将深度视频的每一帧图像投影到三个正交平面，在每个投影平面内堆叠连续两帧图像之间的绝对差形成深度运动图DMMv，其中v表示投影方向，v＝{f，s，t}，f，s，t分别表示前向、侧向和顶部，对应的DMMf、DMMs和DMMt分别表示前向投影深度图、侧向投影深度图和顶部投影深度图；如每个深度帧的大小为240×320，对应投影图大小分别为240×320、240×P和P×320，其中P为深度平面内最大像素值。进一步地，深度运动图DMMv的形成方法为：累积深度视频三个投影方向相邻帧投影的绝对差，形成DMMv；其中，N为深度视频的总帧数，i为深度视频的图像帧序号，为第i帧图像对应的v三个方向的投影。进一步地，所述特征提取为：对DMMf、DMMs和DMMt分别提取LBP特征(局部二值模式特征)、GIST特征和HOG特征(方向梯度直方图特征)，分别对应形成三种特征描述子(特征描述向量)DMMf-LBP、DMMs-GIST和DMMt-HOG，然后对它们进行归一化处理。进一步地，三种不同特征描述子的形成及其归一化过程具体采用如下步骤：S21：为降低计算复杂度以及提高识别准确率，提取DMMf、DMMs和DMMt的非零区域，即对三个方向的投影深度图进行前景提取；S22：对前向投影深度图DMMf用等价模式LBP特征描述形成DMMf-LBP特征描述子，对侧向投影深度图DMMs用GIST特征描述形成DMMs-GIST特征描述子，对顶部投影深度图DMMt用HOG特征描述形成DMMt-HOG特征描述子；S23：对三种特征描述子进行归一化处理，归一化处理的方法为；其中，X为归一化处理前的特征描述子，X为特征描述子X归一化处理后的结果，max(X)和min(X)分别为特征描述子X中的最大、最小元素值(最大、最小特征值)，归一化处理的过程就是：在得到该类特征描述子中的最大、最小元素值后，先将该类特征描述子中的每个元素值与该类特征描述子中的最小元素值的做差，再将所得差值与该类特征描述子中的最大、最小元素值的差值做商。进一步地，所述训练阶段，特征融合和降维的方法为：采用相对熵主成分分析法(REPCA)对训练样本的三种特征描述子进行融合并降维，具体步骤为：S31：计算多特征的协方差矩阵C，协方差矩阵在一定程度上反映了多特征之间的关系；其中，T表示m个训练样本的三种特征描述子归一化处理后的结果组成的联合矩阵，T(i，j)为其第i行第j列的元素值，n表示三种特征描述子的维数和，E(T(j))关关表示矩阵T的第j列的均值，m表示训练样本数据集中的训练样本个数；对协方差矩阵进行分解，计算得到协方差矩阵的特征值和对应的特征向量：λiui＝Cui(4)其中，λi是协方差矩阵C的第i个特征值，ui是特征值λi对应的特征向量，i＝1，2，...，m；根据特征值计算各特征值的贡献率；其中，qi为第i个特征值的贡献率，i＝1，2，...，m；S32：基于特征值的贡献率计算特征值的相对熵；Di＝-qilog2qi(6)其中，Di第i个特征值的相对熵，i＝1，2，...，m；S33：根据特征值的相对熵计算权值矩阵，权值矩阵与联合矩阵T运算得到融合特征矩阵F；Rm×m＝diag[r1，r2，...，rm](8)F＝TR(9)其中，Rm×m为权值矩阵；S34：对融合特征矩阵F采用PCA方法(主成分分析法)进行降维，得到F'，F'中的每一列表示一个训练样本的三种描述子融合并降维后的特征向量。进一步地，所述人体行为识别阶段，特征融合和降维的方法为：首先将对待分类的深度视频的三种特征描述子归一化处理后的结果本文档来自技高网...

【技术保护点】
1.一种基于多特征深度运动图的人体行为识别方法，其特征在于，包括训练阶段和人体行为识别阶段；所述分类器训练阶段为：首先对训练样本数据集中的每一个训练样本，即每一个深度视频分别进行运动描述和特征提取；然后对提取出的所有训练样本的特征进行特征融合和降维；再基于所有训练样本融合和降维后的特征，求解各类行为的字典和对应的稀疏向量；最后分别计算各类行为的训练样本融合和降维后的特征在l1范数和l2范数下的稀疏重构误差，利用熵权法自适应加权融合两类稀疏重构误差，设计基于误差融合的分类器；所述人体行为识别阶段为：首先对待分类的深度视频进行运动描述和特征提取，然后对其提取出的特征进行特征融合和降维，再将待分类的深度视频融合和降维后的特征输入训练过程得到的分类器，求解待分类的深度视频所属行为分类。

【技术特征摘要】
1.一种基于多特征深度运动图的人体行为识别方法，其特征在于，包括训练阶段和人体行为识别阶段；所述分类器训练阶段为：首先对训练样本数据集中的每一个训练样本，即每一个深度视频分别进行运动描述和特征提取；然后对提取出的所有训练样本的特征进行特征融合和降维；再基于所有训练样本融合和降维后的特征，求解各类行为的字典和对应的稀疏向量；最后分别计算各类行为的训练样本融合和降维后的特征在l1范数和l2范数下的稀疏重构误差，利用熵权法自适应加权融合两类稀疏重构误差，设计基于误差融合的分类器；所述人体行为识别阶段为：首先对待分类的深度视频进行运动描述和特征提取，然后对其提取出的特征进行特征融合和降维，再将待分类的深度视频融合和降维后的特征输入训练过程得到的分类器，求解待分类的深度视频所属行为分类。2.根据权利要求1所述的基于多特征深度运动图的人体行为识别方法，其特征在于，所述运动描述为：将深度视频的每一帧图像投影到三个正交平面，在每个投影平面内堆叠连续两帧图像之间的绝对差形成深度运动图DMMv，其中v表示投影方向，v＝{f，s，t}，f，s，t分别表示前向、侧向和顶部，对应的DMMf、DMMs和DMMt分别表示前向投影深度图、侧向投影深度图和顶部投影深度图。3.根据权利要求2所述的基于多特征深度运动图的人体行为识别方法，其特征在于，深度运动图DMMv的形成方法为：累积深度视频三个投影方向相邻帧投影的绝对差，形成DMMv；其中，N为深度视频的总帧数，i为深度视频的图像帧序号，为第i帧图像对应的v三个方向的投影。4.根据权利要求3所述的基于多特征深度运动图的人体行为识别方法，其特征在于，所述特征提取为：对DMMf、DMMs和DMMt分别提取LBP特征、GIST特征和HOG特征，分别对应形成三种特征描述子DMMf-LBP、DMMs-GIST和DMMt-HOG，然后对它们进行归一化处理。5.根据权利要求4所述的基于多特征深度运动图的人体行为识别方法，其特征在于，三种不同特征描述子的形成及其归一化过程具体采用如下步骤：S21：提取DMMf、DMMs和DMMt的非零区域，即对三个方向的投影深度图进行前景提取；S22：对前向投影深度图DMMf用等价模式LBP特征描述形成DMMf-LBP特征描述子，对侧向投影深度图DMMs用GIST特征描述形成DMMs-GIST特征描述子，对顶部投影深度图DMMt用HOG特征描述形成DMMt-HOG特征描述子；S23：对三种特征描述子进行归一化处理，归一化处理的方法为；其中，X为归一化处理前的特征描述子，X为特征描述子X归一化处理后的结果，max(X)和min(X)分别为特征描述子X中的最大、最小元素值。6.根据权利要求5所述的基于多特征深度运动图的人体行为识别方法，其特征在于，所述训练阶段，特征融合和降维的方法为：采用相对熵主成分分析法对训练样本的三种特征描述子进行融合并降维，具体步骤为：S31：计算多特征的协方差矩阵C，协方差矩阵在一定程度上反映了多特征之间的关系；其中，T表示m个训练样本的三种特征描述子归一化处理后的结果组成的联合矩阵，T(i，j)为其第i行第j列的元素值，n表示三种特征描述子的维数...

【专利技术属性】
技术研发人员：王冬丽，欧芳，周彦，
申请(专利权)人：湘潭大学，
类型：发明
国别省市：湖南,43