基于运动历史点云生成的时空分布图的人体行为识别方法技术

一种基于运动历史点云生成的时空分布图的人体行为识别方法。其包括生成MHPC；生成STDM；提取颜色矩特征向量；提取LBP特征向量；训练和测试KELM分类器，最后将输出结果采用决策层融合后得到人体动作类型标签等步骤。本发明专利技术能够获得人体动作不同视角下的信息，增加了对动作角度变化的鲁棒性。用时空分布图来表示人体动作要比深度图像更加全面，提取的特征也更加有区别力；提取的颜色矩特征和LBP特征能够有效地表征人体动作类别，解决了利用点云提取特征复杂的问题。利用决策层融合进行分类，能够避免特征层融合不兼容和高维度的缺点。

Human behavior recognition method based on spatiotemporal distribution of motion history point clouds

A human behavior recognition method based on spatiotemporal distribution of motion history point clouds is presented. It includes generating MHPC, generating STDM, extracting color moment eigenvector, extracting LBP eigenvector, training and testing KELM classifier, and finally using decision level fusion to get human action type label. The invention can obtain information from different viewpoints of human motion, and increases the robustness to the change of motion angle. The space-time distribution map is more comprehensive than the depth image, and the extracted features are more discriminative. The extracted color moments and LBP features can effectively represent the types of human movements and solve the problem of complex feature extraction from point clouds. Using decision level fusion to classify, it can avoid incompatibility and high dimension of feature layer fusion.

【技术实现步骤摘要】
基于运动历史点云生成的时空分布图的人体行为识别方法
本专利技术属于计算机视觉和图像处理
，具体涉及一种基于运动历史点云(MotionHistoryPointCloud，MHPC)生成的时空分布图(Spatio-temporalDistributionMap，STDM)的人体行为识别方法。
技术介绍
人体行为识别在智能视频监控、视频内容检索、人体运动分析、辅助医疗等领域有着广泛的应用，国内外的专家学者对此进行了大量的研究。最初行为识别的方法大多是基于传统的RGB信息，产生了人体关键姿态、剪影、时空特征等方法。但是由于RGB信息易受光照、相机角度、背景变化等因素的影响，使得行为识别仍然面临着挑战。近些年来随着深度传感器的发展，使得深度图像获取技术得到普及。相比于彩色图像，深度图像仅与物体的空间位置有关，能够直接反映物体表面的三维特征，并且不易受光照变化、颜色和纹理的影响。利用深度图像的人体行为识别方法大致包括，将深度图像进行投影生成深度运动图像(Depthmotionmap,DMM)的方法、将深度图像映射为点云数据后提取特征的方法。将一个深度图像序列中的每一帧深度图像投影到三个正交的笛卡尔坐标平面上，可相应地得到前视图mapf，侧视图maps，俯视图mapt。将上述得到的三个投影视图序列的相邻帧进行差分运算，然后取绝对值累加，可得到深度运动图像(DMM)。虽然DMM计算简单，但是只包含三个视觉下的动作信息，不能方便地获得其他视角下的动作信息。动作的空间和时间信息对动作识别有重要的影响，但是DMM捕获的只是运动过程中动作的空间能量分布，缺少动作的时间能量分布。将深度图像映射为点云数据进行人体行为识别的方法，由于得到的点云数据量庞大，会给提取点云特征带来极大的困难。
技术实现思路
为了解决上述问题，本专利技术的目的在于提供一种基于运动历史点云生成的时空分布图的人体行为识别方法。为了达到上述目的，本专利技术提供的基于运动历史点云生成的时空分布图的人体行为识别方法包括按顺序进行的下列步骤：(1)将每个人体动作样本中已经提取前景的多帧深度图像通过坐标映射得到每帧深度图像的点云，然后将其填充到MHPC中，直到遍历完所有帧的深度图像得到该动作的MHPC，以记录动作发生的空间与时间信息；(2)将MHPC直接投影到三个正交的笛卡尔坐标平面，分别是XOY平面、YOZ平面和XOZ平面，生成三个STDM，然后将MHPC左右旋转θ度至少一次并投影到笛卡尔坐标系的XOY平面，生成至少两个STDM；(3)从上述人体动作样本的所有STDM中提取出颜色矩特征向量，并进行串联而组合成该人体动作样本的颜色矩特征向量，然后采用PCA技术进行降维；(4)从上述人体动作样本的所有STDM中提取出LBP特征向量，并进行串联而组合成该人体动作样本的LBP特征向量，然后采用PCA技术进行降维；(5)选取所有人体动作样本中的部分样本为训练样本，剩余样本为测试样本，将训练样本的颜色矩特征向量和LBP特征向量分别输入到两个KELM分类器中进行训练，将测试样本得到的上述两种特征向量分别输入到上述两个已训练好的KELM分类器中进行测试，最后将输出结果采用决策层融合后得到人体动作类型标签。在步骤(1)中，所述的将每个人体动作样本中已经提取前景的多帧深度图像通过坐标映射得到每帧深度图像的点云，然后将其填充到MHPC中，直到遍历完所有帧的深度图像得到该动作的MHPC的方法是：将一个人体动作序列作为一个人体动作样本，每个人体动作样本中包含N帧深度图像，将该人体动作样本中已经提取前景的深度图像从图像坐标系映射到相机坐标系得到各自的点云，运动历史点云是由每帧深度图像得到的点云填充而生成。在步骤(2)中，所述的将MHPC直接投影到三个正交的笛卡尔坐标平面，分别是XOY平面、YOZ平面和XOZ平面，生成三个STDM，然后将MHPC左右旋转θ度至少一次并投影到笛卡尔坐标系的XOY平面，生成至少两个STDM的方法是：在生成STDM的过程中需将x,y,z坐标值进行归一化后作为STDM的坐标值；首先将MHPC投影到笛卡尔坐标XOY平面上，根据投影后同一坐标下重叠点的分布情况，生成RGB图像STDM，其R通道是在当前坐标系下z坐标值不同点的个数，G通道是相邻点的z坐标值进行差分运算并取绝对值叠加，B通道是相邻点的帧号进行差分运算并取绝对值叠加；将MHPC投影到YOZ平面和XOZ平面上生成STDM的过程类似，只需将上述z坐标值相应地变成x坐标值和y坐标值即可,由此依次得到STDMf、STDMs、STDMt；然后利用旋转公式将MHPC绕Y轴左右旋转θ度至少一次并投影到笛卡尔坐标系的XOY平面，生成至少两个STDM。在步骤(3)中，所述的从上述人体动作样本的所有STDM中提取出颜色矩特征向量，并进行串联而组合成该人体动作样本的颜色矩特征向量，然后采用PCA技术进行降维的方法是：先将STDM分成若干网格，然后计算每一个网格的9维直方图向量，然后将所有网格的9维直方图向量串联起来构成该STDM的颜色矩特征向量，最后将每个STDM的颜色矩特征向量进行串联作为该动作样本的颜色矩特征向量；采用PCA进行降维时保存80％-95％的主成分分量。在步骤(4)中，所述的从上述人体动作样本的所有STDM中提取出LBP特征向量，并进行串联而组合成该人体动作样本的LBP特征向量，然后采用PCA技术进行降维的方法是：提取时先设置检测窗口的大小为a×a，然后计算每个检测窗口中像素点的LBP特征值，得到该检测窗口的LBP直方图，并对直方图进行归一化，之后将所有检测窗口中的直方图特征串联起来，得到该STDM的LBP特征向量，最后将每个STDM的LBP特征向量进行串联作为人体动作样本的LBP特征向量；采用PCA进行降维时保存80％-95％的主成分分量。在步骤(5)中，所述的选取所有人体动作样本中的部分样本为训练样本，剩余样本为测试样本，将训练样本的颜色矩特征向量和LBP特征向量分别输入到两个KELM分类器中进行训练，将测试样本得到的上述两种特征向量分别输入到上述两个已训练好的KELM分类器中进行测试，最后将输出结果采用决策层融合后得到人体动作类型标签的方法是：将经过步骤(3)与步骤(4)得到的训练样本的颜色矩特征向量和LBP特征向量分别输入到两个KELM分类器中进行分别训练，然后将经过步骤(3)与步骤(4)得到的测试样本的颜色矩特征向量和LBP特征向量分别输入到上述已经训练好的两个KELM分类器中进行分类测试，两个KELM分类器的输出为概率矩阵，最后结合相应的KELM分类器的权重系数得到所需要的人体动作类别标签。本专利技术提供的基于运动历史点云生成的时空分布图的人体行为识别方法首先将深度图像生成运动历史点云，然后将旋转的和未旋转的运动历史点云投影到笛卡尔坐标系平面生成时空分布图，能够获得人体动作不同视角下的信息，增加了对动作角度变化的鲁棒性。另外，时空分布图不仅能够捕获动作的空间能量分布，而且还可捕获动作的时间能量分布以及动作的空间密度分布情况，用时空分布图来表示人体动作要比深度运动图像更加全面，提取的特征也更加有区别力。由运动历史点云投影后生成时空分布图，在生成时进行坐标归一化，增加了对类内差异的鲁棒性。由运动历史点云投影后生本文档来自技高网...

【技术保护点】
1.一种基于运动历史点云生成的时空分布图的人体行为识别方法，其特征在于：所述的方法包括按顺序进行的下列步骤：(1)将每个人体动作样本中已经提取前景的多帧深度图像通过坐标映射得到每帧深度图像的点云，然后将其填充到MHPC中，直到遍历完所有帧的深度图像得到该动作的MHPC，以记录动作发生的空间与时间信息；(2)将MHPC直接投影到三个正交的笛卡尔坐标平面，分别是XOY平面、YOZ平面和XOZ平面，生成三个STDM，然后将MHPC左右旋转θ度至少一次并投影到笛卡尔坐标系的XOY平面，生成至少两个STDM；(3)从上述人体动作样本的所有STDM中提取出颜色矩特征向量，并进行串联而组合成该人体动作样本的颜色矩特征向量，然后采用PCA技术进行降维；(4)从上述人体动作样本的所有STDM中提取出LBP特征向量，并进行串联而组合成该人体动作样本的LBP特征向量，然后采用PCA技术进行降维；(5)选取所有人体动作样本中的部分样本为训练样本，剩余样本为测试样本，将训练样本的颜色矩特征向量和LBP特征向量分别输入到两个KELM分类器中进行训练，将测试样本得到的上述两种特征向量分别输入到两个已训练好的KELM分类器中进行测试，最后将输出结果采用决策层融合后得到人体动作类型标签。...

【技术特征摘要】
1.一种基于运动历史点云生成的时空分布图的人体行为识别方法，其特征在于：所述的方法包括按顺序进行的下列步骤：(1)将每个人体动作样本中已经提取前景的多帧深度图像通过坐标映射得到每帧深度图像的点云，然后将其填充到MHPC中，直到遍历完所有帧的深度图像得到该动作的MHPC，以记录动作发生的空间与时间信息；(2)将MHPC直接投影到三个正交的笛卡尔坐标平面，分别是XOY平面、YOZ平面和XOZ平面，生成三个STDM，然后将MHPC左右旋转θ度至少一次并投影到笛卡尔坐标系的XOY平面，生成至少两个STDM；(3)从上述人体动作样本的所有STDM中提取出颜色矩特征向量，并进行串联而组合成该人体动作样本的颜色矩特征向量，然后采用PCA技术进行降维；(4)从上述人体动作样本的所有STDM中提取出LBP特征向量，并进行串联而组合成该人体动作样本的LBP特征向量，然后采用PCA技术进行降维；(5)选取所有人体动作样本中的部分样本为训练样本，剩余样本为测试样本，将训练样本的颜色矩特征向量和LBP特征向量分别输入到两个KELM分类器中进行训练，将测试样本得到的上述两种特征向量分别输入到两个已训练好的KELM分类器中进行测试，最后将输出结果采用决策层融合后得到人体动作类型标签。2.根据权利要求1所述的基于运动历史点云生成的时空分布图的人体行为识别方法，其特征在于：在步骤(1)中，所述的将每个人体动作样本中已经提取前景的多帧深度图像通过坐标映射得到每帧深度图像的点云，然后将其填充到MHPC中，直到遍历完所有帧的深度图像得到该动作的MHPC的方法是：将一个人体动作序列作为一个人体动作样本，每个人体动作样本中包含N帧深度图像，将该人体动作样本中已经提取前景的深度图像从图像坐标系映射到相机坐标系得到各自的点云，运动历史点云是由每帧深度图像得到的点云填充而生成。3.根据权利要求1所述的基于运动历史点云生成的时空分布图的人体行为识别方法，其特征在于：在步骤(2)中，所述的将MHPC直接投影到三个正交的笛卡尔坐标平面，分别是XOY平面、YOZ平面和XOZ平面，生成三个STDM，然后将MHPC左右旋转θ度至少一次并投影到笛卡尔坐标系的XOY平面，生成至少两个STDM的方法是：在生成STDM的过程中需将x,y,z坐标值进行归一化为某固定值后作为STDM的坐标值；首先将MHPC投影到笛卡尔坐标XOY平面上，根据投影后同一坐标下重叠点的分布情况，生成RGB图像STDM，其R通道是在当前坐标系下z坐标值不同点的个数，G通道是相邻点的z坐标值进行差分运算并取绝对值叠加，B通道是相...

【专利技术属性】
技术研发人员：张良，刘婷婷，
申请(专利权)人：中国民航大学，
类型：发明
国别省市：天津,12