一种基于时空分布图的人体行为识别方法技术

一种基于运动历史点云生成的时空分布图的人体行为识别方法。其包括生成MHPC；生成STDM；提取HOG特征向量；训练和测试KELM分类器，最后KELM分类器的输出即为人体动作分类结果等步骤。本发明专利技术能够获得人体动作不同视角下的信息，增加了对动作角度变化的鲁棒性。用时空分布图来表示人体动作要比深度运动图更加全面，提取的特征也更加有区别力；提取的HOG特征能够有效地表征人体动作类别，解决了利用点云提取特征复杂的问题。采用了基于高斯核函数的极限学习机，具有分类精度高，学习速度快的优点。

A human behavior recognition method based on spatiotemporal distribution map

A human behavior recognition method based on spatiotemporal distribution of motion history point clouds is presented. It includes generating MHPC, generating STDM, extracting HOG feature vectors, training and testing KELM classifier, and finally the output of KELM classifier is the result of human action classification. The invention can obtain information from different viewpoints of human motion, and increases the robustness to the change of motion angle. Using spatio-temporal distribution map to represent human action is more comprehensive than depth motion map, and the extracted features are more discriminative. The extracted HOG features can effectively represent the human action categories, and solve the problem of complex feature extraction using point cloud. The extreme learning machine based on Gaussian kernel function is adopted, which has the advantages of high classification accuracy and fast learning speed.

【技术实现步骤摘要】
一种基于时空分布图的人体行为识别方法
本专利技术属于计算机视觉和图像处理
，具体涉及一种基于时空分布图(STDM)的人体行为识别方法。
技术介绍
人体行为识别在智能视频监控、视频内容检索、人体运动分析、辅助医疗等领域有着广泛的应用，国内外的专家学者对此进行了大量的研究。最初行为识别的方法大多是基于传统的RGB信息，产生了人体关键姿态、剪影、时空特征等方法。但是由于RGB信息易受光照、相机角度、背景变化等因素的影响，使得行为识别仍然面临着挑战。近些年来随着深度传感器的发展，使得深度图像获取技术得到普及。相比于彩色图像，深度图像仅与物体的空间位置有关，能够直接反映物体表面的三维特征，并且不易受光照变化、颜色和纹理的影响。利用深度图像的人体行为识别方法大致包括，将深度图像进行投影生成深度运动图像(Depthmotionmap,DMM)的方法、将深度图像映射为点云数据后提取特征的方法。将一个深度图像序列中的每一帧深度图像投影到三个正交的笛卡尔坐标平面上，可相应地得到前视图mapf，侧视图maps，俯视图mapt。将上述得到的三个投影视图序列的相邻帧做差分运算，然后取绝对值累加，可得到深度运动图像(DMM)。DMM计算简单，但是只包含三个视角下的动作信息，因此不能方便地获得其他视角下的动作信息。动作的空间和时间信息对动作识别有重要的影响，但是DMM捕获的只是运动过程中动作的空间能量分布，缺少动作的时间能量分布。将深度图像映射为点云数据进行人体行为识别的方法，由于得到的点云数据量庞大，给提取点云特征带来极大的困难。中国专利第201610208016.0中公开了一种生成三维的运动历史体对动作进行表示的方法，该方法采用Harris3D对运动历史体进行特征点检测，利用三维梯度方向直方图来描述特征点得到特征描述子，然后对描述子进行聚类生成单词包，利用词频分布直方图来分类。这种方法虽然提取了点云的特征，但是算法过于繁琐，计算复杂度高。
技术实现思路
为了解决上述问题，本专利技术的目的在于提供一种基于时空分布图的人体行为识别方法。为了达到上述目的，本专利技术提供的时空分布图的人体行为识别方法包括按顺序进行的下列步骤：(1)将每个人体动作样本中已经提取前景的多帧深度图像通过坐标映射得到每帧深度图像的点云，然后将其填充到MHPC中，直到遍历完所有帧的深度图像得到该动作的MHPC，以记录动作发生的空间与时间信息；(2)将MHPC直接投影到三个正交的笛卡尔坐标平面，分别是XOY平面、YOZ平面和XOZ平面，生成三个STDM，然后将MHPC沿顺时针和逆时针方向绕X轴、Y轴和Z轴中的任一轴旋转θ度至少一次并投影到笛卡尔坐标系的XOY平面，每一次旋转后投影生成至少两个STDM；(3)从上述人体动作样本的所有STDM中提取出HOG特征向量，并进行串联而组合成该人体动作样本最终的HOG特征向量；(4)选取所有人体动作样本中的部分样本为训练样本，剩余样本为测试样本，将训练样本的HOG特征向量输入到KELM分类器中进行训练，然后将测试样本得到的HOG特征向量输入上述已训练好的KELM分类器中进行测试，得到分类结果。在步骤(1)中，所述的将每个人体动作样本中已经提取前景的多帧深度图像通过坐标映射得到每帧深度图像的点云，然后将其填充到MHPC中，直到遍历完所有帧的深度图像得到该动作的MHPC的方法是：将一个人体动作序列作为一个人体动作样本，每个人体动作样本中包含N帧深度图像，将该人体动作样本中已经提取前景的深度图像从图像坐标系映射到相机坐标系得到各自的点云，运动历史点云是由每帧深度图像得到的点云填充而生成。在步骤(2)中，所述的将MHPC直接投影到三个正交的笛卡尔坐标平面，分别是XOY平面、YOZ平面和XOZ平面，生成三个STDM，然后将MHPC沿顺时针和逆时针方向绕X轴、Y轴和Z轴中的任一轴旋转θ度至少一次并投影到笛卡尔坐标系的XOY平面，每一次旋转后投影生成至少两个STDM的方法是：在生成STDM的过程中需将x,y,z坐标值进行归一化后作为STDM的坐标值；首先将MHPC投影到笛卡尔坐标XOY平面上，根据投影后同一坐标下重叠点的分布情况，生成RGB图像STDM；其R通道是在当前坐标系下z坐标值不同点的个数，G通道是相邻点的z坐标值进行差分运算并取绝对值叠加，B通道是相邻点的帧号进行差分运算并取绝对值叠加；将MHPC投影到YOZ平面和XOZ平面上生成STDM的过程类似，只需将上述z坐标值相应地变成x坐标值和y坐标值即可，由此依次得到STDMf、STDMs、STDMt；然后利用旋转公式将MHPC沿顺时针和逆时针方向绕X轴、Y轴和Z轴中的任一轴旋转θ度至少一次并投影到笛卡尔坐标系的XOY平面，每一次旋转后投影生成至少两个STDM。在步骤(3)中，所述的从上述人体动作样本的所有STDM中提取出HOG特征向量，并进行串联而组合成该人体动作最终的HOG特征向量的方法是：首先将一个STDM分成若干块，每一块分成若干单元，每一单元包含若干像素点，然后按上式计算各像素点的水平方向梯度和垂直方向梯度；之后由像素点的水平方向梯度和垂直方向梯度计算出该像素点的梯度幅值和梯度方向；通过统计每一单元中像素点的梯度幅值和梯度方向分布情况，得到该单元内梯度直方图，将每一块中各单元的梯度直方图归一化，得到该块的梯度直方图，然后将所有块的梯度直方图进行串联而得到该STDM最后的HOG特征向量；最后采用特征层融合的方法，将一个MHPC产生的所有STDM的HOG特征向量进行串联，组合生成该人体动作的HOG特征向量，用来进行分类识别。在步骤(4)中，所述的选取所有人体动作样本中的部分样本为训练样本，剩余样本为测试样本，将训练样本的HOG特征向量输入到KELM分类器中进行训练，然后将测试样本得到的HOG特征向量输入上述已训练好的KELM分类器中进行测试，得到分类结果的方法是：根据不同的验证方法，采用留一交叉验证或交叉验证方法确定人体动作样本中训练样本与测试样本的比例；将经过步骤(3)得到的训练样本的HOG特征向量输入到KELM分类器中进行训练，然后将经过步骤(3)得到的测试样本的HOG特征向量输入到上述已经训练好的KELM分类器中进行分类测试，KELM分类器的输出即为人体动作分类结果。本专利技术提供的基于时空分布图的人体行为识别方法首先将深度图像生成运动历史点云，然后将旋转的和未旋转的运动历史点云投影到笛卡尔坐标系平面生成时空分布图，能够获得人体动作不同视角下的信息，增加了对动作角度变化的鲁棒性。另外，时空分布图不仅能够捕获动作的空间能量分布，而且还可捕获动作的时间能量分布以及动作的空间密度分布情况，用时空分布图来表示人体动作要比深度运动图像更加全面，提取的特征也更加有区别力。另外由运动历史点云投影后点的特点生成的时空分布图，在生成时进行坐标归一化，增加了对类内差异的鲁棒性。由运动历史点云投影后生成时空分布图，使得4维的人体形状和动作信息编码到时空分布图上，可以提取更加丰富的特征(如HOG特征、LBP特征、颜色特征等)，使得提取特征的方法和提取的特征都充满了多样性，解决了利用点云提取特征复杂的问题。因为采用了基于高斯核函数的极限学习机，具有分类精度高，学习速度快的优点。附图说明图1为本专利技术本文档来自技高网...

【技术保护点】
1.一种基于时空分布图的人体行为识别方法，其特征在于：所述的方法包括按顺序进行的下列步骤：(1)将每个人体动作样本中已经提取前景的多帧深度图像通过坐标映射得到每帧深度图像的点云，然后将其填充到MHPC中，直到遍历完所有帧的深度图像得到该动作的MHPC，以记录动作发生的空间与时间信息；(2)将MHPC直接投影到三个正交的笛卡尔坐标平面，分别是XOY平面、YOZ平面和XOZ平面，生成三个STDM，然后将MHPC沿顺时针和逆时针方向绕X轴、Y轴和Z轴中的任一轴旋转θ度至少一次并投影到笛卡尔坐标系的XOY平面，每一次旋转后投影生成至少两个STDM；(3)从上述人体动作样本的所有STDM中提取出HOG特征向量，并进行串联而组合成该人体动作样本最终的HOG特征向量；(4)选取所有人体动作样本中的部分样本为训练样本，剩余样本为测试样本，将训练样本的HOG特征向量输入到KELM分类器中进行训练，然后将测试样本得到的HOG特征向量输入上述已训练好的KELM分类器中进行测试，得到分类结果。

【技术特征摘要】
1.一种基于时空分布图的人体行为识别方法，其特征在于：所述的方法包括按顺序进行的下列步骤：(1)将每个人体动作样本中已经提取前景的多帧深度图像通过坐标映射得到每帧深度图像的点云，然后将其填充到MHPC中，直到遍历完所有帧的深度图像得到该动作的MHPC，以记录动作发生的空间与时间信息；(2)将MHPC直接投影到三个正交的笛卡尔坐标平面，分别是XOY平面、YOZ平面和XOZ平面，生成三个STDM，然后将MHPC沿顺时针和逆时针方向绕X轴、Y轴和Z轴中的任一轴旋转θ度至少一次并投影到笛卡尔坐标系的XOY平面，每一次旋转后投影生成至少两个STDM；(3)从上述人体动作样本的所有STDM中提取出HOG特征向量，并进行串联而组合成该人体动作样本最终的HOG特征向量；(4)选取所有人体动作样本中的部分样本为训练样本，剩余样本为测试样本，将训练样本的HOG特征向量输入到KELM分类器中进行训练，然后将测试样本得到的HOG特征向量输入上述已训练好的KELM分类器中进行测试，得到分类结果。2.根据权利要求1所述的基于时空分布图的人体行为识别方法，其特征在于：在步骤(1)中，所述的将每个人体动作样本中已经提取前景的多帧深度图像通过坐标映射得到每帧深度图像的点云，然后将其填充到MHPC中，直到遍历完所有帧的深度图像得到该动作的MHPC的方法是：将一个人体动作序列作为一个人体动作样本，每个人体动作样本中包含N帧深度图像，将该人体动作样本中已经提取前景的深度图像从图像坐标系映射到相机坐标系得到各自的点云，运动历史点云是由每帧深度图像得到的点云填充而生成。3.根据权利要求1所述的基于时空分布图的人体行为识别方法，其特征在于：在步骤(2)中，所述的将MHPC直接投影到三个正交的笛卡尔坐标平面，分别是XOY平面、YOZ平面和XOZ平面，生成三个STDM，然后将MHPC沿顺时针和逆时针方向绕X轴、Y轴和Z轴中的任一轴旋转θ度至少一次并投影到笛卡尔坐标系的XOY平面，每一次旋转后投影生成至少两个STDM的方法是：在生成STDM的过程中需将x,y,z坐标值进行归一化为某固定值后作为STDM的坐标值；首先将MHPC投影到笛卡尔坐标XOY平面上，根据投影后同一坐标下重叠点的分布情况，生成...

【专利技术属性】
技术研发人员：张良，刘婷婷，李玉鹏，
申请(专利权)人：中国民航大学，
类型：发明
国别省市：天津,12