一种基于特征优选与多种特征融合的人体行为识别方法技术

本发明专利技术公开了一种基于特征优选与多种特征融合的人体行为识别方法，包括：步骤1，读取视频帧图像并进行去噪预处理，采用高斯滤波器对图像序列进行降噪处理，增强图像质量；步骤2，对完成预处理的视频帧图像分别提取HOG特征与SURF特征；步骤3，利用PCA算法对HOG特征进行降维处理；步骤4，对PCA降维后的HOG特征应用Pearson相关系数、Spearman相关系数和Kendall系数进行二次降维处理；步骤5，将SURF特征向量与二次降维后的HOG特征向量进行特征融合，利用支持向量机进行分类识别。本发明专利技术通过二次降维和特征融合技术，去除冗余特征，降低计算的复杂度，提高识别的准确率，具有超越生成模型的优势，此外，本发明专利技术对噪声和其它影响因素鲁棒性强，具有很好的实用性。具有很好的实用性。具有很好的实用性。

【技术实现步骤摘要】
一种基于特征优选与多种特征融合的人体行为识别方法


[0001]本专利技术涉及图像处理、视频处理、模式识别等领域，具体的说是一种基于特征优选与多种特征融合的人体行为识别方法。

技术介绍

[0002]人类行为识别有着广泛的应用前景，如智能视频监控、视频摘要、智能接口、人机交互、体育视频分析、视频检索等。通常，行为识别涉及两个重要问题，其一是如何从原始视频数据中提取有用的运动信息，其二是如何建立运动参考模型，使训练和识别方法能有效地处理空间和时间尺度变化的类内类似行为。行为识别可以利用各种因素，如人体姿势、光流、运动轨迹或轮廓、时空特征等，近年来，一些适合于行为识别的特征算法被提出，如局部二值模式(LBP)、方向梯度直方图(HOG)、尺度不变特征变换(SIFT)等方法。单一特征往往受到人体外观、环境、摄像机设置等因素影响，无法准确全面地描述人体运动，从而限制了行为识别准确度的提高。Dalai等提出将表征图像局部区域内结构信息的HOG特征与 LBP特征进行融合的算法中，可以有效提高识别率，但同时存在HOG特征维度过大，复杂度高，耗时长等问题。所以，如何在提高识别率的同时又将计算复杂度控制在一定范围内，就成为了当前研究行为识别的焦点之一，而如何降低特征的维度，减少算法运行时间，降低复杂度就需要用尽可能少的维数提取足够多的有效特征，将高维数据转化为低维数据分析，避免出现“维度灾难”问题。

技术实现思路

[0003]本专利技术提出了基于特征优选与多种特征融合的人体行为识别方法，使用 HOG
‑
SURF融合特征提取人体行为特征，并通过对特征的二次降维方法进行特征的优选来识别人类行为，实验结果证明了提出方法的有效性和鲁棒性。
[0004]为了实现上述目的，本专利技术是通过以下技术方案来实现的：
[0005]本专利技术是种基于特征优选与多种特征融合的人体行为识别方法，包括以下步骤：
[0006]步骤1，读取视频帧图像并进行去噪预处理，采用高斯滤波器对图像序列进行降噪处理，增强图像质量；
[0007]步骤2，对完成预处理的视频帧图像分别提取HOG特征与SURF特征；
[0008]步骤3，利用PCA算法对HOG特征进行降维处理；
[0009]步骤4，对PCA降维后的HOG特征应用Pearson相关系数、Spearman相关系数和Kendall系数进行二次降维处理；
[0010]步骤5，将SURF特征向量与二次降维后的HOG特征向量进行特征融合，利用支持向量机进行分类识别。
[0011]本专利技术的进一步改进在于：步骤2中提取HOG特征具体过程为：S2.1.1,按照差分公式计算图像梯度大小矩阵和梯度方向矩阵，将360度(2π)分割成n个bins，每个bin包含
度S2.1.2，根据每个像素点的梯度方向，找到对应的bin，并且在bin值所在的维度加上梯度大小，得到一个n维的直方图；S2.1.3，对图像进行分块处理，得到许多个小cells，针对每个小cell，统计其梯度方向直方图，将多个小cell构成一个block，每个block的梯度方向直方图为每个cell的梯度方向直方图的级联，级联所有block的梯度方向直方图得到整个图像的HOG特征直方图。
[0012]本专利技术的进一步改进在于：步步骤2中提取SURF特征的具体过程为：S2.2.1，采用Hessian矩阵行列式来检测特征点；S2.2.2，构建图像的尺度空间，在尺度空间中实现特征点定位；S2.2.3，确定特征点的方向；S2.2.4，构建SURF特征向量，在特征点周围取一个4
×
4的矩形区域块,每个子区域统计25个像素的水平和垂直方向的Haar小波特征，把Haar小波值作为每个子块区域的特征向量,所以一共有4
×4×
4＝64维向量作为SURF特征向量。
[0013]本专利技术的进一步改进在于：步骤3中将高维n维特征映射到低维k维特征上，具体过程如下：假设有m个样本，对应特征向量为X
i
,X
i
的维数为n，则由向量构成的样本可表示为一个n行m列的矩阵X＝{x1,x2...,x
m
}，则该样本的平均向量为求出协方差矩阵C为对矩阵C求特征值与对应的特征向量，然后将特征向量按对应特征值大小从上到下按行列排列成矩阵，取前k行组成矩阵p，则Y＝PX即为降维到k维后的矩阵。
[0014]本专利技术的进一步改进在于：步骤4具体过程为：S4.1，采用Sobel算子检测提取图像的边缘，计算边缘像素梯度幅值、梯度方向，将360度(2π)分割成n个bins，每个bin包含度然后根据像素点的梯度方向，找到对应的bin，并且在bin值所在的维度加上梯度幅值，得到一个n维的边缘方向直方图；S4.2，通过相关系数公式计算帧图像间的边缘方向直方图相似度；S4.3，根据相似度值的大小确定特征维度进行特征筛选，实现二次降维。
[0015]本专利技术的进一步改进在于：步骤5具体为：S5.1，对视频中存在人体动作的部分进行分割：提取每一帧的SURF特征，将有效特征数大于一定数量的帧视为有效帧；设定一个时间窗口，在有效帧之间进行特征点的匹配，对相邻两帧之间进行特征匹配，将与前后两帧的匹配特征均大于一定数量的帧视为关键帧，即，匹配特征的置信概率大于90％；若在时间窗口之内，关键帧数量大于设定好的阈值，则将该窗口分割出来，作为一个视频片段；S5.2，对每个分割好的视频片段计算特征，对片段内每帧计算HOG特征，并进行降维后，将特征串联，同时对每帧计算SURF特征，取每帧前N个最显著的特征点，并将其转换为特征向量，将特征向量串联后，再与降维的HOG特征串联，形成分类所需的融合的特征向量； S5.3，采用支持向量机SVM进行训练识别，SVM采用RBF核函数
[0016]本专利技术的有益效果是：本专利技术结合了经PCA+Pearson等相关系数的降维技术优化的HOG特征和表征图像兴趣点的SURF特征，通过二次降维和特征融合技术，去除冗余特征，
降低计算的复杂度，提高识别的准确率，具有超越生成模型的优势。本专利技术不仅能够准确地识别测试数据集上随尺度、位置、轮廓等人员变化的人类行为，而且对噪声和其它影响因素鲁棒性强，具有很好的实用性。
附图说明
[0017]图1是行为识别流程示意图。
[0018]图2是HOG特征提取算法流程示意图。
[0019]图3是SURF特征提取算法流程示意图。
[0020]图4是PCA的分类准确率折线图。
[0021]图5是三种降维方法的分类精度对比图。
[0022]图6是不同算法分类精度比较图。
具体实施方式
[0023]以下将以图式揭露本专利技术的实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本专利技术。也就是说，在本专利技术的部分实施方式中，这些实务上的细节是非必要的。
[0024]下面结合附图对本专利技术的技术方案做进一步的详细说本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征优选与多种特征融合的人体行为识别方法，其特征在于：包括以下步骤：步骤1，读取视频帧图像并进行去噪预处理，采用高斯滤波器对图像序列进行降噪处理，增强图像质量；步骤2，对完成预处理的视频帧图像分别提取HOG特征与SURF特征；步骤3，利用PCA算法对HOG特征进行降维处理；步骤4，对PCA降维后的HOG特征应用Pearson相关系数、Spearman相关系数和Kendall系数进行二次降维处理；步骤5，将SURF特征向量与二次降维后的HOG特征向量进行特征融合，利用支持向量机进行分类识别。2.根据权利要求1所述一种基于特征优选与多种特征融合的人体行为识别方法，其特征在于：步骤2中提取HOG特征具体过程为：S2.1.1,按照差分公式计算图像梯度大小矩阵和梯度方向矩阵，将360度(2π)分割成n个bins，每个bin包含度S2.1.2，根据每个像素点的梯度方向，找到对应的bin，并且在bin值所在的维度加上梯度大小，得到一个n维的直方图；S2.1.3，对图像进行分块处理，得到许多个小cells，针对每个小cell，统计其梯度方向直方图，将多个小cell构成一个block，每个block的梯度方向直方图为每个cell的梯度方向直方图的级联，级联所有block的梯度方向直方图得到整个图像的HOG特征直方图。3.根据权利要求2所述一种基于特征优选与多种特征融合的人体行为识别方法，其特征在于：步骤2中提取SURF特征的具体过程为：S2.2.1，采用Hessian矩阵行列式来检测特征点；S2.2.2，构建图像的尺度空间，在尺度空间中实现特征点定位；S2.2.3，确定特征点的方向；S2.2.4，构建SURF特征向量，在特征点周围取一个4
×
4的矩形区域块,每个子区域统计25个像素的水平和垂直方向的Haar小波特征，把Haar小波值作为每个子块区域的特征向量,所以一共有4
×4×
4＝64维向量作为SURF特征向量。4.根据权利要求3所述一种基于特征优选与多种特征融合的人体行为...

【专利技术属性】
技术研发人员：单义冬，赵君喜，宋琳，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：