基于卷积神经网络特征编码的人体动作识别方法技术

本发明专利技术提出了一种基于卷积神经网络特征编码的人体动作识别方法，主要解决现有技术计算复杂、准确率低的问题。实现方案是：利用TV‑L1得到视频光流图；分别从视频空间方向和光流动作方向依次进行卷积神经网络、局部特征累积编码、降维白化处理、VLAD向量处理，获取空间方向VLAD向量和动作方向VLAD向量；合并视频空间和光流动作两个方向信息得到人体动作分类数据，然后进行分类处理。本发明专利技术对卷积特征进行局部特征累积编码，使本发明专利技术在处理复杂背景数据时提高了识别率并减少了计算量，融合视频和光流VLAD向量获取的特征对环境变化具有更高的鲁棒性，可用于小区、商场以及保密场所等区域对监控视频中的人体动作进行检测识别。

Human action recognition method based on convolutional neural network feature coding

The invention provides a human action recognition method based on convolutional neural network characteristic coding, which mainly solves the problems of complicated calculation and low accuracy in the prior art. The solution is: using TV L1 video flow image; video respectively from the spatial orientation and direction of motion in the local character of the optical flow convolution neural network, cumulative encoding, dimension reduction processing, albino VLAD vector processing, obtaining spatial direction of VLAD vector and VLAD to the direction of movement; two direction information with video space and optical flow action get the human motion classification data, then classify. The invention of the local feature of the accumulation of convolution encoding, in the processing of complex background data to improve the recognition rate and reduce the amount of computation, feature fusion and optical flow vector VLAD video acquisition is more robust to changes in the environment, can be used for residential, shopping malls and other places of security detection and recognition of human body region action in video surveillance.

【技术实现步骤摘要】
基于卷积神经网络特征编码的人体动作识别方法
本专利技术属于图像处理
，更进一步涉及基于深度学习的人体动作识别，具体是一种基于卷积神经网络特征编码的人体动作识别方法方法，可用于小区、酒店、商场以及保密场所等区域对监控视频中的人体动作进行检测识别。
技术介绍
随着科技的快速发展和人们生活水平的不断提高的提高，人们对于生活中的安全问题也越来越关注。现在视频监控设备越来越普及，在小区、酒店、停车场、商场、十字路口、公司以及保密场所等很多地方都装有视频监控设备。随着视频监控设备规模不断扩大，视频监控对更加智能化的技术和系统的需求也更大。智能监控系统可以主动对监控视频中的人进行分析、识别，在发现异常情况时及时发出警报，避免可能存在的罪犯或者危险，人体动作识别技术涉及到人们日常生活的方方面面，研究人体动作识别对改善和提高人们的生活质量有重要的作用和潜在经济价值。人体动作识别是指以数字图像或视频信号流为对象，通过图像处理与自动识别方法，获得人体动作信息的一种实用技术。由于人体动作的自由性，相机运动，光线强度变化，衣服的不同，不同人体型的差距，人体具有非刚体的特性以及不同环境条件下的差异性等等问本文档来自技高网...

【技术保护点】
一种基于卷积神经网络特征编码的人体动作识别方法，其特征在于，包括有如下步骤：(1)针对人体动作数据集选择视频对应的空间方向和光流对应的动作方向两个流向来进行信息处理；(2)在动作方向首先获取人体运动光流图：输入人体运动数据集中视频，对其利用稠密光流TV‑L1进行处理，获取人体运动数据集中视频的光流图，对两个方向分别进行卷积特征图获取、局部特征累积编码、降维白化处理、VLAD向量处理；(3)调整视频和光流图大小：对从空间方向的人体运动数据集中获取视频的每帧图像和从动作方向得到的光流图分别进行调整，调整单帧图像到大小为224×224像素；(4)获取空间方向视频和动作方向光流图的卷积特征图：(4a)...

【技术特征摘要】
1.一种基于卷积神经网络特征编码的人体动作识别方法，其特征在于，包括有如下步骤：(1)针对人体动作数据集选择视频对应的空间方向和光流对应的动作方向两个流向来进行信息处理；(2)在动作方向首先获取人体运动光流图：输入人体运动数据集中视频，对其利用稠密光流TV-L1进行处理，获取人体运动数据集中视频的光流图，对两个方向分别进行卷积特征图获取、局部特征累积编码、降维白化处理、VLAD向量处理；(3)调整视频和光流图大小：对从空间方向的人体运动数据集中获取视频的每帧图像和从动作方向得到的光流图分别进行调整，调整单帧图像到大小为224×224像素；(4)获取空间方向视频和动作方向光流图的卷积特征图：(4a)卷积神经网络CNN有11层，这11层依次是卷积层conv1，池化层pool1,卷积层conv2，池化层pool2,卷积层conv3,卷积层conv4,卷积层conv5，池化层pool5,全连接层fc6，全连接层fc7，分类层Softmax；(4b)在空间方向获取视频图像卷积特征图：将空间方向已调整大小的人体运动数据集中每个视频的所有帧图像输入卷积神经网络CNN，视频是由多帧图像链接而成的，图像从卷积神经网络CNN输入层经过逐级的变换，传送到卷积神经网络CNN输出层，每一张图像从池化层pool5获取512张6×6像素大小的特征图；(4c)在动作方向获取光流图卷积特征图：将动作方向已调整大小的光流图输入卷积神经网络CNN，光流图从卷积神经网络CNN输入层经过逐级的变换，传送到卷积神经网络CNN输出层，每一张光流图从池化层pool5获取512张6×6像素大小的特征图；(5)获取局部特征累积描述子：对空间方向获取的卷积特征和动作方向获取的卷积特征均利用局部特征累积编码方式进行编码分别得到空间方向的局部特征累积描述子和动作方向的局部特征累积描述子；(6)降维白化处理：将空间方向的局部特征累积描述子和动作方向的局部特征累积描述子分别输入主成分分析PCA中进行降维白化处理；(7)在空间方向和动作方向分别获取局部特征聚合描述符VLAD向量：(7a)降维白化后的局部特征累积描述子通过K均值K-means聚类，学习得到k个聚类中心(c1,…,cj,…,ck),j∈[1,k]；(7b)空间方向的每个视频和动作方向的光流分别获取局部特征聚合描述符VLAD向量并分别对获取的VLAD向量进行L2归一化；(8)合并两个方向信息得到人体动作分类数据：将空间方向视频获取的VLAD向量和动作方向对应光流获取的VLAD向量进行合并，得到人体动作分类数据；(9)利用支持向量机分类器分类处理人体动作分类数据；(9a)将人体动作分类数据分成两部分，分别作为训练样本和测试样本；(9b)用训练样本训练支持向量机分类器得到分类模型；(9c)用分类模型对测试样本进行人体动作分类，获得所输入的人体动作的识别结果。2.根据权利要求1所述的基于卷积神经网络特征编码的人体动作识别方法，其特征在于：步骤(5)中对获取空间方向视频和动作方向光流图...

【专利技术属性】
技术研发人员：韩红，程素华，何兰，衣亚男，李林糠，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61