一种人体行为识别网络模型及识别方法技术

本发明专利技术涉及一种人体行为识别网络模型及识别方法，它依次包括第一3D卷积层、BN层、relu激活函数层、第一最大池化层、block网络块、全局均值池化层和softmax激活函数层；所述第一3D卷积层用于将输入的连续视频帧的维度提高然后依次经过所述BN层和relu激活函数层后进入所述第一最大池化层作最大池化操作；所述block网络块中每个输入通道对应一个3D卷积核用于实现特征的快速提取、降维和最大池化的操作后通过所述全局均值池化层进行处理后输入到所述softmax激活函数层；所述softmax激活函数层用于输出形态类别。本发明专利技术的优点在于：具有准确率高和实时性高的特点，在保持准确率的同时参数量和计算量相比其他模型少；能够识别出给定视频的行为。

【技术实现步骤摘要】
一种人体行为识别网络模型及识别方法
本专利技术涉及计算机视觉领域，尤其涉及一种人体行为识别网络模型及识别方法。
技术介绍
近年来随着深度学习等相关技术的兴起，深度神经网络在计算机视觉等各领域都取得了突破性的进展；深度学习的特点是采用较深的网络结构并运用大量的训练数据从图像低层的像素中学习到更高层更复杂的信息，以拟合出适用于当前任务的网络。为了响应国家对于建设“平安城市”、“平安校园”的号召，智能监控再次进入研究热潮。人体行为识别在传统方法中主要是提取局部特征，虽然考虑了表观和运动信息，但是这种信息只局限在单帧中，其中帧的上下文表观及运动信息被忽略，这将导致人体行为识别不够精确，并且传统算法在处理摄像机不同视角、背景杂乱、遮挡等也存在严重问题。如何设计一个高效且高识别率的人体行为识别算法显得尤为重要。申请号为CN201711054505.6的中国专利技术专利申请中公布了“人体行为识别模型及其构建方法和人体行为识别方法”，其包括对样本库中人体行为视频进行预处理；采用3D卷积神经网络提取人体行为视频的特征向量；将特征向量输入库伦力场进行聚类，采用损失函数计算特征向量在库伦力场初始位置与最终位置的损失值；当损失值≥设定阈值时，将损失值所代表的误差进行反向传播，并调整分类器参数，直至损失值＜设定阈值；将提取的特征向量输入分类器，将分类器输出的分类结果和视频样本的类别标签的差值作为分类器的误差反向传播，并调整分类器的参数，直至误差<设定阈值；当损失值＜设定阈值时，记录分类器当前的优化参数和对应的人体行为视频形成人体行为识别模型。通过用3D卷积神经网络实现视频的特征向量提取并再进行聚类；整个网络只有8层，而进行特征提取的卷积网络只有2层，导致提取的特征太底层，很难得到高层复杂的信息，整个网络准确率低。申请号为CN201810848243.9的中国专利技术专利申请中公布了“一种人体行为识别方法及系统”，其可以区分背景视频与包含人体行为视频并识别出其种类的网络，通过运用多任务深度学习方法训练3D卷积神经网路，将多种人体行为属性以及背景视频的固定连续帧数的帧块作为网络的输入，经过3D卷积神经网络训练后完成识别任务。本专利技术不仅提高了提取特征的效率，而且也提高了对包含背景视频的长视频段的识别能力，以便为智能监控等领域提供更好的技术支撑。但是这种方法需要浪费很大的存储空间，训练出的模型很大，不能满足实时性的要求。申请号为CN201510293654.2的中国专利技术专利中公布了“一种基于深度神经网络的人体行为识别方法及识别系统”，其包括：获取行为人的原始深度数据流；通过行为人的原始深度数据流提取人体的骨架关节点数据；利用提取到的人体骨架关节点数据所对应的三维坐标，来对整个人体建模；通过对整个人体建模来进行特征提取，将特征数据送入限制波尔兹曼机网络进行预处理，将得到的权值初始化BP神经网络参数，训练出深度神经网络模型，并据此对特征提取的结果进行行为识别；采用多线程并行处理，将提取到的人体骨架关节点数据与实际人体进行重合，并将识别到的行为进行实时显示；建立异常行为模板库并对检测到的异常行为进行报警。本专利技术能实时的检测人体行为的变化，对人体的异常行为(如跌倒)进行报警；但是其需要人工建立异常行为模板库，且在识别判断时需要先提取人体骨架关键点，过程复杂繁琐，效率低下。其
技术实现思路
本专利技术的目的在于克服现有技术的缺点，提供了一种人体行为识别网络模型及识别方法，解决了现有识别方法和识别系统存在的不足。本专利技术的目的通过以下技术方案来实现：一种人体行为识别网络模型，它依次包括第一3D卷积层、BN层、relu激活函数层、第一最大池化层、block网络块、全局均值池化层和softmax激活函数层；所述第一3D卷积层用于将输入的连续视频帧的维度提高然后依次经过所述BN层和relu激活函数层后进入所述第一最大池化层作最大池化操作；所述block网络块中每个输入通道对应一个3D卷积核用于实现特征的快速提取、降维和最大池化的操作后通过所述全局均值池化层进行处理后输入到所述softmax激活函数层；所述softmax激活函数层用于输出形态类别。进一步地，所述block网络块包括有第一block层、第二block层、第三block层、第四block层和第五block层；其中，后面的block层为前面的block层的充分学习提供特征；在每两个block层之间都设置有transitionlayer过渡层，用于对每个block层的输出进行降维。进一步地，所述第一block层包括有4个denseblock单元，所述第二block层包括有8个denseblock单元，所述第三block层包括有16个denseblock单元，所述第四block层包括有32个denseblock单元，所述第五block层包括有64个denseblock单元；通过每层block层中denseblock单元数量的依次增多由浅到深的提取特征，实现denseblock单元的特征复用。进一步地，每个block层中的denseblock单元中的每个输入通道对应一个3D卷积核以实现进一步减少网络参数和计算量。进一步地，所述transitionlayer过渡层包括第二3D卷积层和第二最大池化层，以实现对每个block层的输出进行降维和最大池化处理。一种人体行为识别网络模型的人体行为识别方法，所述识别方法包括：将连续的视频序列输入到网络模型中的第一3D卷积层升高维度后依次进入BN层和relu激活函数层；将所述relu激活函数层的输出输入到block网络块中的第一block层、第二block层、第三block层、第四block层和第五block层进行特征提取、降维和最大池化处理后输入到全局均值池化层；所述全局均值池化层对输入数据做正则化防止过拟合后输出到softmax激活函数层，最后输出形态类别。进一步地，在网络模型进行行为识别之前还需要进行网络模型训练测试步骤，其包括以下内容：采集大量人体行为数据并标注行为类别作为数据训练集，通过标注行为类别让网络学习标注行为的特征，并进行预测；将数据训练集输入网络模型中，通过提取连续图像帧中的特征进行前向传播得到训练类别，再经损失函数反向传播更新参数；当损失值满足要求时，停止学习，网络模型训练初步完成，否则继续训练；选取一定数量人体行为数据作为测试集输入到上述完成训练的网络模型中，通过前向传播得到行为类别，并与原标签进行比对，得到比对结果的正确率；如果正确率满足要求，则表示此网络模型测试通过，否则更新调节参数后继续对该网络模型进行训练。本专利技术的有益效果为：一种人体行为识别网络模型及识别方法，具有准确率高和实时性高的特点，在保持准确率的同时参数量和计算量相比其他模型少；能够识别出给定视频的行为。附图说明图1为本专利技术的模型结构示意图；图2为本专利技术的block网络块结构示意图；图3为本专利技术方法的流本文档来自技高网...

【技术保护点】
1.一种人体行为识别网络模型，其特征在于：它依次包括第一3D卷积层、BN层、relu激活函数层、第一最大池化层、block网络块、全局均值池化层和softmax激活函数层；/n所述第一3D卷积层用于将输入的连续视频帧的维度提高然后依次经过所述BN层和relu激活函数层后进入所述第一最大池化层作最大池化操作；/n所述block网络块中每个输入通道对应一个3D卷积核用于实现特征的快速提取、降维和最大池化的操作后通过所述全局均值池化层进行处理后输入到所述softmax激活函数层；/n所述softmax激活函数层用于输出形态类别。/n

【技术特征摘要】
1.一种人体行为识别网络模型，其特征在于：它依次包括第一3D卷积层、BN层、relu激活函数层、第一最大池化层、block网络块、全局均值池化层和softmax激活函数层；
所述第一3D卷积层用于将输入的连续视频帧的维度提高然后依次经过所述BN层和relu激活函数层后进入所述第一最大池化层作最大池化操作；
所述block网络块中每个输入通道对应一个3D卷积核用于实现特征的快速提取、降维和最大池化的操作后通过所述全局均值池化层进行处理后输入到所述softmax激活函数层；
所述softmax激活函数层用于输出形态类别。


2.根据权利要求1所述的一种人体行为识别网络模型，其特征在于：所述block网络块包括有第一block层、第二block层、第三block层、第四block层和第五block层；其中，后面的block层为前面的block层的充分学习提供特征；在每两个block层之间都设置有transitionlayer过渡层，用于对每个block层的输出进行降维。


3.根据权利要求2所述的一种人体行为识别网络模型，其特征在于：所述第一block层包括有4个denseblock单元，所述第二block层包括有8个denseblock单元，所述第三block层包括有16个denseblock单元，所述第四block层包括有32个denseblock单元，所述第五block层包括有64个denseblock单元，通过每层block层中denseblock单元数量的依次增多由浅到深的提取特征，实现denseblock单元的特征复用。


4.根据权利要求3所述的一种人体行为识别网络模型，其特征在于：每个block层中的denseblock单元中的每个...

【专利技术属性】
技术研发人员：张鹏超，罗朝阳，
申请(专利权)人：陕西理工大学，
类型：发明
国别省市：陕西;61