一种基于DenseNet网络与帧差法特征输入的人体行为识别方法技术

本发明专利技术提供一种基于DenseNet网络与帧差法特征输入的人体行为识别方法，其可以在占用较少内存和更少训练时间的基础上，在进行人体行为识别的时候取得较高的准确率。其包括：S1：获得待识别动作视频数据；获取待识别动作视频数据的静态灰度图像序列,利用帧差法生成包含运动主体运动特征的运动帧差图；S2：以DenseNet模型为基础构建骨干网络模型，通过骨干网络模型分别搭建时间流网络和空间流网络；S3：分别训练时间流网络和空间流网络，获得训练好的时间流网络和空间流网络；S4：将静态灰度图像序列的序列作为训练好的空间流网络的输入；将运动帧差图的序列作为训练好的时间流网络的输入，获得行为识别最终结果，完成动作识别操作。

A Human Behavior Recognition Method Based on DenseNet Network and Frame Difference Feature Input

【技术实现步骤摘要】
一种基于DenseNet网络与帧差法特征输入的人体行为识别方法
本专利技术涉及计算机视觉的行为识别
，具体为一种基于DenseNet网络与帧差法特征输入的人体行为识别方法。
技术介绍
从视频序列中识别人体行为的行为识别技术是一门涉及计算机视觉、模式识别和人工智能等诸多领域的研究课题。因其在视频监控、人机交互、运动分析和视频分类等多个领域中具有巨大的应用前景，因此人体行为识别技术已经成为机器视觉领域的研究热点之一。但是因为其应用环境的复杂性及相机抖动、背景复杂多变、行为的类内差异性等影响因素，现有的基于光流图片的时空双流行为识别模型存在着识别准确率低、训练时间长、因为稠密连接导致的模型参数量庞大的问题。
技术实现思路
为了解决现有技术中从视频序列中识别人体行为准确率低、训练时间长、模型参数量庞大的问题，本专利技术提供一种基于DenseNet网络与帧差法特征输入的人体行为识别方法，其可以在占用较少内存和更少训练时间的基础上，在进行人体行为识别的时候取得较高的准确率。本专利技术的技术方案是这样的：一种基于DenseNet网络与帧差法特征输入的人体行为识别方法，其包括以下步骤：S1：获得待识别动作视频数据；S2：构建骨干网络模型，通过所述骨干网络模型分别搭建时间流网络和空间流网络；S3：分别训练所述时间流网络和所述空间流网络，获得训练好的所述时间流网络和所述空间流网络；S4：把所述待识别动作视频数据输入到训练好的所述时间流网络和训练好的所述空间流网络，获得行为识别最终结果，完成动作识别操作；其特征在于：步骤S2中所述骨干网络模型是以DenseNet模型为基础构建的，其包括4个DenseBlock、3个融合层，所述DenseBlock之间设置所述融合层；所述骨干网络模型后面依次连接全连接层；步骤S1中，获得待识别动作视频数据，包括以下步骤：S1-1：对于所述待识别动作视频数据进行分割采样与色彩空间转换，获取所述待识别动作视频数据的静态灰度图像序列；S1-2：提取所述静态灰度图像序列间的图像运动信息特征，利用帧差法生成包含运动主体运动特征的运动帧差图；步骤S4中，把所述待识别动作视频数据输入到训练好的所述时间流网络和训练好的所述空间流网络，包括以下步骤：S4-1：将所述静态灰度图像序列的序列作为所述空间流网络的输入；S4-2:将步骤S4-1中选取的所述静态灰度图像序列对应的所述运动帧差图的序列作为所述时间流网络的输入。其进一步特征在于：步骤S4中，还包括以下步骤：S4-3：把所述运动帧差图的序列和所述静态灰度图像序列分别输入到所述时间流网络、所述空间流网络后，生成两段具有显著特征的高层特征图连续序列，即时间流高层时间轴特征序列和空间流高层语义特征序列；S4-4：把所述时间流高层时间轴特征序列输入到所述时间流网络中的时间流分类器，采用分类器计算所述时间流高层时间轴特征对于动作标签的时间概率分布；S4-5：把所述空间流高层语义特征序列输入到所述空间流网络中的空间流分类器，采用所述分类器计算所述空间流高层语义特征序列对于动作标签的空间概率分布；S4-6：通过所述时间概率分布和所述空间概率进行平均求和来获取动作的总体概率分布，完成行为识别模型的双流融合，通过筛选出概率最高的动作类作为所述行为识别最终结果；所述骨干网络模型中的DenseBlock中包括4个ConvCore，每一个ConvCore中含有一个1×1卷积和一个3×3卷积的操作，每个3×3卷积层后面跟随一个激活函数；所述骨干网络模型中的所述融合层包括1个1×1的卷积层和1个2×2的最大池化层，每个1×1的卷积层后面跟着一个激活函数和一个批量归一化层；所述骨干网络模型中的所述全连接层有两个，各自层对应节点数分别设置为512和101；所述ConvCore中的每个3×3卷积层后面跟着一个批量归一化层进行批量归一化操作；步骤S1-1中，获取所述待识别动作视频数据的所述静态灰度图像序列的步骤如下：S1-1-1：获取所述待识别动作视频数据后，将视频图像序列分解为静态图像序列；S1-1-2：基于跳帧采集策略，设置采样步长后，获取静态RGB图像序列；S1-1-3：把所述静态RGB图像序列通过色彩空间转换转化为所述静态灰度图像序列；步骤S1-2中，利用帧差法生成包含运动主体运动特征的所述运动帧差图的步骤如下：S1-2-1：根据高斯分布公式搭建高斯滤波器，将所述静态灰度图像序列进行能量转化，将低能量去除，去除灰度图中存在的高斯噪声，生成具有更少噪声的灰度图像构成的静态灰度图像序列；S1-2-2：将全部具有更少噪声的所述静态灰度图像序列进行标准化处理，使得所述静态连续帧序列中的灰度图像中每一个像素点的灰度值都处于0-255之间；S1-2-3：基于每一个像素点的灰度值都处于0-255之间的所述静态灰度图像序列，通过帧差法计算得到与原动作序列相对应的二值化运动帧差图序列，即获得了所述运动帧差图；步骤S1-2中，利用帧差法生成包含运动主体运动特征的所述运动帧差图，所述帧差法计算所述运动帧差图的函数为：判决条件为：其中：表示前后两帧上对应像素点的灰度值，NA表示待检测区域中像素的总数目，λ表示光照的抑制系数；步骤S4-4和S4-5中的所述分类器均采用softmax分类器。本专利技术提供的一种基于DenseNet网络与帧差法特征输入的人体行为识别方法，针对行为识别中，时间流对于运动信息强调运动主体运动不变性的要求，采用帧差法来提取图像序列中上下连续图像之间的帧差特征，利用帧差特征区分运动主体和图像背景，强化运动轮廓的表征；从而可以获取到原特征向量中具有最大显著度的特征属性，相较于光流计算提取特征处理的计算量大大降低，并且去除了无关特征属性的干扰。时间流网络和空间流网络结构均以改进的DenseNet网络为骨干网络，改进的DenseNet网络能够解决占用内存和特征冗余问题的同时还保持模型收敛速度和识别准确性。帧差法提取的运动帧差图作为时间流输入、视频序列中提取的静态灰度图像序列作为空间流输入，使时间流网络、空间流网络在其单流独立训练过程中，在时间流和空间流上表现出收敛快速和良好的泛化性能。在本专利技术的技术方案中，使用帧差特征相较于使用光流特征在模型的收敛时间上减短了,降低了模型的训练时间；使用残差连接代替稠密连接减少了连接参数，有效的降低了模型参数量；使用本专利技术的技术方案，在人体行为识别的过程中，在有限的内存和训练时间的基础上，表现出很好的准确性。附图说明图1为本专利技术中的人体行为识别方法的流程示意图；图2为本专利技术中中间层输出示意图；图3为本专利技术中网络模型结构示意图。具体实施方式如图1~图3所示，本专利技术一种基于DenseNet网络与帧差法特征输入的人体行为识别方法，其包括以下步骤：S1：获得待识别动作视频数据；获得待识别动作视频数据，包括以下步骤：S1-1：对于待识别动作视频数据进行分割采样与色彩空间转换，获取待识别动作视频数据的静态灰度图像序列；在S1-1中，获取待识别动作视频数据的静态灰度图像序列的步骤如下：S1-1-1：获取待识别动作视频数据后，将视频图像序列分解为静态图像序列；S1-1-2：基于跳帧采集策略，设置采样步长为5帧，获取静态RGB图像序列；S1-1-3：把静态RGB图像序列通过色彩空本文档来自技高网...

【技术保护点】
1.一种基于DenseNet网络与帧差法特征输入的人体行为识别方法，其包括以下步骤：S1：获得待识别动作视频数据；S2：构建骨干网络模型，通过所述骨干网络模型分别搭建时间流网络和空间流网络；S3：分别训练所述时间流网络和所述空间流网络，获得训练好的所述时间流网络和所述空间流网络；S4：把所述待识别动作视频数据输入到训练好的所述时间流网络和训练好的所述空间流网络，获得行为识别最终结果，完成动作识别操作；其特征在于：步骤S2中所述骨干网络模型是以DenseNet模型为基础构建的，其包括4个Dense Block、3个融合层，所述Dense Block之间设置所述融合层；所述骨干网络模型后面依次连接全连接层；步骤S1中，获得待识别动作视频数据，包括以下步骤：S1‑1：对于所述待识别动作视频数据进行分割采样与色彩空间转换，获取所述待识别动作视频数据的静态灰度图像序列；S1‑2：提取所述静态灰度图像序列间的图像运动信息特征，利用帧差法生成包含运动主体运动特征的运动帧差图；步骤S4中，把所述待识别动作视频数据输入到训练好的所述时间流网络和训练好的所述空间流网络，包括以下步骤：S4‑1：将所述静态灰度图像序列的序列作为所述空间流网络的输入；S4‑2: 将步骤S4‑1中选取的所述静态灰度图像序列对应的所述运动帧差图的序列作为所述时间流网络的输入。...

【技术特征摘要】
1.一种基于DenseNet网络与帧差法特征输入的人体行为识别方法，其包括以下步骤：S1：获得待识别动作视频数据；S2：构建骨干网络模型，通过所述骨干网络模型分别搭建时间流网络和空间流网络；S3：分别训练所述时间流网络和所述空间流网络，获得训练好的所述时间流网络和所述空间流网络；S4：把所述待识别动作视频数据输入到训练好的所述时间流网络和训练好的所述空间流网络，获得行为识别最终结果，完成动作识别操作；其特征在于：步骤S2中所述骨干网络模型是以DenseNet模型为基础构建的，其包括4个DenseBlock、3个融合层，所述DenseBlock之间设置所述融合层；所述骨干网络模型后面依次连接全连接层；步骤S1中，获得待识别动作视频数据，包括以下步骤：S1-1：对于所述待识别动作视频数据进行分割采样与色彩空间转换，获取所述待识别动作视频数据的静态灰度图像序列；S1-2：提取所述静态灰度图像序列间的图像运动信息特征，利用帧差法生成包含运动主体运动特征的运动帧差图；步骤S4中，把所述待识别动作视频数据输入到训练好的所述时间流网络和训练好的所述空间流网络，包括以下步骤：S4-1：将所述静态灰度图像序列的序列作为所述空间流网络的输入；S4-2:将步骤S4-1中选取的所述静态灰度图像序列对应的所述运动帧差图的序列作为所述时间流网络的输入。2.根据权利要求1所述一种基于DenseNet网络与帧差法特征输入的人体行为识别方法，其特征在于：步骤S4中，还包括以下步骤：S4-3：把所述运动帧差图的序列和所述静态灰度图像序列分别输入到所述时间流网络、所述空间流网络后，生成两段具有显著特征的高层特征图连续序列，即时间流高层时间轴特征序列和空间流高层语义特征序列；S4-4：把所述时间流高层时间轴特征序列输入到所述时间流网络中的时间流分类器，采用分类器计算所述时间流高层时间轴特征对于动作标签的时间概率分布；S4-5：把所述空间流高层语义特征序列输入到所述空间流网络中的空间流分类器，采用所述分类器计算所述空间流高层语义特征序列对于动作标签的空间概率分布；S4-6：通过所述时间概率分布和所述空间概率进行平均求和来获取动作的总体概率分布，完成行为识别模型的双流融合，通过筛选出概率最高的动作类作为所述行为识别最终结果。3.根据权利要求1所述一种基于DenseNet网络与帧差法特征输入的人体行为识别方法，其特征在于：所述骨干网络模型中的DenseBlock中包括4个ConvCore，每一个ConvCore中含有一个1×1卷积和一个3×3卷积的操作，每个3×3卷积层...

【专利技术属性】
技术研发人员：曹毅，刘晨，黄子龙，盛永健，林苗，李巍，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏,32