一种基于双流非局部时空卷积神经网络的人体行为识别方法技术

本发明专利技术公开了一种基于双流非局部时空卷积神经网络的人体行为识别方法，包括：获取包含人体行为的待检测视频；对待检测视频按帧提取生成RGB图像序列，并将RGB图像序列输入训练后的空间流卷积神经网络NST

【技术实现步骤摘要】
一种基于双流非局部时空卷积神经网络的人体行为识别方法


[0001]本专利技术涉及一种基于双流非局部时空卷积神经网络的人体行为识别方法， 属于计算机视觉


技术介绍

[0002]近年来，视频中的人体行为识别已成为计算机视觉领域的一个研究热点， 目前对于该领域的研究方法可以分为两大类，包括基于手工设计特征的机器学 习方法和基于深度神经网络的方法。在基于手工设计特征的方法中具有代表性 的有兴趣点检测法、稀疏与稠密采样等，最早的动作识别工作使用3D模型来 描述动作，并理解和解释人体行为。类似于人体的结构模型的整体表征法更可 能保留动作的空间和时间结构，然而，目前深度学习的方法受到青睐，采用深 度学习处理图像和视频数据是研究的热点，例如卷积神经网络，不需要手动进 行特征提取，可以从训练样本中获取底层特征信息，再通过多层卷积获取高层 特征信息，应用到对图像、视频等数据的处理中。

技术实现思路

[0003]本专利技术的目的在于克服现有技术中的不足，提供一种基于双流非局部时空 卷积神经网络的人体行为识别方法，能够实现端到端的人体行为识别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双流非局部时空卷积神经网络的人体行为识别方法，其特征在于，包括：获取包含人体行为的待检测视频；对待检测视频按帧提取生成RGB图像序列，并将RGB图像序列输入训练后的空间流卷积神经网络NST
‑
CNN获取空间流人体行为类型预测；将待检测视频输入训练后的PWC
‑
Net网络生成光流图像序列，并将光流图像序列输入训练后的时间流卷积神经网络NST
‑
CNN获取时间流人体行为类型预测；根据空间流和时间流人体行为类型预测进行均值融合获取最终的人体行为类型预测。2.根据权利要求1所述的一种基于双流非局部时空卷积神经网络的人体行为识别方法，其特征在于，所述将待检测视频输入训练后的PWC
‑
Net网络生成光流图像序列包括：将待检测视频相邻帧的图像分别送入六级特征金字塔网络获取各个尺度下的特征图；将特征图进行代价容量计算、扭曲操作、光流提取层、上采样、上下文网络层生成光流图像序列；其中，所述PWC
‑
Net网络使用光流数据集Flying Chairs和Flying Things3D作为训练数据集进行训练。3.根据权利要求1所述的一种基于双流非局部时空卷积神经网络的人体行为识别方法，其特征在于，所述空间流和时间流卷积神经网络NST
‑
CNN均包括依次连接的非局部时空卷积层、第一非局部时空卷积块、第二非局部时空卷积块、第三非局部时空卷积块、第四非局部时空卷积块、第五非局部时空卷积块、3D池化层、全连接层、Dropout层以及Softmax层。4.根据权利要求3所述的一种基于双流非局部时空卷积神经网络的人体行为识别方法，其特征在于，所述第一非局部时空卷积块包括时空卷积层；所述第二非局部时空卷积块包括一个非局部模块和三个残差块；所述第三非局部时空卷积块包括一个非局部模块和四个残差块；所述第四非局部时空卷积块包括一个非局部模块和六个残差块；所述第五非局部时空卷积块包括一个非局部模块和三个残差块。5.根据权利要求4所述的一种基于双流非局部时空卷积神经网络的人体行为识别方法，其特征在于，所述残差块包括依次连接的时空卷积层、批归一化层、Leaky ReLU激活函数层以及时空卷积层，所述残差块的输入输出之间直连，且所述残差块后均连接有Leaky ReLU激活函数层。6.根据权利要求5所述的一种基于双流非局部时空卷积神经网...

【专利技术属性】
技术研发人员：钱惠敏，陈实，周军，卢新彪，
申请(专利权)人：河海大学，
类型：发明
国别省市：