基于时空显著性行为注意力的双流网络行为识别方法技术

基于时空显著性行为注意力的双流网络行为识别方法，属于机器视觉领域。该方法采用了一种基于时空双流网络的网络架构，称作时空显著性行为注意力网络ST‑SAMANet。针对传统双流网络直接输入RGB帧和光流帧导致内存消耗大、冗余信息过多的问题，本发明专利技术引入关键帧机制，以获得帧间的最大差异性，显著减少时间网络的内存消耗。此外，在网络中，帧上存在大量的特征冗余以及背景扰乱，极大地影响网络的性能。本发明专利技术在网络中引入Mask R‑CNN技术，高度关注每个行为类别中的人体和物体，对每个帧上的显著性区域进行特征提取。最终利用双向LSTM和C3D网络分别对时空进行编码以获得完善的时空信息，提高了行为识别模型的鲁棒性。

Dual flow network behavior recognition method based on spatiotemporal significant behavioral attention

【技术实现步骤摘要】
基于时空显著性行为注意力的双流网络行为识别方法
本专利技术属于机器视觉领域，特别涉及一种基于时空显著性行为注意力的双流网络行为识别方法。
技术介绍
随着机器视觉在理论上和实践上的广泛研究，行为识别也逐渐成为其中的一个重要分支。由于客观环境的多样性以及人体行为的主观复杂性，人体行为识别还有很多问题亟待解决。目前，行为识别主要分为基于静态图片和基于视频的两类方法。在视频研究还未流行的很长一段时间内，大多行为识别研究都是基于图像的，但是图像所提供的信息非常有限，想要捕获有效的信息进行识别并不容易。相较而言，视频上的行为识别，研究人员可以提取充足的‘动作’线索来进行识别。因此，本专利技术以视频为研究对象，针对网络提取视频中的空间和时间特征所面临的问题，提出独特的注意力方法来有效地提取辨别性特征用于行为识别。目前，面向视频的行为识别主要使用双流网络，并且发展趋势十分良好。在双流网络中，双流架构通过在外观上和光流堆上分别训练各自的卷积网络来引入相关信息。但是传统双流网络仍旧面临以下问题：(1)如何在有效控制模型复杂度的前提下充分利用连续帧时序语义信本文档来自技高网...

【技术保护点】
1.基于时空显著性行为注意力的双流网络行为识别方法，其特征在于，步骤如下：/n步骤一、获取RGB帧：对于数据集中的每个视频进行取帧处理，获得RGB原始帧

【技术特征摘要】
1.基于时空显著性行为注意力的双流网络行为识别方法，其特征在于，步骤如下：
步骤一、获取RGB帧：对于数据集中的每个视频进行取帧处理，获得RGB原始帧N为帧数，rgbi表示第i个RGB原始帧；
步骤二、计算光流图：应用TVNet算法对按时序排序的RGB原始帧frgb两两进行计算得到光流图opti表示第i个光流帧；
步骤三、计算RGB初始关键帧krgb：首先将每一个RGB原始帧rgbi∈[1N]从RGB空间转换至YCbCr空间，然后对它的3个通道分别求直方图，每个通道直方图表示为k表示一个灰度级，表示第c个通道第k个灰度级的直方图，计算每帧平均直方图构建矩阵X的大小是(N,2)，N为帧数；应用K-means聚类算法对X进行聚类，计算聚类中心与X中每个点的最小距离，确定RGB初始关键帧krgb；
步骤四、计算光流初始关键帧kopt：将步骤三中RGB帧替换为步骤二得到的fopt光流帧，重复步骤三，计算得到光流初始关键帧kopt；
步骤五、计算RGB关键帧final_krgb：计算kopt所对应的前后RGB帧并记为orgb；将orgb与krgb进行交处理得到RGB关键帧final_krgb，即final_krgb＝orgb∩krgb；
步骤六、计算光流关键帧final_kopt：应用TVNet算法对按时序排序的final_krgb两两进行计算得到光流图，该光流图即为光流关键帧final_kopt；
步骤七、基于显著性行为检测网络计算显著特征图mask：将RGB关键帧fin...

【专利技术属性】
技术研发人员：蒋敏，潘娜，孔军，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏;32