一种基于注意力特征门控的视频异常行为识别方法技术

本发明专利技术公开了一种基于注意力特征门控的视频异常行为识别方法，该方法对多维训练进行特征降维，构建效率更高的识别网络，具体实施方法为：首先从全部数据集中随机提取出连续的视频图片并进行预处理作为训练样本；然后送入本发明专利技术提出的网络模型AFG

【技术实现步骤摘要】
一种基于注意力特征门控的视频异常行为识别方法


[0001]本专利技术涉及深度学习与视频理解领域，具体涉及一种基于注意力特征门控的视频异常行为识别方法。

技术介绍

[0002]当前主流的视频行为识别主要围绕超大规模数据集进行研究，而对于数据量较小、场景单一的数据集上，由于视频图像的背景较大，识别主体占比较小，导致模型更加依赖对背景的识别，造成了相同场景不同动作识别不理想、模型的泛化性能较差的问题。《DibaA，Fayyaz M，SharmaV，et al.Temporal 3d convnets:new architecture and transfer learning for video classification[J]arXiv preprint arXiv:1711.08200，2017》从不同的层面将Inception的思想扩展到3D卷积，提出T3D网络,通过不同尺度的卷积，来捕获丰富的时空信息,但其参数量较大,易造成模型参数的大量冗余，《Du T,Wang H,Torresani L,et al.A Closer Look at S本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力特征门控的视频异常行为识别方法，其特征在于包括以下步骤：步骤1、制作训练样本X，具体步骤如下：(1)从数据集中随机选取出n个帧数为f的视频样本X
′
，f∈(1，64]；X
′
为c
×
f个a
×
b矩阵，a∈(224，1080)；b∈(224，1080)；c为视频图像的通道数量，c∈{1,3}；(2)对n个帧数为f的视频样本X
′
进行尺寸变换得到变换尺寸视频样本X
″
，X
″
为c
×
f个w
×
h；w、h为固定值224；然后对X
″
进行最大最小值归一化处理得到归一化视频样本X
″′
，X
″′
为c
×
f个w
×
h矩阵；计算公式如下：式中x
″′
wh
代表矩阵X
″′
中的单个元素，x
″′
wh
∈(
‑
1，1)；x
″
wh
代表矩阵X
″′
中的单个元素，x
″
wh
∈(0，255)；x
min
代表归一化的最小值，x
min
＝
‑
1；x
max
代表归一化的最大值，x
max
＝1；(3)最后将n个归一化视频样本X
″′
组成一个集合X作为训练样本，X＝{X
″′1，X
″′2，X
″′3，
…
，X
″′
n
}；训练样本X为n
×
c
×
f个w
×
h矩阵；n为训练样本X中归一化视频样本X
″′
的数量，n∈N；步骤2、构建AFG
‑
NET网络模型，将训练样本X送入AFG
‑
NET网络模型中进行训练，并得到模型识别结果Y，具体步骤如下：(1)构建视频异常行为识别模型AFG
‑
NET，AFG
‑
NET由AFG、miniMSFP、Inception和二维卷积构成，计算公式如下所示：AFG
‑
NET(X)＝Inception(miniMSFP(Inception(Conv3×3(Conv1×1(Conv7×7(AFG(X)))))))式中，Conv1×1(
·
)代表1
×
1卷积，Conv3×3(
·
)代表3
×
3卷积，Conv7×7(
·
)代表7
×
7卷积，AFG代表注意力特征门控层，AFG由全局池化GAP(
·
)和多信道特征稀疏化函数sp(
·
)组成，计算公式如下：AFG(X)＝GAP(X)
×
sp(X)miniMSFP为小型多尺度融合块，miniMSFP由多尺度的平均池化和1
×
1卷积组合而成，计算公式如下：式中GAP(
·
)代表全局池化，Conv1×1(
·
)代表核为1
×
1的卷积，N代miniMSFP的尺度数量，N＝3；AP
k
×
k
(
·
)代表核为k
×
k的平均池化，k∈{3，5，7}；Inception代表多尺度特征提取块，Inception由3
×
3卷积Conv3×3(
·
)和1
×
1卷积Conv1×1(
·
)构成，计算公式如下：Inception(X)＝Concat(Conv1×1(X)，Conv3×3(Conv1×1(X))，Conv3×3(Conv1×1(X)))式中，Concat(X1，X2，X3)代表将特征X1、X2、X3的矩阵特征进行顺序排列得到X
Cat
，X1、X2、X3为n
×
c
×
f个w
×
h矩阵；X
Cat
为n
×
c
×3×
f个w
×
h矩阵；(2)将训练样本X，输入到AFG
‑
NET网络模型中；(3)AFG
‑
NET网络模型中的AFG层对训练样本X进行全局特征计算，得到全局池化特征X
GAP
，全局池化特征X
GAP
为n
×
c矩阵，X
GAP
∈(
‑
1，1)；计算公式如下：
X
GAP
＝GAP(X)＝X
n
×
c
·
mean(X
f
×
w
×
h
)式中GAP(
·
)代表对训练样本X的f、w、h维度进行全局池化，X代表训练样本，X
n
×
c
为训练样本X的n、c维度形成的n
×
c矩阵；mean(
·
)代表取均值，X
f
×
w
×
h
代表训练样本X的f、w、h维度形成的f个w
×
h矩阵；(4)AFG
‑
NET网络模型中的输入层AFG层对训练样本X进行多信道特征稀疏化，得到稀疏化特征X
SP
，疏化特征X
SP
为n
×
c个w
×
h矩阵的集合；计算公式如下：式中X代表训练样本，sp(
·
)为多信道特征稀疏化函数，x
i
是训练样本X以第三个维度展开的f个...

【专利技术属性】
技术研发人员：罗仁泽，谭亮，刘恒，林泓宇，邓治林，余泓，李华督，
申请(专利权)人：西南石油大学，
类型：发明
国别省市：