【技术实现步骤摘要】
基于残差注意力块和自选择学习结合的视频异常检测方法
[0001]本专利技术属于计算机视觉
，具体的说是涉及一种基于残差注意力块和自选择学习结合的视频异常检测方法。
技术介绍
[0002]视频异常检测是计算机视觉领域一个活跃且有挑战性的任务，其目的是准确检测出视频图像中出现异常事件的视频帧，例如交通事故、火灾或打斗等异常事件，对于保障公共安全具有重要意义。但是异常事件发生的概率很低并且种类众多，因此无法利用传统完全有监督的方式对每一个训练样本进行标注学习。
[0003]根据监督方式的不同，目前主流的视频异常检测方法主要分为三大类：半监督视频异常检测、弱监督视频异常检测和无监督视频异常检测。
[0004]在半监督视频异常检测的方法中，训练集只包含正常事件，模型学习和捕捉正常事件包含的正常特征，因此当模型检测到异常事件时，由于异常事件未参与模型训练，会产生更大的检测偏差，从而实现对异常事件的检测，如HF方法(Liu, Z., Nie, Y., Long, C., Zhang, Q., Li, G. 一种基于记...
【技术保护点】
【技术特征摘要】
1.一种基于残差注意力块和自选择学习结合的视频异常检测方法，其特征在于：所述视频异常检测方法包括如下步骤：步骤1：收集原始视频数据，利用对象检测器，提取前后若干视频帧的对象构建时间
‑
空间立方体即时空立方体；步骤2：随机打乱步骤1中时空立方体的空间或时间顺序，分别构建空间拼图立方体和时间拼图立方体；步骤3：利用步骤2中的空间拼图立方体和时间拼图立方体训练由两个预测分支构成的顺序预测模型：空间预测分支和时间预测分支，其中所述空间预测分支和所述时间预测分支均使用交叉熵损失指导训练过程；步骤4：对模型先进行5轮的热启动训练，即空间预测分支和时间预测分支的交叉熵损失跳过自选择学习阶段，直接执行步骤6的梯度反向传播步骤；步骤5：在步骤4中的热启动训练之后，其后的每一轮训练过程中，对于一个批次的训练样本损失，利用自选择学习策略分别对步骤3中两个分支的交叉熵损失进行自选择学习，剔除可疑的异常样本损失；步骤6：所述步骤5后剩余的样本损失参与梯度反向传播过程，更新网络参数，经过多轮迭代训练，得到最终的顺序预测模型；步骤7：对待测视频进行步骤1中的对象提取操作，获得待测时空立方体；步骤8：对于步骤7获得的待测时空立方体，不打乱其空间顺序和时间顺序，直接输入到步骤6训练得到的最终顺序预测模型中，通过比较，取模型所预测顺序得分的最小值，获得待测时空立方体的空间和时间预测得分；步骤9：对步骤8中的两个预测得分进行整合，获得待测时空立方体最终的对象预测得分，对一帧待测视频图像中多个对象预测得分进行比较，取最小的对象得分作为最终的视频帧异常分数，对所有视频帧异常分数进行比较，异常分数偏低的视频帧判定为异常视频帧，从而实现视频异常检测。2.根据权利要求1所述的基于残差注意力块和自选择学习结合的视频异常检测方法，其特征在于：步骤3中，顺序预测模型的所述空间预测分支和所述时间预测分支分别预测被打乱的空间顺序和时间顺序，所述空间预测分支和所述时间预测分支具有相同的结构，均由连续多个全新残差注意力模块构建而成。3.根据权利要求2所述的基于残差注意力块和自选择学习结合的视频异常检测方法，其特征在于：所述全新残差注意力模块由残差模块、注意力模块和跳跃连接三部分组成，所述残差模块由2个3D卷积层、2个3D实例归一化层和1个ReLu激活函数构成，所述注意力模块包括1个全局池化层、2个全连接层、1个ReLu激活函数和1个Sigmoid激活函数，所述跳跃连接直接将输入残差注意力模块的特征图与卷积后的特征图相加，形成输出特征图。4.根据权利要求1或3所述的基于残差注意力块和自选择学习结合的视频异常检测方法，其特征在于：步骤3中所述空间预测分支和所述时间预测分支训练过程中使用的交叉熵损失函数具体为：
；其中，和...
【专利技术属性】
技术研发人员：李群，潘许贝，肖甫，盛碧云，沙乐天，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。