【技术实现步骤摘要】
本专利技术涉及视频异常检测，特别是涉及一种视频异常检测方法、装置、芯片及存储介质。
技术介绍
1、视频异常检测通常被认为是一种无监督任务，现有的无监督视频异常检测方法通常使用基于重构或者基于预测的方法。例如用连续的多帧图像预测下一帧，并加入光流约束来提取运动特征，或者使用基于双生成器的框架来学习正常场景之间的交互，并通过引入运动位置注意来捕获空间域和时间域中的全局依赖。
2、可见，现有的无监督视频异常检测方法侧重于特征提取，而忽略了视频的双向一致性，即使利用了双向一致性，如相关论文z.fang,j.liang,j.t.zhou,y.xiao,andf.yang,“anomaly detection with bidirectional consistency in videos,”ieeetrans.neural netw.learn.syst.,vol.33,no.3,pp.1079–1092,2022，其也需要多个预测未来帧作为输入，但是这在实时情况下是不可能实现的。
技术实现思路
1、基于此，本专利技术提供一种视频异常检测方法、装置、芯片及存储介质，以解决现有的无监督视频异常检测方法不能捕捉正常事件的全部运动，且无法灵活利用视频的双向一致性的问题。
2、第一方面，提供一种视频异常检测方法，包括：
3、获取输入视频分解后的运动部分、场景部分和对象部分；
4、对运动部分进行运动重建，获得运动原型；所述运动原型为一次更新永久原型；p>
5、对场景部分和对象部分，设计前向过程和反向过程，在前向过程中，通过融合场景部分和对象部分的特征预测所述输入视频的预测未来帧；在反向过程中，与所述前向过程级联，基于所述预测未来帧、所述输入视频和所述运动原型重构所述输入视频的预测初始帧；
6、根据所述预测未来帧和所述预测初始帧进行无监督异常检测，输出输入视频的异常检测结果。
7、可选地，对运动部分进行的运动重建，以及对场景部分和对象部分设计的前向过程和反向过程，通过两阶端存储器的两个分支执行。
8、可选地，根据所述预测未来帧、所述输入视频和所述运动原型重构所述输入视频的预测初始帧，包括：
9、将所述输入视频的原始初始帧删除，并合并所述预测未来帧，获得中间视频；
10、获取所述中间视频的反向序列；
11、计算所述中间视频和所述反向序列的rgb差值；
12、获取所述运动原型；
13、将基于所述中间视频和所述反向序列的rgb差值及所述运动原型作为预测初始帧的网络的输入，以获得预测初始帧。
14、可选地，将基于所述中间视频和所述反向序列的rgb差值及所述运动原型作为预测初始帧的网络的输入，包括：
15、在反向过程中，学习并记录视频时空原型；
16、通过基于所述中间视频和所述反向序列的rgb差值更新所述视频时空原型；
17、将运动原型的运动特征和视频时空原型学习的运动特征融合，作为预测初始帧的网络的输入。
18、可选地，基于所述预测未来帧和所述预测初始帧进行无监督异常检测，输出输入视频的异常检测结果，包括：
19、计算真实值的块级峰值信噪比；
20、使用最大和最小正则化函数约束所述真实值的块级峰值信噪比的范围，并使用高斯滤波对其进行平滑，得到预测未来帧的异常评分和预测初始帧的异常评分；
21、将预测未来帧的异常评分和预测初始帧的异常评分相结合，得到最终异常分数；
22、所述最终异常分数大于预设数值时，将存在异常情况作为输入视频的异常检测结果输出。
23、可选地，计算了真实值的块级峰值信噪比，公式为：
24、
25、其中i＝1,5分别表示初始帧和未来帧。ii和表示真实值和预测值。表示基于块级别的最大预测误差。
26、使用最大最小正则化函数约束真实值的块级峰值信噪比的范围为[0,1]，并使用高斯滤波对其进行平滑，得到预测未来帧的异常评分和预测初始帧的异常评分：
27、
28、其中，g(·)为高斯滤波运算；
29、将预测未来帧的异常分数sf与预测初始帧的异常分数si相结合，得到最终异常分数：s＝sf+λsi；
30、其中，λ为平衡预测未来帧和预测初始帧的异常分数的超参数。
31、可选地，λ＝0.2。
32、第二方面提供一种视频异常检测装置，包括：
33、数据获取模块，用于获取输入视频分解后的运动部分、场景部分和对象部分；
34、运动重建模块，用于对运动部分进行运动重建，获得运动原型；所述运动原型为一次更新永久原型；
35、预测模块，用于对场景部分和对象部分，设计前向过程和反向过程，在前向过程中，通过融合场景部分和对象部分的特征预测所述输入视频的预测未来帧；在反向过程中，与所述前向过程级联，基于所述预测未来帧、所述输入视频和所述运动原型重构所述输入视频的预测初始帧；
36、异常检测模块，用于根据所述预测未来帧和所述预测初始帧进行无监督异常检测，输出输入视频的异常检测结果。
37、第三方面，提供一种芯片，包括第一处理器，用于从第一存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1至7任一项所述的视频异常检测方法的各个步骤。
38、第四方面，提供一种终端，包括第二存储器、第二处理器以及存储在所述第二存储器中并可在所述第二处理器上运行的计算机程序，第二处理器执行所述计算机程序时实现如上介绍的视频异常检测方法的各个步骤。
39、上述视频异常检测方法及用于视频异常检测的两阶端存储器，输入视频被分解为运动部分、场景部分和对象部分；视频异常检测方法分为两个大阶段，分别为基于运动部分的阶段，以及基于场景部分和对象部分的阶段，其中，基于运动部分的阶段单独记录运动部分的运动原型，从而提取全面的运动特征，重建完整的运动片段。基于场景部分和对象部分的阶段又包括前向过程和反向过程，反向过程与前向过程级联，用于预测预测未来帧和预测初始帧，最后使用预测未来帧和预测初始帧的异常评分来共同评估异常。在前向过程中通过融合场景部分和对象部分的特征预测输入视频的预测未来帧，其并不对输入视频的原始帧进行编码，而是将场景和对象分别编码并融合以获得预测未来帧，有助于提取细粒度的视频特征，从而使得预测的未来帧包含更多细节。在反向过程中，基于预测未来帧和输入视频进行编码，并通过运动原型增强来预测初始帧；基于上述的前向过程和反向过程，本专利技术实施例视频异常检测方法充分利用了视频的固有属性，即双向一致性，显著提高视频帧预测的准确性，从而提高视频异常检测的性能，此外，前向和反向级联处理增加了异常的积累，降低了网络对异常帧的预测能力，从而增大了正常帧和异常帧之间的预测差距，提高了异常检测的准确性。
本文档来自技高网...【技术保护点】
1.一种视频异常检测方法，其特征在于，包括：
2.如权利要求1所述的视频异常检测方法，其特征在于，对运动部分进行的运动重建，以及对场景部分和对象部分设计的前向过程和反向过程，通过两阶端存储器的两个分支执行。
3.如权利要求1所述的视频异常检测方法，其特征在于，根据所述预测未来帧、所述输入视频和所述运动原型重构所述输入视频的预测初始帧，包括：
4.如权利要求3所述的视频异常检测方法，其特征在于，将基于所述中间视频和所述反向序列的RGB差值及所述运动原型作为预测初始帧的网络的输入，包括：
5.如权利要求1所述的视频异常检测方法，其特征在于，基于所述预测未来帧和所述预测初始帧进行无监督异常检测，输出输入视频的异常检测结果，包括：
6.如权利要求5所述的视频异常检测方法，其特征在于，计算了真实值的块级峰值信噪比，公式为：
7.如权利要求6所述的视频异常检测方法，其特征在于，λ＝0.2。
8.一种视频异常检测装置，其特征在于，包括：
9.一种芯片，其特征在于，包括：第一处理器，用于从第一存储器中
10.一种终端，其特征在于，包括第二存储器、第二处理器以及存储在所述第二存储器中并可在所述第二处理器上运行的计算机程序，所述第二处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的视频异常检测方法的步骤。
...【技术特征摘要】
1.一种视频异常检测方法，其特征在于，包括：
2.如权利要求1所述的视频异常检测方法，其特征在于，对运动部分进行的运动重建，以及对场景部分和对象部分设计的前向过程和反向过程，通过两阶端存储器的两个分支执行。
3.如权利要求1所述的视频异常检测方法，其特征在于，根据所述预测未来帧、所述输入视频和所述运动原型重构所述输入视频的预测初始帧，包括：
4.如权利要求3所述的视频异常检测方法，其特征在于，将基于所述中间视频和所述反向序列的rgb差值及所述运动原型作为预测初始帧的网络的输入，包括：
5.如权利要求1所述的视频异常检测方法，其特征在于，基于所述预测未来帧和所述预测初始帧进行无监督异常检测，输出输入视频的异常...
【专利技术属性】
技术研发人员：朱冬，宋雯，方向明，唐国梅，张建，
申请(专利权)人：七腾机器人有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。