一种基于外观和动作特征双预测的异常行为检测方法技术

本发明专利技术公开了一种基于外观和动作特征双预测的异常行为检测方法，涉及计算机视觉和人工智能领域。方法包括：(1)顺序读取视频帧序列，计算相邻图像的帧间差，获取固定长度的视频帧序列和对应的帧差图序列；(2)利用引入记忆增强模块的双流网络模型，分别通过外观和动作子网络提取属于正常行为的特有外观和动作特征，并预测视频帧图和帧差图；(3)将预测的视频帧和帧差图相加融合，得到最终的预测视频帧；(4)通过评估记忆增强模块所提取动作和外观特征以及最终预测图像质量获取该帧异常得分。本发明专利技术采用基于预测模型的深度学习方法，能够有效地将含异常行为的视频帧检测出来，提高了异常检测的准确率。高了异常检测的准确率。

【技术实现步骤摘要】
一种基于外观和动作特征双预测的异常行为检测方法


[0001]本专利技术涉及一种基于外观和动作特征双预测的异常行为检测方法，属于计算机视觉与安防监控领域。

技术介绍

[0002]异常行为检测是计算机视觉领域的一项技术，异常行为检测的目的是将视频中被认为是存在异常行为检测出来。在如今公共安全越来越引起关注，大量监控设备被部署在各个地点，由此产生巨量的视频资源，而靠人力来实时关注各个监控画面是及其困难的，且消耗大量的人力资源。使用异常行为检测算法可以对监控视频中的异常行为能够检测出来并及时发出警告，可以大大降低人力成本，提升效率。异常行为检测在视频监控、智能安防和交通运输等领域有着广阔的应用前景。
[0003]对于视频的异常行为检测，由于异常行为发生率低，数据收集困难的原因，当前大多数方法采用只使用正常视频进行训练的半监督学习方法，而基于重建或预测的方法由于其较好的检测效果成为主要使用的方法。此方法通过输入连续几帧视频到自编码器网络或生成对抗网络来重建输入帧或预测下一帧，通过判断视频重建或预测的好坏来衡量视频是否异常。虽然该类方法取得了较好的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于外观和动作特征双预测的异常行为检测方法，其特征在于，包括以下步骤：(1)顺序读取视频帧，计算相邻图像的帧间差，获取固定长度的视频帧序列和对应的帧差图序列；(2)利用引入记忆增强模块的双流网络模型，分别通过外观子网络和动作子网络提取属于正常行为的特有外观和动作特征，并预测视频帧图和帧差图；(3)将预测的视频帧和帧差图相加融合，得到最终的预测视频帧；(4)通过衡量记忆增强模块所提取动作和外观特征以及最终预测图像质量获取该帧异常得分。2.根据权利要求1所述的一种基于外观和动作特征双预测的异常行为检测方法，其特征在于，所述步骤(1)中帧差图计算方法为：对每个视频段，首先，提取该视频段的背景图像；其次，对于固定长度为t的视频帧序列，先减去背景图像，获取剔除背景的前景目标图像；最后，前后相邻帧相减得到长度为t-1的帧差图序列。3.根据权利要求1所述的一种基于外观和动作特征双预测的异常行为检测方法，其特征在于，所述步骤(2)中引入了记忆增强模块的双流网络结构包括外观子网络和动作子网络共两路卷积神经网络，所述外观子网络和动作子网络由相同结构的自编码器网络组成。4.根据权利要求1及3所述的一种基于外观和动作特征双预测的异常行为检测方法，其特征在于所述自编码器网络由编码器、解码器以及记忆增强模块组成；记忆增强模块级联在编码器与解码器之间。5.根据权利要求4所述的一种基于外观和动作特征双预测的异常行为检测方法，其特征在于，所述编码器和解码器的网络结构；所述编码器和解码器分别含有三个下采样层和三个上采样层；所述下采样层采用残差结构，两个支路分别采用最大池化和卷积来降低分辨率并增加通道数；所述上采样层两个支路采样不同大小的卷积核的反卷积来升高分辨率并减小通道数；编码器和解码器在相同分辨率的特征层使用跳连接。6.根据权利要求1所述的一种基于外观和动作特征双预测的异常行为检测方法，其特征在于，所述步骤(2)中的记忆增强模块包含存储M个用于将正常样本特征向量存储在本地的内存项；记忆增强模块分为读取和更新两个操作；所述读取操作同时存在网络的训练和测试阶段；读取操作步骤为：对于编码器输出特征z，计算z与内存项中存储特征p的余弦相似度，计算公...

【专利技术属性】
技术研发人员：陈洪刚，李自强，王正勇，何小海，刘强，吴晓红，熊书琪，
申请(专利权)人：四川大学，
类型：发明
国别省市：