一种基于时空自编码器网络和时空CNN的行为异常检测方法技术

本发明专利技术公开了一种基于时空自编码器网络和时空CNN的行为异常检测方法，考虑群体异常行为稀少并且难以界定，检测模型难以学习到异常行为的特征信息，先用正样本训练时空自编码器网络，再将包含异常行为的视频输入时空自编码器网络，通过选择重建误差阈值筛选负样本，对筛选后负样本再进行扩充，减轻正负样本不均衡的程度；通过筛选后的负样本和原有正样本训练时空CNN，得到最终的检测模型；通过构建时空自编码器网络网络和时空CNN，这两个网络都可以从视频中提取高级语义特征，实现了视频图像中异常人群行为的检测，并提高了该算法在各种场景下的适用性。由于时空CNN模型结构简单，可以在仅使用CPU的环境中实现高精度的实时检测。

【技术实现步骤摘要】
一种基于时空自编码器网络和时空CNN的行为异常检测方法
本专利技术涉及计算机视觉领域，具体涉及一种基于时空自编码器网络和时空CNN的行为异常检测方法。
技术介绍
近年来，随着视频监控数据的急剧增加和全民对于公共安全的日益重视，异常行为的检测得到了越来越广泛的关注。自然场景中人群异常行为的检测是异常检测技术的重要组成部分，在智能视频监控、保障社会公共安全中有重要作用。该技术利用从视频图像中提取的特征，达到检测和定位异常人群行为的目的。传统的异常人群行为检测采用轨迹追踪或基于时空特征检测的方法。轨迹追踪法通常提取各类轨迹特征，利用聚类算法认定异常行为，具有很高的计算成本，在拥挤的复杂环境中也难以有效提取轨迹信息。基于时空特征的方法着重于提取时间、空间维度的特征来表征运动状态，忽略了视频图像的高级语义特征。同时，大多数算法仅使用正常样本来训练模型，忽略了异常行为信息，不利于模型检测精度的进一步提高，无法实现高精度的实时检测。近年来随着深度学习的飞速发展，CNN已广泛应用于图像分类，目标检测，行人识别等计算机视觉领域，也在异常检测表现出本文档来自技高网...

【技术保护点】
1.一种行为异常检测方法，其特征在于，包括如下步骤：/n步骤1、获得人群行为的视频数据；/n步骤2、构建时空自编码器网络，并将步骤1中不含异常行为的视频数据输入该网络，进行训练；/n其中，时空自编码器网络的第一和第二层使用卷积方法对视频中的图像进行操作；第六和第七层使用反卷积方法对视频中的图像进行操作；第三、第四和第五层使用卷积长短期记忆网络；/n步骤3、将步骤1中包括正样本和负样本的视频数据同时输入到步骤2训练的时空自动编码器网络，计算得到所有样本的重构误差；将重构误差大于设定阈值的样本被定义为异常行为，并将其筛选为最终的负样本，基于最终的负样本，扩充负样本的数量；/n步骤4、构建时空CNN...

【技术特征摘要】
1.一种行为异常检测方法，其特征在于，包括如下步骤：
步骤1、获得人群行为的视频数据；
步骤2、构建时空自编码器网络，并将步骤1中不含异常行为的视频数据输入该网络，进行训练；
其中，时空自编码器网络的第一和第二层使用卷积方法对视频中的图像进行操作；第六和第七层使用反卷积方法对视频中的图像进行操作；第三、第四和第五层使用卷积长短期记忆网络；
步骤3、将步骤1中包括正样本和负样本的视频数据同时输入到步骤2训练的时空自动编码器网络，计算得到所有样本的重构误差；将重构误差大于设定阈值的样本被定义为异常行为，并将其筛选为最终的负样本，基于最终的负样本，扩充负样本的数量；
步骤4、构建时空CNN，并采用步骤1中获得的正样本以及经过步骤3筛选后的负样本训练该时空CNN，生成用于异常检测的最终模型；
步骤5、将待检测视频数据输入到步骤4的所述最终模型中进行异常行为检测。


2.如权利要求1所述的行为异常检测方法，其特征在于，对步骤1的视频数据和步骤5的待检测视频数据进行预处理，包括：
先将视频中每帧的像素大小进行统一；然后每帧视频切分成图像块，...

【专利技术属性】
技术研发人员：范哲意，吴迪，殷健源，刘志文，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11