基于EANN深度学习模型的暴力异常行为检测方法技术

本发明专利技术提出一种基于EANN深度学习模型的暴力异常行为检测方法，包括(1)获得待检测视频，基于帧差法对视频中连续两帧进行差分，得到差分图像作为EANN模型的输入；(2)基于卷积神经网络Efficentnet提取图像空间特征；(3)基于ConvLSTM对步骤(2)中提取的空间特征进行连续时间上的编码，获得视频的局部时空特征；(4)针对步骤(3)所获得的时空特征，利用注意力机制对剧烈运动部分进行加强；(5)基于全连接层对步骤(4)的输出进行分类，得到该视频暴力异常行为的概率，进而实现对暴力异常行为的检测。本发明专利技术所提出的方法在保持精度损失很小的情况下，大幅度降低了参数量，提升网络运行速度；与传统方法相比，精度提升幅度明显，鲁棒性强，具有较高的实际应用及推广价值。

Detection method of violence abnormal behavior based on Eann deep learning model

【技术实现步骤摘要】
基于EANN深度学习模型的暴力异常行为检测方法
本专利技术涉及视频中暴力异常行为检测领域，具体涉及一种基于EANN深度学习模型的暴力异常行为检测方法。
技术介绍
异常行为检测在安防领域有着十分重要的价值，尤其是对暴力异常行为的检测，对国家经济发展，社会安全和稳定具有重要的意义，越来越多的研究者关注着这个研究方向。暴力异常行为检测在简单场景下的识别比较成熟，但是对于群组暴力异常行为识别具有很大的挑战性，并且人越多，情况越复杂，这种场景在游行示威和公共交通等场景下又非常常见。暴力异常行为检测的方法大致可以分为两个大的类别，一个是基于传统手工特征的方法，另一个是基于深度学习的方法。基于传统手工特征的暴力异常行为检测方法，如总结的兴趣点，光流场，加速模式和群体纹理，由于研究时间较长，算法比较成熟，速度很快，但是这些特征过分依赖于特征工程，对研究人员的要求很高，在特定场景下可靠，但是鲁棒性不强，模型的泛化能力有限。基于深度学习的方法能够自动学习出数据的特征，把更多的精力集中在了模型设计上，现在用于暴力异常行为检测的深度学习方法，比如基于VGG的暴力异常行为检测模型，基于残差网络的暴力异常行为检测模型，基于AlexNet的暴力异常行为检测模型等等，虽然精度非常高，但是参数量巨大，这在实际应用中会消耗大量的计算资源和存储空间，这就不适合一些对时间效率要求很高的场景，限制了深度学习的应用场景。因此，设计一个高效的暴力异常行为检测网络，不仅要保持现有网络的高精度的优势，又要使得参数量最大限度的降低，将成为未来研究的一个方向。
技术实现思路
本专利技术针对现有技术中存在的缺陷，提出一种基于EANN深度学习模型的暴力异常行为检测方法。本专利技术是采用以下的技术方案实现的：一种基于EANN深度学习模型的暴力异常行为检测方法，包括以下步骤：步骤S1、获得待检测视频，基于帧差法对视频中连续两帧图像进行差分，得到差分图像作为EANN模型的输入；步骤S2、基于卷积神经网络Efficientnet提取差分图像的空间特征；步骤S3、基于ConvLSTM对步骤S2提取的空间特征进行连续时间上的编码，获得视频的局部时空特征；步骤S4、针对步骤S3所获得的局部时空特征，利用注意力机制对剧烈运动部分进行加强；步骤S5、基于全连接层对步骤S4的输出进行分类，得到该视频暴力异常行为的概率，进而实现对暴力异常行为的检测。进一步的，所述EANN深度学习模型包括输入层、空间特征提取层、局部时空特征编码层、注意力机制层和全连接层，所述卷积神经网络提取空间特征层基于EfficientNet实现，所述局部时空特征编码层基于ConvLSTM实现。进一步的，所述步骤S2中，在提取空间特征时，Eficientnet基于复合缩放方法，基于一个复合系数φ来统一的缩放网络的宽度、深度和分辨率。进一步的，所述步骤S2中，EfficientNet的搜索方式包括两步：(1)固定设有两倍的资源可用，做一个关于α,β,γ的网格搜索，α,β,γ是常量，且α,β,γ服从约束α·β2·γ2≈2；(2)把α,β,γ固定为常量，用不同的φ来缩放网络，以得到EfficientNet不同层的变体网络。进一步的，所述步骤S4中，注意力机制对剧烈运动部分进行加强时，基于按位点积的方式实现：(1)设X＝{x1,x2,…,xn}为网络层的输入，具体为Efficientnet+ConvLstm生成的局部时空特征作为输入，Y＝{y1,y2,…,yn}为网络层的输出；(2)注意力机制对Efficientnet+ConvLstm生成的局部时空特征，按照剧烈程度分配权重，再按照点积的方式对信息进行融合；(3)最后，经过全连接+softmax实现是否是剧烈运动异常行为的判别，得到最终的输出。与现有技术相比，本专利技术的优点和积极效果在于：本方案所提出的暴力异常行为检测方法，基于EANN深度学习模型实现，首先利用AutoML的产生的网络结构，基于AutoML中的神经网络架构搜索方法(NAS)能从设计的原始网络中得到原始网络的最佳网络结构，这样避免了人工设计网络的弊端，也能够得到一个当前网络下的最佳模型；然后利用注意力机制在原有的特征的基础上产生更适合特定场景的重要特征，并且注意力机制的计算代价引入很小。该模型与其他轻量级的深度学习方法方法比较，在保持精度损失很小的情况下，大幅度降低了参数量，与传统方法相比，精度提升幅度明显，鲁棒性强，并且不依赖于手工特征。附图说明图1为本专利技术实施例所述的EANN网络模型结构示意图；图2为本专利技术实施例所述的EfficientNetB0结构示意图；图3为本专利技术实施例所述的ConvLSTM的内部结构示意图；图4为本专利技术实施例所述的注意力机制示意图。具体实施方式为了能够更清楚的理解本专利技术的上述目的和优点，下面结合附图对本专利技术的具体实施方式做详细地描述：首先，需要解释的是：本方案设计的EANN(EfficientAttention-basedNeuralNetworks)模型，包括输入层、空间特征提取层、局部时空特征编码层、注意力机制层和全连接层，卷积神经网络提取空间特征层基于EfficientNet实现，局部时空特征编码层基于ConvLSTM实现，该模型融合了AutoML(AutomatedMachineLearning)的高效神经网络，并结合ConvLSTM提取空间时序特征，最后利用注意力机制来提升模型对差异化特征建模的性能，在精度和模型效率上都达到了最佳的性能。本实施例提出一种基于EANN深度学习模型的暴力异常行为检测方法，包括以下步骤：步骤S1、获得待检测视频，基于帧差法对视频中连续两帧进行差分，得到差分图像作为EANN模型的输入；步骤S2、基于卷积神经网络Efficientnet提取差分图像空间特征；步骤S3、基于ConvLSTM对步骤S2提取的空间特征进行连续时间上的编码，获得视频的局部时空特征；步骤S4、针对步骤S3所获得的局部时空特征，利用注意力机制对剧烈运动部分进行加强；步骤S5、基于全连接层对步骤S4的输出进行分类，得到该视频暴力异常行为的概率，进而实现对暴力异常行为的检测。下面结合具体的模型结构及处理原则对上述方法原理进行详细的介绍，具体的：步骤S1中，本实施例可选用10帧或者20帧序列，基于帧差法对视频中连续两帧进行差分，这些序列在原视频中为两两相邻，作为EANN模型的输入；步骤S2中，所述卷积神经网络选择AutoML训练出来的EfficientNet，EfficientNet分别处理每一帧图像，提取图像的空间特征，在训练期间权重是共享的，最初的权重是在ImageNet上预训练的权重。在提取空间特征时，Efficientnet基于复合缩放方法(compundscalingmethod)，使用一个复合系数φ来本文档来自技高网...

【技术保护点】
1.基于EANN深度学习模型的暴力异常行为检测方法，其特征在于，包括以下步骤：/n步骤S1、获得待检测视频，基于帧差法对视频中连续两帧图像进行差分，得到差分图像作为EANN模型的输入；/n步骤S2、基于卷积神经网络Efficentnet提取差分图像的空间特征；/n步骤S3、基于ConvLSTM对步骤S2提取的空间特征进行连续时间上的编码，获得视频的局部时空特征；/n步骤S4、针对步骤S3所获得的局部时空特征，利用注意力机制对剧烈运动部分进行加强；/n步骤S5、基于全连接层对步骤S4的输出进行分类，得到该视频暴力异常行为的概率，进而实现对暴力异常行为的检测。/n

【技术特征摘要】
1.基于EANN深度学习模型的暴力异常行为检测方法，其特征在于，包括以下步骤：
步骤S1、获得待检测视频，基于帧差法对视频中连续两帧图像进行差分，得到差分图像作为EANN模型的输入；
步骤S2、基于卷积神经网络Efficentnet提取差分图像的空间特征；
步骤S3、基于ConvLSTM对步骤S2提取的空间特征进行连续时间上的编码，获得视频的局部时空特征；
步骤S4、针对步骤S3所获得的局部时空特征，利用注意力机制对剧烈运动部分进行加强；
步骤S5、基于全连接层对步骤S4的输出进行分类，得到该视频暴力异常行为的概率，进而实现对暴力异常行为的检测。


2.根据权利要求1所述的基于EANN深度学习模型的暴力异常行为检测方法，其特征在于：所述EANN深度学习模型包括输入层、空间特征提取层、局部时空特征编码层、注意力机制层和全连接层，所述卷积神经网络提取空间特征层基于EfficientNet实现，所述局部时空特征提取层基于ConvLSTM实现。


3.根据权利要求1所述的基于EANN深度学习模型的暴力异常行为检测方法，其特征在于：所述步骤S2中，在提取空间特征时，Eficientnet采用复...

【专利技术属性】
技术研发人员：王传旭，杜彤彤，闫春娟，
申请(专利权)人：青岛科技大学，
类型：发明
国别省市：山东;37