一种基于改进SSD的人群异常行为检测方法技术

一种基于改进SSD的人群异常行为检测方法，对预处理的人群异常行为数据集进行训练并评估SSD网络模型，针对SSD网络模型存在的参数量多导致模型实时性差、无法检测存在部分遮挡的异常行为从而导致检测精度低的问题进行改进，将轻量网络MobileNetv2作为SSD模型的特征提取网络，并嵌入了可变形卷积模块构建卷积层来增强感受野；在此基础上对输出的特征图经过坐标注意力机制进行特征增强，通过学习上下文关系，能够捕获空间位置之间的远程依赖关系，根据未遮挡部分来预测遮挡部分以此来有效改善遮挡问题；本发明专利技术针对的异常行为数据集均是自然状态下发生的，可准确地检测人群异常行为的类别及位置，同时模型对数据集场景中存在的部分遮挡情况的检测有所改善，具有良好的应用前景。前景。前景。

【技术实现步骤摘要】
一种基于改进SSD的人群异常行为检测方法


[0001]本专利技术涉及人群异常行为检测
，具体涉及一种基于改进SSD的人群异常行为检测方法。

技术介绍

[0002]异常行为检测作为机器视觉领域和图像处理中的热门研究方向，备受研究人员关注。公共安全事件的频发对百姓的人身安全造成了严重威胁，视频资源作为客观世界最直观的表达形式，在维护社会公共安全领域发挥着重要作用。传统检测方法一般先从视频序列中分割出待测目标，然后特征提取并比对提取到的人群行为特征和标准库中异常行为样本，最后交给分类器判断异常行为是否存在。但是如果数据量较大，此方法则显示出计算能力不足，深层次特征无法表达的问题，使监控设备无法实现对场景的异常行为及时报警。如果使用智能监控系统实时监控异常情况，并对异常情况进行报警，这样一来可以减轻公共安全事件对社会带来的影响。
[0003]随着深度学习相关研究的蓬勃发展，研究人员开始探索基于深度学习的人群异常行为检测，深度学习的方法更能高效地解决问题。胡学敏等人提出一种基于深度时空卷积神经网络的群体异常事件检测算法，其利用每帧视频的空间特征与前后帧的时间特征，将二维卷积运算扩展到了三维空间，并将视频区域划分为若干子区域获取其空间特征，最后将空间特征输入到深度时空卷积网络进行训练和分类。Almazroey等人提出一种基于深度学习的算法来检测监控视频中人群的异常行为，该算法利用视频中提取到的关键帧光流的大小、方向、速度特征生成多个2D模型特征，最后将2D模型特征输入预训练的AlexNet模型中进行判断。穆永林等人基于生成对抗网络(Generative Adversarial Networks，GANs)提出了一个人群异常事件检测的算法，该算法使用正常事件样本训练出一对生成对抗网络，将其中一个生成对抗网络作为输入并生成对应的光流特征，再将光流特征输入另一个生成对抗网络并产生对应的帧，最后分析生成的帧图像和真实帧之间的差异来检测和定位异常事件。
[0004]在某些场景下，监控画面中所包含的人群异常行为特征通常受到背景环境复杂、拥挤、遮挡等影响，这些因素都会导致人群异常行为检测算法的准确性和检测速度大大降低。目前使用较多的深度学习方法虽然取得了较好发展，但是多数算法复杂度较高，在真实场景下会耗费大量计算资源，降低了网络的运行速度，且无法确保在复杂场景(如遮挡等条件)下人群异常行为检测的准确性。

技术实现思路

[0005]为了克服上述现有技术存在的缺陷，本专利技术的目的在于提供一种基于改进SSD的人群异常行为检测方法，该方法在标准SSD网络基础上将轻量网络MobileNet v2代替原始特征提取网络VGG
‑
16，并通过可变形卷积模块构建卷积层来增强感受野，然后通过将位置信息整合到通道注意力中来进行特征增强，能够捕获空间位置之间的远程依赖关系，从而
可以改善重叠遮挡的技术问题，具有广阔的应用前景。
[0006]为了达到上述目的，本专利技术采取的技术方案为：
[0007]一种基于改进SSD的人群异常行为检测方法，具体包括以下步骤：
[0008]步骤一、数据预处理：包括视频帧序列化、图像标注、划分数据集
[0009]1)视频帧序列化：通过python中集成的多媒体操作开源程序，对视频进行包括裁剪、截取功能；
[0010]2)图像标注：利用图像标注工具对异常行为检测数据集进行标注，将每幅图像中的异常行为分别用矩形框框出来，并标明所属类别；
[0011]3)划分数据集：将第2)步扩充得到的数据集划分为训练集及测试集，并将原始图片压缩为SSD网络默认大小的图像；
[0012]步骤二、训练并评估SSD网络模型
[0013]将步骤一第3)步处理完成的图像作为SSD网络模型的输入图像，并设置SSD网络模型的运行参数，在实验操作平台上对SSD网络模型进行训练，然后采用异常行为检测领域常用的评估指标对训练的SSD网络模型进行效果评估；
[0014]步骤三、针对步骤二评估进行SSD网络改进
[0015]1)替换特征提取网络
[0016]将SSD网络的特征提取网络替换为轻量网络MobileNet v2网络，以减小网络模型参数规模；
[0017]2)嵌入可变形卷积模块
[0018]通过增加方向向量改变传统卷积核固定的尺寸和大小，使其能够自适应调整自身形状应对不同尺度、形变的目标主体，从而更好地提取输入特征；
[0019]3)设计注意力机制模块
[0020]SSD网络模型通过提取SSD网络默认的六个不同尺度的特征图来检测目标对象，特征图中包含了包括特征通道和位置信息，图中内容对目标检测任务的结果贡献不同即显著性不同，利用坐标注意力模块，通过学习的方式，抑制不显著的特征，增强网络中特征的表达能力，通过学习得到上下文关系，能够捕获空间位置之间的远程依赖关系，根据人群中未遮挡部分的异常行为来预测遮挡部分的异常行为，进而提升目标检测效果；
[0021]步骤四、训练改进SSD网络
[0022]将步骤一第3)步中经数据处理过的图像作为步骤三中改进SSD网络的输入图像，并设置网络模型的运行参数，在实验操作平台上对步骤三改进的SSD网络模型进行训练，采用异常行为检测领域常用的评估指标对改进SSD的检测结果进行评估，并输出最终异常行为检测结果。
[0023]所述步骤三第2)步的具体方法如下：
[0024]2.1)输入图片经过一个普通卷积得到输入特征图；
[0025]2.2)将输入特征图上半部分卷积得到偏移量ΔP
n
；
[0026]2.3)使用双线性插值来表示偏移位置；
[0027]2.4)将获得的偏移量加到输入特征图得到新的采样位置，然后使用卷积核提取特征得到输出特征图；
[0028]卷积核的定义：
[0029]R＝{(
‑
1，
‑
1)，(
‑
1，0)，...(0,1)，(1,1)}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0030]其中，R定义了感受野的大小和扩张；
[0031]普通卷积的输出是：
[0032][0033]其中，X为输入，Y为输出，W为权重矩阵，P0为特征图上的每个点，P
n
是网格中的n个点；
[0034]可变形卷积的输出是：
[0035][0036]其中，ΔP
n
为坐标偏移量。
[0037]所述步骤三第3)步的具体方法如下：
[0038]坐标注意力模块将通道注意力分解为两个并行的一维特征编码过程，把空间坐标信息有效整合到生成的注意图中；即对X水平和Y垂直方向执行平均池化得到两个一维向量，接下来在空间维度上拼接和1
×
1卷积来压缩通道，然后通过BN层和ReLU来编码两个方向的空间信息并切分，接着各自通过卷积得到和输入特征图相同的通道数，归一化加权，最后与原特征图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进SSD的人群异常行为检测方法，其特征在于：具体包括以下步骤：步骤一、数据预处理：包括视频帧序列化、图像标注、划分数据集1)视频帧序列化：通过python中集成的多媒体操作开源程序，对视频进行包括裁剪、截取功能；2)图像标注：利用图像标注工具对异常行为检测数据集进行标注，将每幅图像中的异常行为分别用矩形框框出来，并标明所属类别；3)划分数据集：将第2)步扩充得到的数据集划分为训练集及测试集，并将原始图片压缩为SSD网络默认大小的图像；步骤二、训练并评估SSD网络模型将步骤一第3)步处理完成的图像作为SSD网络模型的输入图像，并设置SSD网络模型的运行参数，在实验操作平台上对SSD网络模型进行训练，然后采用异常行为检测领域常用的评估指标对训练的SSD网络模型进行效果评估；步骤三、针对步骤二评估进行SSD网络改进1)替换特征提取网络将SSD网络的特征提取网络替换为轻量网络MobileNet v2网络，以减小网络模型参数规模；2)嵌入可变形卷积模块通过增加方向向量改变传统卷积核固定的尺寸和大小，使其能够自适应调整自身形状应对不同尺度、形变的目标主体，从而更好地提取输入特征；3)设计注意力机制模块SSD网络模型通过提取SSD网络默认的六个不同尺度的特征图来检测目标对象，特征图中包含了包括特征通道和位置信息，图中内容对目标检测任务的结果贡献不同即显著性不同，利用坐标注意力模块，通过学习的方式，抑制不显著的特征，增强网络中特征的表达能力，通过学习得到上下文关系，能够捕获空间位置之间的远程依赖关系，根据人群中未遮挡部分的异常行为来预测遮挡部分的异常行为，进而提升目标检测效果；步骤四、训练改进SSD网络将步骤一第3)步中经数据处理过的图像作为步骤三中改进SSD网络的输入图像，并设置网络模型的运行参数，在实验操作平台上对步骤三改进的SSD网络模型进行训练，采用异常行为检测领域常用的评估指标对改进SSD的检测结果进行评估，并输出最终异常行为检测结果。2.根据权利要求1所述的一种基于改进SSD的人群异常行为检测方法，其特征在于：所述步骤三第2)步的具体方法如下：2.1)输入图片经过一个普通卷积得到输入特征图；2.2)将输入特征图上半部分卷积得到偏移量ΔP
n
；2.3)使用双线性插值来表示偏移位置；2.4)将获得的偏移量加...

【专利技术属性】
技术研发人员：亢洁，田野，王佳乐，冯树杰，王勍，张万虎，刘佳，
申请(专利权)人：陕西科技大学，
类型：发明
国别省市：