一种基于深度学习和聚类人群异常聚集的检测方法技术

本发明专利技术本发明专利技术涉及人群异常检测方法技术领域，公开了一种基于深度学习和聚类的聚集人群异常的检测方法，其技术方案要点是：利用YOLOv5方法提取视频中的所有行人，随后利用聚类算法选取聚集的行人，经过FlowNet2处理后输入到DeepOC模型获得异常检测结果，通过高精度目标检测方法将行人与背景分开，通过聚集算法挑选参与聚集的行人，通过学习聚集人群的外观特征和时域特征，判断融合时空特征是否为离群点，是则为异常聚集人群，否则为正常，实现人群异常聚集检测；本发明专利技术解决了现实监控视频录像中的人群异常聚集问题。中的人群异常聚集问题。

【技术实现步骤摘要】
一种基于深度学习和聚类人群异常聚集的检测方法


[0001]本专利技术涉及人群异常检测方法
，尤其是一种基于深度学习和聚类人群异常聚集的检测方法。

技术介绍

[0002]异常事件检测目前存在两大主流方法。一种基于半监督学习方法，一种基于弱监督学习方法。半监督学习网络是利用堆叠卷积降噪自编码器或者对抗生成网络学习正常视频的特征分布，通过比较正常特征与异常特征的差异，完成异常事件检测。弱监督的学习网络根据弱标记的数据学习正常事件和异常事件的特征分布，并主动使得正常特征和异常特征的差异最大化，实现异常事件检测。
[0003]神经网络具有多层网络结构，能够自动提取出数据更高阶的特征，常用于文本、图像和视频的处理。通常来说人群异常事件总是发生在人与人之间，因此背景可视为数据噪声滤去，可以提高网络计算效率的同时减小背景噪声对网络性能的影响。基于深度学习的人群异常检测方法的主要思想为：利用高精度的目标检测网络检测原始数据中的行人，通过聚集算法挑选出参与聚集的行人，所有提取行人的外观和运动特征，通过比较正常事件特征与异常事件特征之间的差异，得出输入数据的异常概率，完成异常人群聚集的检测。
[0004]D.Xu，Y.Yan，E.Ricci和N.Sebe在其发表的论文“Learning Deep Representation of Appearance and Motion for Anomalous Event Detection”(British Machine Vision Conference(BMVC),2015)中提出一种基于堆叠降噪自编码器的半监督异常事件检测方法。该方法通过多个降噪自编码器同时学习数据中的空域特征和时域特征，然后利用解码器对空域数据和时域数据进行重构，使用一类分类SVM分类器对时空特征分别进行分类，最终经过后期融合获得异常分数。该方法虽然能同时学习空域与时域的信息，但是由于采用的是基于线性层的自编码器无法提取深层的特征信息，影响缺陷检测模型，导致在复杂场景中检测效果不理想。
[0005]W.Sultani，C.Chen和M.Shah在其论文“Real
‑
World Anomaly Detection in Surveillance Videos”(Conference on Computer Vision and Pattern Recognition(CVPR)，2018)中提出一种基于多实例学习的弱监督异常事件检测方法。该方法设置两种视频片段包，异常视频包至少含有一个异常片段，正常视频包只含有正常视频片段，通过C3D提取每个视频的深度特征然后使用线性链接层计算异常得分，在训练中使得异常包的特征分布始终远离正常包的特征分布，实现异常事件检测。该方法虽然可以有效检测异常事件，但是在训练中需要大量异常视频和标注成本，而在缺乏异常数据的实际场景中，无法提供大量的异常数据用来训练，不利于实际部署。

技术实现思路

[0006]针对
技术介绍
中提到的问题，本专利技术的目的是提供一种基于深度学习和聚类人群异常聚集检测方法，解决现实监控视频录像中的人群异常聚集问题。
[0007]本专利技术的上述技术目的是通过以下技术方案得以实现的：
[0008](1)使用YOLOv5检测并截取出视频中的行人，将所有Bounding Box(x0,y0,x1,y1)信息保存为List_bbx。
[0009](2)使用聚集算法检测聚集人群，并选取出参与聚集的行人；
[0010](2a)按顺序计算List_bbx中所有元素的对角线距离平方R，并按顺序存储为List_r，计算方式如下公式：
[0011]R＝(x1
‑
x0)2+(y1
‑
y0)2[0012]其中，x0,y0和x1,y1,分别为Bounding Box的左上角和右下角横纵坐标。
[0013](2b)按顺序计算List_bbx中所有元素的中心点C(c_x,c_y)，并按顺序存储为List_c，计算方式如下公式：
[0014][0015][0016]其中，x0,y0和x1,y1,分别为Bounding Box的左上角和右下角横纵坐标。
[0017](2c)对于List_c中的一点，将其加入空列表List_tmp，计算该点与其他任意一点之间的距离平方D，计算方法如下：
[0018]D＝(c_x1
‑
c_x0)2+(c_y1
‑
c_y0)2[0019]其中，c_x0,c_y0和c_x1,c_y1分别表示任意两个Bounding Box的中心点横纵坐标。定义一个调节参数λ，若D<λR，则将该点加入List_tmp，否则换下一个点，若所有List_c遍历完毕，则将List_tmp加入List_Cluster并清空List_tmp；
[0020](2c)循环(2b)步骤，直至计算完毕List_c中任意两点之间的距离；
[0021](2d)对于List_Cluster中任意两个子列表，若两者交集为非空，则将两子列表合并，最后滤除所有长度小于2的子列表，之后输出List_Cluster，并通过List_cluster中保存的索引值在List_bbx中提取出相应行人的Bounding Box。
[0022](3)使用FlowNet2计算每个被选中的行人的光流信息；
[0023](3a)根据每个行人第一帧的Bounding Box坐标截取接下来连续的16帧图像，重采样所有图像大小64
×
32pixel，并存储为List1；
[0024](3b)复制上一步的List1为List2，并将List2的第一帧删除，并复制最后一帧添加到List2的最后；
[0025](3c)将List1和List2分别按
’
Z
’
型顺序拼接成4
×
4(图像)的拼接图A和B。
[0026](3d)A作为第一帧，B作为第二帧输入到FlowNet2模型中，输出两张张量Flow_x和Flow_y分别描述横纵方向上的行人运动模式；
[0027](4)数据预处理：
[0028](4a)将A归一化到[0,1]区间内；
[0029](4b)将A、Flow_x和Flow_y分别按
’
Z
’
型顺序拆分为16张64
×
32的图像；
[0030](4c)将A拆分后的16张图像按顺序存储为List_A；
[0031](4d)将Flow_x和Flow_y拆分后的32张图像(f_x,f_y)，以一张f_x和一张f_y的顺
序间隔存储为列表List_M；
[0032](5)异常检测：
[0033](5a)训练阶段：将List_A和List_M输入DeepOC模型，使得损失函数优化至最小，等到模型收敛，保存训练好的模型；
[0034](5b本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习和聚类的聚集人群异常的检测方法，其特征在于，利用YOLOv5方法提取视频中的所有行人，随后利用聚类算法选取聚集的行人，经过FlowNet2处理后输入到DeepOC模型获得异常检测结果，具体步骤包括如下：(1)使用YOLOv5检测并截取出视频中的行人，将所有Bounding Box(x0,y0,x1,y1)信息保存为List_bbx。(2)使用聚集算法检测聚集人群，并选取出参与聚集的行人；(2a)按顺序计算List_bbx中所有元素的对角线距离平方R，并按顺序存储为List_r，计算方式如下公式：R＝(x1
‑
x0)2+(y1
‑
y0)2其中，x0,y0和x1,y1,分别为Bounding Box的左上角和右下角横纵坐标。(2b)按顺序计算List_bbx中所有元素的中心点C(c_x,c_y)，并按顺序存储为List_c，计算方式如下公式：计算方式如下公式：其中，x0,y0和x1,y1,分别为Bounding Box的左上角和右下角横纵坐标。(2c)对于List_c中的一点，将其加入空列表List_tmp，计算该点与其他任意一点之间的距离平方D，计算方法如下：D＝(c_x1
‑
c_x0)2+(c_y1
‑
c_y0)2其中，c_x0,c_y0和c_x1,c_y1分别表示任意两个Bounding Box的中心点横纵坐标。定义一个调节参数λ，若D<λR，则将该点加入List_tmp，否则换下一个点，若所有List_c遍历完毕，则将List_tmp加入List_Cluster并清空List_tmp；(2c)循环(2b)步骤，直至计算完毕List_c中任意两点之间的距离；(2d)对于List_Cluster中任意两个子列表，若...

【专利技术属性】
技术研发人员：刘静，何奎奎，冯辉，刘晓涛，
申请(专利权)人：西安电子科技大学广州研究院，
类型：发明
国别省市：