视频中的组群定位与异常行为检测方法技术

本发明专利技术公开了一种视频中的组群异常行为检测算法。首先，获取大量的视频图像数据作为训练样本，用于分析识别组群和异常行为检测；其次，采用基于空洞卷积的神经网络训练人群密度估计模型，得到视频图像人群密度图，并结合聚类方法对密度图进行点聚类，得到组群的位置和大小；再次，对所有的异常检测视频数据集，使用特征提取网络提取其时空特征，获得训练神经网络的输入，将训练样本输入到设置好参数的全连接神经网络，训练该神经网络，直至代价损失小到一定程度且达到最大迭代次数，得到训练好的模型；最后，根据组群识别得到的组群信息作为感兴趣区域，提取测试视频时空特征输入到训练好的异常检测模型，得到视频的异常检测分数。

Group location and abnormal behavior detection in video

The invention discloses a group abnormal behavior detection algorithm in video. Firstly, a large number of video image data are obtained as training samples for analysis and recognition of groups and abnormal behavior detection; secondly, neural network based on hole convolution is used to train the population density estimation model to get the video image population density map, and then the density map is point clustered with clustering method to get the location and size of groups; thirdly, all abnormal detection is considered In the frequency data set, the feature extraction network is used to extract its spatiotemporal features, obtain the input of the training neural network, input the training samples to the fully connected neural network with set parameters, train the neural network until the cost loss is small to a certain extent and reaches the maximum number of iterations, and obtain the trained model; finally, the group information obtained from the group identification is used as the region of interest Domain, extract the temporal and spatial features of test video and input them into the trained anomaly detection model to get the video anomaly detection score.

【技术实现步骤摘要】
视频中的组群定位与异常行为检测方法
本专利技术涉及视频图像处理及视频分析领域，具体而言，本专利技术涉及视频中的组群识别及几类特定异常行为检测方法。
技术介绍
视频中的组群异常行为分析在智能监控系统及无人机航拍视频处理中具有非常重大的意义，具有广泛的应用前景。异常检测是计算机视觉领域的研究热点，亦是难点。如何从大量的视频数据中有效的提取所需的信息，并对异常行为及时报警甚至提前预警，将对公共安全领域产生重大影响，不仅能节省大量的人力物力，还能最大限度的保障人们的生命财产安全。而当前的大部分视频监控系统需要人为调取视频数据并分析判断，不仅耗费了大量的资源，还不具有实时性和有效性。因此，重要的是设计一个能自动进行视频组群识别与异常检测的算法，以达到智能预警的目的。随着计算机技术的发展，基于公共安全的需要，视频中的组群识别与异常行为检测算法受到了广泛的关注，智能异常检测具有广泛的应用前景。组群的识别有助于获取组群的特性，理解组群的状态，从而有助于完成对视频中人群的异常行为分析。目前，异常行为检测算法主要可以分为两类：第一类是基于正常行为与异常行为模式之间的差异来检测异常的方法。这类方法又可以分为两种：(1)不需要对行为进行建模的方法。这种方法是通过对行为模式进行聚类，将其中小的聚类标注为异常，在进行异常检测时，将行为与数据库中的正常行为做相似度估计，当相似度差异超过一定阈值时，判定为异常。(2)构建正常行为模式的数据库，然后再将不符合数据库中行为模式的行为判断为异常。第二类是对异常行为进行建模的方法。首先获取异常行为的图像序列，然后获取其特征，包括轨迹、形状、速度等特征，然后再通过监督学习构建异常检测模型。这类方法理论是能得到较好的效果，但是获取大量的异常行为数据集很困难，手工进行标注也费时费力。
技术实现思路
基于标准监督学习的方法，获取大量的异常视频，并对视频进行标注，再训练一个异常检测模型。该算法虽然效果相对较好，但由于现实生活中，很难获得大量的含有异常行为的视频数据集，且对视频进行片段级标注会消耗大量的资源。异常事件发生的概率较小，一般持续时间较短，所以难以获取。针对上述问题，本专利技术提供了一种视频中的组群异常行为检测方法，在异常行为检测之前，先进行组群识别，获得视频中组群位置及人数；在异常学习过程中，同时对正常行为和异常行为进行学习，且不需要进行片段级的标注，节省大量人力物力。为了达到上述目的，本专利技术提供的技术方案是：步骤(1)获取大量的视频图像数据集；步骤(2)设计多列空洞卷积神经网络，得到人群密度图；步骤(3)结合Canopy方法和DBSCAN聚类方法对人群密度图进行点聚类来识别组群，快速得到组群的人数和位置信息；步骤(4)对所有的视频数据集，将组群位置作为检测的感兴趣区域，使用特征提取神经网络提取其视频时空特征，对提取的时空特征按时间顺序转化为若干个时空特征片段，生成训练样本集和测试样本集；步骤(5)将训练样本集输入至全连接神经网络；步骤(6)设置好全连接神经网络的训练参数，利用多实例学习排名损失函数进行训练，直至代价损失减小到一定程度且训练达到迭代最大次数，生成训练模型；步骤(7)将测试样本集输入至训练好的模型中，输出其对应的异常得分。进一步的，步骤(2)中的多列空洞卷积神经网络，具体包括：(2.1)每列子网络包含3个卷积层，其中前两个为空洞卷积层，且每列子网络具有相同的网络结构；(2.2)每列子网络中使用不同大小的卷积核来适应图像中不同大小的人群；(2.3)对具有较大卷积核的卷积神经网络(ConvolutionalNeuralNetwork,CNN)使用较少数量的滤波器；(2.4)最后把子网络的输出特征图通过1×1的卷积层做线性加权得到人群密度图。进一步的，步骤(3)中的具体实现方式如下：(3.1)首先通过Canopy粗聚类方法对密度图进行预聚类：设定的两个距离阈值T1和T2，其中T2<T1；首先从点集中随机选择一个点作为初始类，并在点集中删去该点；之后再随机选择点，计算该点与所有现存类的距离，如果对所有类d>T1，则将该点作为一个新的类中心，并删去该点；若存在类使得d<T2，则将该点归入该类并删去；否则，该点需参与下一次聚类；重复选取点进行以上的操作，直至点集为空；最终将点集生成若干个小簇，每个小簇都含有中心点，记为新的点集Q；(3.2)利用DBSCAN聚类方法对(3.1)获得的点集Q进行聚类，使Canopy粗聚类得到的小簇进一步划分成合适的大簇，形成最终的组群：预先设定一组参数(r,min_points)来表征样本的聚集程度，若某一个样本点r-邻域中最少存在min_pionts个样本点，则该点为高密度点；若点Q处于高密度点P的r-领域内，则称Q从P出发是直接密度可达的，如果序列P1,P2,…,Pn中所有的点Pi+1到Pi直接密度可达，则称Pn对P1密度可达，若点A，点B都对于点C密度可达，则称A，B密度相连；DBSCAN算法从某一高密度点出发不断寻找密度相连的点，直至该类的区域扩充为包含所有高密度点和边界点的最大区域，从而将紧密聚集在一起的高密度点组成一个类，得到几组不同的组群；(3.3)得到聚类结果之后，对每一个组群内的密度图进行积分得到该组群的人数，根据密度图聚类的位置在原图上标出人群位置。进一步的，步骤(4)中使用C3D三维卷积神经网络提取其视频时空特征，该网络具有8个卷积层，5个池化层以及2个全连接层，最后是一个SoftMax输出层，全部3D卷积核大小都是3×3×3，且在时间和空间维度的步幅都为1，第一个池化层的大小为1×2×2，其他所有池化层的核大小都是2×2×2，每个全连接层都有4096个输出单元。进一步的，步骤(4)中生成训练样本和测试样本的具体实现方式如下，(a)对步骤(1)中的视频数据集，将其尺寸调整为320x240，帧率调整为30fps，其中视频数据集包含正常视频和异常视频；(b)对视频数据集中的每一个视频，利用C3D三维卷积神经网络提取时空特征，并将提取到的每一个视频的时空特征按视频时间长度划分为32个时间片段以txt格式保存；(c)从处理过后的视频特征集中挑选2/3的视频特征作为训练样本集，其中训练样本集中异常视频特征数目占整个数据集异常视频特征总数的2/3，训练样本集中正常视频特征数目占整个数据集正常视频特征总数的2/3，剩余的视频特征作为测试样本集。进一步的，步骤(5)所述的全连接神经网络结构包括三部分共四层网络，具体包括：(5.1)第一部分：网络层数，该部分由4个全连接层构成，第一层输入为视频的特征，有4096个维度，含有1024个神经元；第二层为512个神经元；第三层有32个神经元；最后一层有1个神经元，输出异常得分；(5.2)第二部分：随机失活(dropout)，用于设置各全连接层间的dropout值，使检测效果最佳；(5.3)第本文档来自技高网...

【技术保护点】
1.视频中的组群定位与异常行为检测算法，其特征在于，具体包括如下步骤：/n步骤(1)获取大量的视频图像数据集；/n步骤(2)设计多列空洞卷积神经网络，得到人群密度图；/n步骤(3)结合Canopy方法和DBSCAN聚类方法对人群密度图进行点聚类来识别组群，快速得到组群的人数和位置信息；/n步骤(4)对所有的视频数据集，将组群位置作为检测的感兴趣区域，使用特征提取神经网络提取其视频时空特征，对提取的时空特征按时间顺序转化为若干个时空特征片段，生成训练样本集和测试样本集；/n步骤(5)将训练样本集输入至全连接神经网络；/n步骤(6)设置好全连接神经网络的训练参数，利用多实例学习排名损失函数进行训练，直至代价损失减小到一定程度且训练达到迭代最大次数，生成训练模型；/n步骤(7)将测试样本集输入至训练好的模型中，输出其对应的异常得分。/n

【技术特征摘要】
1.视频中的组群定位与异常行为检测算法，其特征在于，具体包括如下步骤：
步骤(1)获取大量的视频图像数据集；
步骤(2)设计多列空洞卷积神经网络，得到人群密度图；
步骤(3)结合Canopy方法和DBSCAN聚类方法对人群密度图进行点聚类来识别组群，快速得到组群的人数和位置信息；
步骤(4)对所有的视频数据集，将组群位置作为检测的感兴趣区域，使用特征提取神经网络提取其视频时空特征，对提取的时空特征按时间顺序转化为若干个时空特征片段，生成训练样本集和测试样本集；
步骤(5)将训练样本集输入至全连接神经网络；
步骤(6)设置好全连接神经网络的训练参数，利用多实例学习排名损失函数进行训练，直至代价损失减小到一定程度且训练达到迭代最大次数，生成训练模型；
步骤(7)将测试样本集输入至训练好的模型中，输出其对应的异常得分。


2.如权利要求1所述的视频中的组群定位与异常行为检测算法，其特征在于：步骤(2)中的多列空洞卷积神经网络，具体包括：
(2.1)每列子网络包含3个卷积层，其中前两个为空洞卷积层，且每列子网络具有相同的网络结构；
(2.2)每列子网络中使用不同大小的卷积核来适应图像中不同大小的人群；
(2.3)对具有较大卷积核的卷积神经网络(ConvolutionalNeuralNetwork,CNN)使用较少数量的滤波器；
(2.4)最后把子网络的输出特征图通过1×1的卷积层做线性加权得到人群密度图。


3.如权利要求1所述的视频中的组群定位与异常行为检测算法，其特征在于：步骤(3)中的具体实现方式如下：
(3.1)首先通过Canopy粗聚类方法对密度图进行预聚类：设定的两个距离阈值T1和T2，其中T2<T1；首先从点集中随机选择一个点作为初始类，并在点集中删去该点；之后再随机选择点，计算该点与所有现存类的距离，如果对所有类d>T1，则将该点作为一个新的类中心，并删去该点；若存在类使得d<T2，则将该点归入该类并删去；否则，该点需参与下一次聚类；重复选取点进行以上的操作，直至点集为空；最终将点集生成若干个小簇，每个小簇都含有中心点，记为新的点集Q；
(3.2)利用DBSCAN聚类方法对(3.1)获得的点集Q进行聚类，使Canopy粗聚类得到的小簇进一步划分成合适的大簇，形成最终的组群：预先设定一组参数(r,min_points)来表征样本的聚集程度，若某一个样本点r-邻域中最少存在min_pionts个样本点，则该点为高密度点；若点Q处于高密度点P的r-领域内，则称Q从P出发是直接密度可达的，如果序列P1,P2,…,Pn中所有的点Pi+1到Pi直接密度可达，则称Pn对P1密度可达，若点A，点B都对于点C密度可达，则称A，B密度相连；DBSCAN算法从某一高密度点出发不断寻找密度相连的点，直至该类的区域扩充为包含所有高密度点和边界点的最大区域，从而将紧密聚集在一起的高密度点组成一个类，得到几组不同的组群；
(3.3)得到聚类结果之...

【专利技术属性】
技术研发人员：雷俊锋，包振宇，肖进胜，焦陈坤，眭海刚，周景龙，徐川，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42