一种基于场景分类的视频异常检测方法、系统及设备技术方案

本发明专利技术属于计算机视觉领域，具体涉及一种基于场景分类的视频异常检测方法、系统及设备，本发明专利技术方法的步骤为：步骤S1、对原视频帧进行灰度化处理，使用背景减除法和帧差法来提取前景目标，并通过Double

【技术实现步骤摘要】
一种基于场景分类的视频异常检测方法、系统及设备


[0001]本专利技术属于计算机视觉领域，具体涉及一种基于场景分类的视频异常检测方法、系统及设备。

技术介绍

[0002]近年来，计算机视觉和人工智能领域的大量研究人员一直致力于图像中场景的自动理解和分析，计算机视觉中的人群分析成为研究热点。为了减少意外异常事件造成的生命和财产损失，通过自动识别视频流中的异常事件，可以及时发送相应的警报。视频异常检测是指识别不符合预期的运动或外观模式。由于异常事件的多样性和不可预测性，视频异常检测已成为一项极具挑战性的任务。
[0003]现实应用场景中存在多个人群密度，对当前常见的基于视频的异常行为算法的分析表明，大多数算法缺乏对不同人群密度的区分，不同密度的人群特征差异很大。在人群分布存在显著差异的情况下，大多数算法仅使用相同的框架来识别异常行为。当视频涉及更复杂的场景时，例如存在局部聚集、同一场景的不同密集度等，这不仅大大增加了系统计算的复杂性，甚至可能导致智能监控系统中异常行为检测失败。此外，由于行人运动的不可预测性，很难发掘自适应的检测方法，并且无本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于场景分类的视频异常检测方法，其特征在于，包含以下步骤：步骤S1、对原视频帧进行灰度化处理，并选择中值滤波器进行平滑，使用背景减除法和帧差法来提取前景目标，并通过Double
‑
Canny算法提取像素特征；步骤S2、使用预训练模型检测视频帧中的人数并生成视频帧的热力图；步骤S3、使用K
‑
means聚类算法对视频帧进行场景分类，将视频帧分为密集场景和稀疏场景两类；步骤S4、使用异常检测模块，分别对密集场景和稀疏场景进行异常检测，其中异常检测模块为基于GAN的双分支网络结构。2.根据权利要求1所述的一种基于场景分类的视频异常检测方法，其特征在于，所述步骤S1中具体包含：步骤S1.1、对前景帧和原始图像都使用Canny算子边缘检测，获得前景图像和整体边缘图像；步骤S1.2、对所述步骤S1.1中的整体边缘图像和前景图像进行逐像素“和”操作，去除无关边缘并捕获前景中缺失的信息，获得处理后的前景图像；步骤S1.3、对所述步骤S1.1中的前景图像和所述步骤S1.2中的处理后的前景图像逐像素执行“或”操作，获得最终前景图像；步骤S1.4、计算所述步骤S1.3中的最终前景图像的二值图像中的像素数，获得前景像素数N
f
；对最终前景图像执行Canny算子边缘检测以获得最终边缘像素图像，并计算获得边缘像素数N
e
；计算边缘像素数与前景像素数的比值r表示人群遮挡程度。3.根据权利要求2所述的一种基于场景分类的视频异常检测方法，其特征在于，所述步骤S2中所述预训练模型中使用YoloV4检测人数；通过预训练模型生成图像的热力图，计算热力图高亮部分的比例p
i
，p
i
表示人群聚集的程度。4.根据权利要求3所述的一种基于场景分类的视频异常检测方法，其特征在于，所述步骤S3中使用所述步骤S1获取到的3个像素特征和所述步骤S2中获取到的人数、热力图中高亮比例作为特征向量其中χ
i
是第i帧的特征向量，Num
i
是第i帧的人数，和分别是第i帧的边缘像素数和前景像素数，r
i
是和的比值，p
i
表示第i帧热力图中高亮部分的比例；特征向量作为输入值，通过K
‑
means聚类算法将视频中的场景自动聚类为稀疏和密集两类。5.根据权利要求4所述的一种基于场景分类的视频异常检测方法，其特征在于，所述步骤S4中所述异常检测模块在稀疏场景中，采用预测模型，并使用U
‑
Net作为生成器来预测下一帧；在密集场景中应用重构模型，生成器是用于重建视频帧的无跳跃连接的自编码器。6.根据权利要求5所述的一种基于场景分类的视频异常检测方法，其特征在于，在所述异常检测模块中引入强度损失、梯度损失和光流损失作为约束；强度损失L
int
通过比较预测帧和原始帧之间每个像素的值，如式(1)所示：
其...

【专利技术属性】
技术研发人员：李洪均，申栩林，孙晓虎，陈俊杰，
申请(专利权)人：南通大学，
类型：发明
国别省市：