一种基于高位监控视频的异常事件检测方法技术

本发明专利技术属于异常检测技术领域，涉及一种基于高位监控视频的异常事件检测方法，先利用高位相机对停车场视频进行采集，再采用视频帧预测的方法进行异常视频帧检测，从而实现异常事件的检测和预测，弥补了基于高位相机的停车场异常事件检测方法的空白，该方法能够感知细微的异常事件的发生，解决现有异常检测中存在的异常事件不敏感问题，提供更为全面的异常检测，不仅能用于异常事件检测中的异常感知，而且能用于复杂场景下的运动检测和物体间约束建模相关任务。建模相关任务。建模相关任务。

【技术实现步骤摘要】
一种基于高位监控视频的异常事件检测方法


[0001]本专利技术属于异常检测
，涉及一种基于高位监控视频的异常事件检测方法。

技术介绍

[0002]目前，随着经济的发展，2022年汽车总销量为2680万辆，如何实现停车场的智能化改造成为目前需要迫切解决的问题。随着人工智能与计算机视觉等技术的迅速发展，智慧停车场在智慧城市中发挥了重要作用，智慧停车场除了门禁采用自动识别车牌进行车辆通行控制，实现停车场停车自动导航、全自动化泊车管理，合理疏导车流，还有一个更加重要的作用是能够自动识别停车场内的异常事件，包括车辆被刮擦，车辆被行人故意破坏等事件，及时提醒给车主或管理员，以更好的应对突发事件，对车主或停车场运营公司带来最小的损失。
[0003]随着停车场高位相机的普及，基于人工智能的视频分析技术在异常事件监测中成为可能，因此，基于视频分析的异常事件检测具有重要的现实意义，但是目前尚未见有基于高位监控视频的停车场异常事件检测方法，高位相机的监控视频因其更加广阔的视野，能够提供更全面的异常检测。为了利用高位相机对智慧城市进行赋能，亟需设计提供一种基于高位监控视频的停车场异常事件检测方法。

技术实现思路

[0004]本专利技术的目的在于克服现有技术存在的缺点，设计提供一种基于高位监控视频的异常事件检测方法，利用高位相机对停车场视频进行采集，采用视频帧预测的方法进行异常视频帧检测，从而实现异常事件的检测和预测。
[0005]为实现上述目的，本专利技术实现基于高位监控视频的异常事件检测的具体过程为：（1）从高位相机监测到的监控视频中采集图像构建数据集，将采集到的图像按照正常图像和异常图像进行标注，并将数据集划分为训练集、验证集和测试集；（2）采用差异约束放大模块对视频帧之间的差异特征进行差异性放大处理，得到帧间信息的差异图；（3）将根据视频采集的前十幅图像通过视频帧预测网络生成当前图像的预测图像，并引入时序变形建模模块进行时序变形建模，使生成的图像学习图像间的异常信息，感知视频帧间动态变化信息；（4）采用异常事件注意力模块将异常事件特征进行加权学习，在网络学习过程中，充分挖掘异常事件存在的特征，从而充分学习异常事件特征；（5）采用异常物体关系约束模块学习人与物体之间的潜在关系约束；（6）引入门控开关模块，通过门控开关模块将异常冗余信息过滤，使网络学习异常事件中蕴含的外部信息约束；（7）训练视频帧预测网络模型得到训练好的视频帧预测网络模型；
（8）计算异常分值判断是否存在事件异常；（9）将图像输入到得到训练好的视频帧预测网络模型中得到预测图像，利用步骤（8）中的方法判断图像是否为异常，实现基于高位监控视频的异常事件检测。
[0006]作为本专利技术的进一步技术方案，步骤（1）采集图像时，每隔5帧采样一张图像，对于每秒30帧的视频图像，每秒钟采集5张图像，并对图像进行二值标签标注，其中正常的视频帧标注为1，异常视频帧标注为0。
[0007]作为本专利技术的进一步技术方案，步骤（2）得到的帧间信息的差异图为：，其中，代表帧间信息的差异图，代表调节图片的尺寸，代表将图像进行灰度化，和分别代表第i和j帧图像，代表差异约束放大模块，差异约束放大模块通过sigmoid函数将帧间的差异增大。
[0008]作为本专利技术的进一步技术方案，步骤（3）的具体过程为：，其中，代表预测网络产生的当前图像的预测图，代表时序变形建模模块学习到的i和j帧图像间的时序特征，代表网络层学习的变形卷积层特征参数,
ꢀꢀ
代表时序特征建模层，通过LSTM层能够感知帧间时序特征即运动信息，从而为重建预测图像做准备，VggNet(
·
)代表采用深度卷积网络提取特征；代表特征层降维，将VggNet网络（深度卷积网络）提取的单帧特征信息降低特征维度，减轻网络特征层数，并将层间特征精细化，代表运动信息的动态位置编码。
[0009]作为本专利技术的进一步技术方案，步骤（4）的具体过程为：，其中，代表第i帧图片产生的特征图， 代表矩阵稀疏化操作，矩阵稀疏化操作将特征图排序后，取前k个值，将特征层中含有的噪声信息去除；代表softmax函数，将特征图归一化。
[0010]作为本专利技术的进一步技术方案，步骤（5）的具体过程为：，其中，代表索引为i的节点第k次传递后节点的信息，为节点关系迭代次数，为特征通道级叠加，为特征叠加后组成节点t的索引，MP代表信息传递函数，将相邻节点通过节点间的边进行加权求和。
[0011]作为本专利技术的进一步技术方案，步骤（6）的具体过程为：，其中，代表第i帧图片第k次迭代产生的特征输出, 代表通过门控开关后，
产生的第k+1次迭代产生的特征，代表当第k+1次迭代后，产生的输出结果，代表将增强后的预测图输出，通过实现。
[0012]作为本专利技术的进一步技术方案，步骤（7）的具体过程为：选用标注为正常图像继续训练，网络结构采用视频帧预测网络，能量损失采用L2损失，将训练集中连续的图像送入视频帧预测网络，根据每次训练需要的图像数量，依次输入到视频帧预测网络后输出预测图像，再通过反向传播更新参数，经过314次完整训练集训练迭代后，保存验证集上结果最好的模型参数，作为最终模型训练好的参数，得到训练好的视频帧预测网络模型。
[0013]作为本专利技术的进一步技术方案，步骤（8）的具体过程为：选用原始图像与预测图像之间的SSIM值作为视频帧是否为异常帧的判断准则，根据步骤（1）标注的异常图像确定SSIM值的阈值参数，如果小于阈值则认为该视频帧为异常视频帧，如果大于阈值，则认为该视频预测帧与真实视频帧很相似，不存在异常。
[0014]与现有技术相比，本专利技术的有益效果如下：（1）本专利技术提供的基于高位监控视频的异常事件检测方法即使在处于高位视频监控的时候，也能够感知视频中的细微异常事件的发生，解决现有异常检测中存在的异常事件不敏感问题；（2）本专利技术提出的差异放大模块不仅能用于异常事件检测中的异常感知，而且能用于复杂场景下的运动检测，在物体相对运动不明显，尤其是光流感知不明显的时候，也能将细微运动捕捉到；（3）本专利技术对于细微运动的处理，对于高位小物体检测甚至是遥感物体检测也能提供启发意义；（4）对于本文专利技术提出的物体间约束建模能够同样对相关任务有益，如复杂场景下多物体检测，或者是视频场景下的物体检测与分割等。
附图说明
[0015]图1为本专利技术的工作流程框图。
[0016]图2为本专利技术所采用的网络结构框图。
具体实施方式
[0017]下面结合附图并通过实施例进一步描述本专利技术，但不以任何方式限制本专利技术的范围。
[0018]实施例：本实施例实现基于高位监控视频的异常事件检测采用的网络结构如图2所示，具体过程如图1所示，包括如下步骤：（1）构建数据集：收集高位相机视频并对其进行图像采样得到图像数据集，每隔5帧采样一张图像，对于每秒30帧的视频图像，每秒钟采集5张图像，并对图像进行二值标签标注，正常的视频帧标注为1，异常视频帧标注为0，将图像数据集划分为训练集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于高位监控视频的异常事件检测方法，其特征在于，具体过程为：（1）从高位相机监测到的监控视频中采集图像构建数据集，将采集到的图像按照正常图像和异常图像进行标注，并将数据集划分为训练集、验证集和测试集；（2）采用差异约束放大模块对视频帧之间的差异特征进行差异性放大处理，得到帧间信息的差异图；（3）将根据视频采集的前十幅图像通过视频帧预测网络生成当前图像的预测图像，并引入时序变形建模模块进行时序变形建模；（4）采用异常事件注意力模块将异常事件特征进行加权学习；（5）采用异常物体关系约束模块学习人与物体之间的潜在关系约束；（6）引入门控开关模块，通过门控开关模块将异常冗余信息过滤；（7）训练视频帧预测网络模型得到训练好的视频帧预测网络模型；（8）计算异常分值判断是否存在事件异常；（9）将图像输入到得到训练好的视频帧预测网络模型中得到预测图像，利用步骤（8）中的方法判断图像是否为异常，实现基于高位监控视频的异常事件检测。2.根据权利要求1所述基于高位监控视频的异常事件检测方法，其特征在于，步骤（1）采集图像时，每隔5帧采样一张图像，对于每秒30帧的视频图像，每秒钟采集5张图像，并对图像进行二值标签标注，其中正常的视频帧标注为1，异常视频帧标注为0。3.根据权利要求2所述基于高位监控视频的异常事件检测方法，其特征在于，步骤（2）得到的帧间信息的差异图为：，其中，代表帧间信息的差异图，代表调节图片的尺寸，代表将图像进行灰度化，和分别代表第i和j帧图像，代表差异约束放大模块，差异约束放大模块通过sigmoid函数将帧间的差异增大。4.根据权利要求3所述基于高位监控视频的异常事件检测方法，其特征在于，步骤（3）的具体过程为：，其中，代表预测网络产生的当前图像的预测图，代表时序变形建模模块学习到的i和j帧图像间的时序特征，代表网络层学习的变形卷积层特征参数,
ꢀꢀ
代表时序特征建模层，通过LSTM层能够感知帧间时序特征即运动信息，代表特征层降维，将Vgg...

【专利技术属性】
技术研发人员：刘寒松，王国强，王永，刘瑞，谭连盛，董玉超，李贤超，
申请(专利权)人：松立控股集团股份有限公司，
类型：发明
国别省市：