一种弱监督自训练视频异常检测方法技术

本发明专利技术涉及计算机视觉技术领域，解决了弱监督方法会引入大量标签噪声的技术问题，尤其涉及一种弱监督自训练视频异常检测方法，该检测方法包括以下步骤：S1、获取视频异常检测数据集并将其划分为训练集和测试集；S2、搭建异常检测模型并采用训练集进行训练，异常检测模型包括第一阶段网络模型和第二阶段网络模型；若异常得分大于阈值，则为异常片段；若异常得分小于阈值，则为正常片段。S3、将待检测视频输入至训练后的异常检测模型中预测每个视频片段的异常得分，根据异常阈值对视频片段中的异常进行检测。本发明专利技术达到了利用先验知识生成高置信度的伪标签，提高异常检测准确率的目的。提高异常检测准确率的目的。提高异常检测准确率的目的。

【技术实现步骤摘要】
一种弱监督自训练视频异常检测方法


[0001]本专利技术涉及计算机视觉
，尤其涉及一种弱监督自训练视频异常检测方法。

技术介绍

[0002]由于异常事件本身是罕见的，因此现有的一种流行的范式是一类分类或者无监督学习，即训练时只加入正常的视频片段，让深度网络学习正常视频的特征，将区别于正常视频的特征判定为异常。此类方法有明显的局限性，即没有足够的数据用以学习表征所有的正常行为，因此一些训练集中没有囊括的正常片段可能被误检为异常。
[0003]对于异常视频而言，该视频级的标签并不完全正确，只能看作带有噪声的标签，或者低置信度标签。为解决该问题，其他研究提出使用GCN获取视频片段的特征相似性和时间一致性采用迭代的方法来清洁标签噪声，该方法将视频级别的标签直接分配给每个视频片段，导致异常片段受到异常视频里正常片段的影响。另外一些研究采用直接生成伪标签的方法，例如使用基于时空视频特征的二元聚类方法清洁标签噪声，聚类与网络在训练过程中相互补充；使用MIL方法训练伪标签生成器，来生成片段级别的视频标签。但是，该方法仅相当于直接使用视频片段的异常得分来监督异常检测，忽略了异常视频中片段分布特点，可能会引入不必要的标签噪声。

技术实现思路

[0004]针对现有技术的不足，本专利技术提供了一种弱监督自训练视频异常检测方法，解决了弱监督方法会引入大量标签噪声的技术问题，达到了利用先验知识生成高置信度的伪标签，提高异常检测准确率的目的。
[0005]为解决上述技术问题，本专利技术提供了如下技术方案：一种弱监督自训练视频异常检测方法，该检测方法包括以下步骤：
[0006]S1、获取视频异常检测数据集并将其划分为训练集和测试集；
[0007]S2、搭建异常检测模型并采用训练集进行训练，异常检测模型包括第一阶段网络模型和第二阶段网络模型；
[0008]S3、将待检测视频输入至训练后的异常检测模型中预测每个视频片段的异常得分，根据异常阈值对视频片段中的异常进行检测；
[0009]若异常得分大于阈值，则为异常片段；
[0010]若异常得分小于阈值，则为正常片段。
[0011]进一步地，在步骤S1中，具体过程包括以下步骤：
[0012]S11、收集不同场景下的监控视频，不同场景包括超市、银行、大学校园、高速公路、公园、居民小区；
[0013]S12、根据监控视频中是否包含异常事件标记为异常视频va和正常视频vn，得到与异常事件对应的视频级别的标签。
[0014]S13、将视频异常检测数据集划分为训练集和测试集。
[0015]进一步地，在步骤S2中，具体包括：
[0016]S21、进行第一阶段训练，将训练集中的每个视频划分为长度相同的若干视频片段，将若干视频片段送入视频特征编码器获取对应的视频片段特征，利用视频片段特征以及视频级别的标签训练基于先验知识引导的伪标签生成器，生成视频片段的伪标签；
[0017]S22、进行第二阶段训练，利用视频片段和和伪标签生成器生成的伪标签监督训练一个多尺度时间特征网络模型。
[0018]进一步地，在步骤S21中，具体过程包括以下步骤：
[0019]S211、将训练集中的每个视频划分为长度相同的若干视频片段和
[0020]S212、设置第一阶段训练相关参数；
[0021]S213、根据相关参数搭建第一阶段网络模型，第一阶段网络模型由一个特征提取模块以及一个伪标签生成器组成，其中，伪标签生成器包括一个多层感知机、高斯混合模块GMM和一维中值滤波模块OMF；
[0022]S214、视频片段通过特征提取模块提取对应视频特征，再将视频特征输入伪标签生成器中生成高置信度的伪标签。
[0023]进一步地，在步骤S214中，具体过程包括以下步骤：
[0024]S2141、将若干视频片段和输入视频特征编码器中得到对应视频片段特征和
[0025]S2142、使用视频片段特征和视频级别的标签训练多层感知机，多层感知机由三个神经元数量不同的全连接层组成；
[0026]S2143、训练后的多层感知机输出的正常视频和异常视频的粗粒度异常得分分别为和再将异常得分和分别输入高斯混合模块GMM和一维中值滤波模块OMF中，用先验知识引导生成高置信度异常得分和归一化后得到视频片段的伪标签
[0027]进一步地，在步骤S22中，具体过程包括以下步骤：
[0028]S221、搭建第二阶段网络模型，第二阶段网络模型为多尺度时间网络，多尺度时间网络由一个主干网络和三个分支组成；
[0029]S222、将第一阶段训练得到的伪标签与视频片段和结合输入到第二阶段训练多尺度时间特征网络中，主干网络会提取视频片段的深层特征，将主干网络的第4层和第5层输出的特征图f
b
‑4和f
b
‑5输入到后续三个分支中。
[0030]S223、对三个分支进行训练。
[0031]进一步地，
[0032]主干网络采用预训练的C3D或I3D编码器；
[0033]三个分支分别为注意力分支、自我引导分支和空洞卷积分支；
[0034]注意力分支由一个注意力模块和分类头H
c
组成，自我引导分支由两个三维卷积层和分类头H
g
组成，空洞卷积分支由两个不同空洞率的空洞卷积和分类头H
c
组成。
[0035]进一步地，在步骤S223中，具体过程包括以下步骤：
[0036]S2231、注意力分支训练；
[0037]S2232、自我引导分支训练，将输入Conv3d3再经过一次全局平均池化和一次平均池化进行降维，通过softmax操作得到异常得分，使用交叉熵损失L
self
‑
guide
优化自我引导分支；
[0038]S2233、空洞卷积分支训练，空洞卷积分支将作为输入，分别通过两个三维空洞卷积DC3d1、DC3d2得到对应特征图，再将对应特征图相加得到多尺度特征图f
multi
‑
scale
。
[0039]进一步地，在步骤S2231中，具体过程包括：
[0040]S22311、将f
b
‑4输入到两层三维卷积层Conv3d1和Conv3d2后得到的特征图与f
b
‑5相加进行注意力操作，将第一层三维卷积输出的特征图记作
[0041]S22312、将输入第二层三维卷积Conv3d2得到特征图f
*
；
[0042]S22313、将f
*
与f
b
‑5相乘再加上f
b
‑5得到最终的注意力特征图f
atten
；
[0043]S22314、使用伪标签作为监督，f
atten
通过分类头H
c
和softmax操作生成网络最终的异本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种弱监督自训练视频异常检测方法，其特征在于，该检测方法包括以下步骤：S1、获取视频异常检测数据集并将其划分为训练集和测试集；S2、搭建异常检测模型并采用训练集进行训练，异常检测模型包括第一阶段网络模型和第二阶段网络模型；S3、将待检测视频输入至训练后的异常检测模型中预测每个视频片段的异常得分，根据异常阈值对视频片段中的异常进行检测；若异常得分大于阈值，则为异常片段；若异常得分小于阈值，则为正常片段。2.根据权利要求1所述的检测方法，其特征在于：在步骤S1中，具体过程包括以下步骤：S11、收集不同场景下的监控视频，不同场景包括超市、银行、大学校园、高速公路、公园、居民小区；S12、根据监控视频中是否包含异常事件标记为异常视频和正常视频，得到与异常事件对应的视频级别的标签；S13、将视频异常检测数据集划分为训练集和测试集。3.根据权利要求1所述的检测方法，其特征在于：在步骤S2中，具体包括：S21、进行第一阶段训练，将训练集中的每个视频划分为长度相同的若干视频片段，将若干视频片段送入视频特征编码器获取对应的视频片段特征，利用视频片段特征以及视频级别的标签训练基于先验知识引导的伪标签生成器，生成视频片段的伪标签；S22、进行第二阶段训练，利用视频片段和和伪标签生成器生成的伪标签监督训练一个多尺度时间特征网络模型。4.根据权利要求3所述的检测方法，其特征在于：在步骤S21中，具体过程包括以下步骤：S211、将训练集中的每个视频划分为长度相同的若干视频片段和S212、设置第一阶段训练相关参数；S213、根据相关参数搭建第一阶段网络模型，第一阶段网络模型由一个特征提取模块以及一个伪标签生成器组成，其中，伪标签生成器包括一个多层感知机、高斯混合模块GMM和一维中值滤波模块OMF；S214、视频片段通过特征提取模块提取对应视频特征，再将视频特征输入伪标签生成器中生成高置信度的伪标签。5.根据权利要求4所述的检测方法，其特征在于：在步骤S214中，具体过程包括以下步骤：S2141、将若干视频片段和输入视频特征编码器中得到对应视频片段特征和S2142、使用视频片段特征和视频级别的标签训练多层感知机，多层感知机由三个神经元数量不同的全连接层组成；S2143、训练后的多层感知机输出的正常视频和异常视频的粗粒度异常得分分别为和再将异常得分和分别输入高斯混合模块GMM和一维中值滤波
模块OMF中，用先验知识引导生成高置信度异常得分和归一化后得到视频片段的伪标签6.根据权利要求3所述的检测方法，其特征在于：在步骤S22中，具体过程包括以下步骤...

【专利技术属性】
技术研发人员：唐俊，汪振涛，王科，朱明，
申请(专利权)人：安徽大学，
类型：发明
国别省市：