面向弱监督视频异常检测的双重动态记忆网络构建方法技术

本发明专利技术提供了一种面向弱监督视频异常检测的双重动态记忆网络构建方法，本发明专利技术方法构造了同时包含正常和异常记忆模块的记忆网络，能够通过记忆项分别提取视频中长期的正常和异常模态，并通过记忆网络的读写操作来对特征进行动态更新。记忆模块中记忆项的数量动态可变以适应不同的视频监控场景。在训练时，设计一种模态分离损失增加各个记忆项之间的区分度使得各个模态具有多样性。在线应用时，由于网络能够考虑长期视频信息，因而不需要融合未来帧的特征即可实现异常检测，能够实现准确且实时的在线检测。实时的在线检测。实时的在线检测。

【技术实现步骤摘要】
面向弱监督视频异常检测的双重动态记忆网络构建方法


[0001]本专利技术涉及视频异常检测领域，更确切地说，它涉及一种面向弱监督视频异常检测的双重动态记忆网络构建方法。

技术介绍

[0002]随着我国经济和网络信息技术的迅速发展，视频监控系统在我国得到了广泛普及，并在交通调控、工业巡检和公共安全等领域发挥着重大的作用。然而，大多数的监控设备只能记录视频画面而不能有效地进行分析，想要发现视频中的异常事件通常需要依靠人工来处理。采用人工进行处理需要耗费大量的人力成本，导致快速增长的监控视频没有得到充分的利用，并且往往只能事后对视频进行翻阅检验，导致对异常事件的响应具有滞后性。因此，建立自动化和智能化的视频监控系统能够及时发现视频中的异常。
[0003]近年来，深度学习技术得到了迅猛发展，并在视频异常检测领域得到了广泛的应用。在视频异常检测领域，早先的工作普遍采用无监督视频异常检测方法，采用仅含有正常样本的训练集进行训练来拟合正常样本的分布，依靠重构误差来判别是否异常。然而这种做法可能对训练集中未出现的正常事件具有高误报率，并且在许多真实场景下，视频背景的变化十分复杂，同时视频异常的种类多样，仅靠重构误差不足以准确判断视频是否发生异常。不仅如此，由于自编码器通常采用深度神经网络结构，拟合能力较强，可能对正常以及异常数据均具有强重构能力，无法对异常样本进行有效识别。
[0004]为了进一步解决复杂场景下的视频异常检测问题，近年来的一些研究致力于弱监督视频异常检测。与无监督视频异常检测不同，在弱监督的设定下，可同时使用正常和异常视频进行训练，但是异常视频中具体每一帧的正常与否是未知的，即只有视频级别的标签可用而缺乏异常视频中准确的帧级别标签。由于不需要对每一帧都打上标签，可以节省大量的人力物力，符合现实场景的需求。相比于无监督方法，弱监督视频异常检测方法可以针对视频背景更为复杂多变、异常种类更为丰富、更接近现实生活中的复杂场景。
[0005]为了记录视频长期特征，一些工作采用记忆网络实现无监督视频异常检测，如文献1【Gong D,Liu L,Le V,et al.Memorizing normality to detect anomaly:Memory
‑
augmented deep autoencoder for unsupervised anomaly detection[C].Proceedings of the IEEE/CVF International Conference on Computer Vision,2019:1705
‑
1714.】使用记忆模块来增强深度自编码器，从而避免自编码器模型对异常数据的强重构能力。文献2【Park H,Noh J,Ham B.Learning memory
‑
guided normality for anomaly detection[C].Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2020:14372
‑
14381.】认为原型特征不足以表示正常数据的多种模态。为此，他们提出特征紧密损失和特征分离损失对特征和记忆项进行约束。然而，具有单一的记忆模块不足以记录视频中包含的隐藏信息，并且由于帧级别标签的缺失导致不能准确记录视频帧的类别信息，所以基于记忆网络的视频异常检测方法难以应用于弱监督场景。同时已有的记忆网络中记忆项的数量都是人工设定并在训练时保持固定，记录的信息有限，不能
动态适应不同的视频异常检测场景。

技术实现思路

[0006]本专利技术的目的是克服现有技术中的不足，第一方面提供了一种面向弱监督视频异常检测的双重动态记忆网络构建方法，包括：
[0007]构建训练数据集，每个样本包含由一个视频分割获得的多个不重叠的视频片段和对应视频的标签；
[0008]利用一特征提取器对每一样本的视频片段进行特征提取，并采用第一分类器获得每一视频片段的异常分数，根据异常分数进行置信样本采样获得每一样本的样本特征集合；
[0009]构建双重动态记忆网络，所述记忆网络包含正常记忆模块P
N
和异常记忆模块P
A
，分别用于存储正常视频的记忆项和异常视频样本的记忆项；
[0010]将每一样本的样本特征集合送入双重动态记忆网络，基于双重动态记忆网络进行读操作，其中，对于正常视频样本的样本特征集合的特征根据所述特征与正常记忆模块P
N
的记忆项的相似度作为权重对记忆项进行加权得到增强后的特征，对于异常视频样本的样本特征集合的特征根据所述特征与异常记忆模块P
A
的记忆项的相似度作为权重对记忆项进行加权得到增强后的特征；并依据输入的特征与当前记忆项的相似度，保留当前记忆项无法表征的特征作为新的记忆项，同时利用相似度高的特征对当前已存在的记忆项进行组合更新，分别对正常记忆模块P
N
和异常记忆模块P
A
进行更新写入，再基于增强后的特征采用第二分类器输出增强的异常分数；
[0011]构建损失函数，损失函数至少包括第一分类器、第二分类器的分类损失，正常记忆模块P
N
和异常记忆模块P
A
中记忆项的模态分离损失以及正常记忆模块P
N
和异常记忆模块P
A
之间的模态分离损失；以最小化损失函数为目标进行训练，获得训练好的双重动态记忆网络。
[0012]进一步地，所述特征提取器是预训练好的视频特征提取器。
[0013]进一步地，所述正常记忆模块P
N
和异常记忆模块P
A
中存储的记忆项通过高斯函数初始化。
[0014]进一步地，对于正常视频样本的样本特征集合的特征根据所述特征与正常记忆模块P
N
的记忆项的相似度作为权重对记忆项进行加权得到增强后的特征表示为：
[0015][0016]式中，下标i，t代表第i个视频中的第t个片段，上标h和A分别代表该视频为正常视频和异常视频；K是当前正常记忆模块P
N
中记忆项的数量，是当前正常记忆模块P
N
中第k个记忆项，是第i个正常视频样本的样本特征集合中第t个片段的特征对于记忆项的权重系数；
[0017]对于异常视频样本的样本特征集合的特征根据所述特征与异常记忆模块P
A
的记忆项的相似度作为权重对记忆项进行加权得到增强后的特征，表示为：
[0018][0019]式中，K是当前异常记忆模块P
A
中记忆项的数量，当前异常记忆模块P
A
中第k个记忆项，是第i个异常视频样本的样本特征集合中第t个片段的特征对于记忆项的权重系数。
[0020]进一步地，权重系数是经过稀疏化操作获得的，具体如下：<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向弱监督视频异常检测的双重动态记忆网络构建方法，其特征在于，包括：构建训练数据集，每个样本包含由一个视频分割获得的多个不重叠的视频片段和对应视频的标签；利用一特征提取器对每一样本的视频片段进行特征提取，并采用第一分类器获得每一视频片段的异常分数，根据异常分数进行置信样本采样获得每一样本的样本特征集合；构建双重动态记忆网络，所述记忆网络包含正常记忆模块P
N
和异常记忆模块P
A
，分别用于存储正常视频的记忆项和异常视频样本的记忆项；将每一样本的样本特征集合送入双重动态记忆网络，基于双重动态记忆网络进行读操作，其中，对于正常视频样本的样本特征集合的特征根据所述特征与正常记忆模块P
N
的记忆项的相似度作为权重对记忆项进行加权得到增强后的特征，对于异常视频样本的样本特征集合的特征根据所述特征与异常记忆模块P
A
的记忆项的相似度作为权重对记忆项进行加权得到增强后的特征；并依据输入的特征与当前记忆项的相似度，保留当前记忆项无法表征的特征作为新的记忆项，同时利用相似度高的特征对当前已存在的记忆项进行组合更新，分别对正常记忆模块P
N
和异常记忆模块P
A
进行更新写入，再基于增强后的特征采用第二分类器输出增强的异常分数；构建损失函数，损失函数至少包括第一分类器、第二分类器的分类损失，正常记忆模块P
N
和异常记忆模块P
A
中记忆项的模态分离损失以及正常记忆模块P
N
和异常记忆模块P
A
之间的模态分离损失；以最小化损失函数为目标进行训练，获得训练好的双重动态记忆网络。2.根据权利要求1所述的方法，其特征在于，所述特征提取器是预训练好的视频特征提取器。3.根据权利要求1所述的方法，其特征在于，所述正常记忆模块P
N
和异常记忆模块P
A
中存储的记忆项通过高斯函数初始化。4.根据权利要求1所述的方法，其特征在于，对于正常视频样本的样本特征集合的特征根据所述特征与正常记忆模块P
N
的记忆项的相似度作为权重对记忆项进行加权得到增强后的特征表示为：式中，下标i，t代表第i个视频中的第t个片段，上标N代表该视频为正常视频；K是当前正常记忆模块P
N
中记忆项的数量，是当前正常记忆模块P
N
中第k个记忆项，是第i个正常视频样本的样本特征集合中第t个片段的特征对于记忆项的权重系数；对于异常视频样本的样本特征集合的特征根据所述特征与异常记忆模块P
A
的记忆项的相似度作为权重对记忆项进行加权得到增强后的特征，表示为：式中，上标A代表视频为异常视频；K是当前异常记忆模块P
A
中记忆项的数量，当前异常记忆模块P
A
中第k个记忆项，是第i个异常视频样本的样本特征集合中第t个片段的
特征对于记忆项的权重系数。5.根据权利要求...

【专利技术属性】
技术研发人员：赵春晖，周文浩，宋鹏宇，王文海，阮伟，
申请(专利权)人：浙江大学，
类型：发明
国别省市：