一种数据非平衡弱监督视频异常检测方法及系统技术方案

本发明专利技术公开了一种数据非平衡弱监督视频异常检测方法及系统，包括提取待测视频的视频片段级的视频特征；将视频片段级的视频特征通过对抗训练模块获得段级异常分数；将视频片段级的视频特征通过聚焦训练模块获得片段级别的异常分数；将段级异常分数与异常分数进行融合，得到融合后的异常分数；再与阈值进行对比，将大于阈值的视频片段中的所有帧均视作异常，小于阈值的视频片段中的所有帧均看作正常，从而实现数据非平衡弱监督视频异常检测与异常的时间定位。本发明专利技术通过融合对抗训练模块与聚焦训练模块得到的与片段级别的异常分数，使得更易于学习正常与异常视频片段之间的差异，对异常事件检测更趋近于真实，进而提升了视频异常检测准确率。常检测准确率。常检测准确率。

【技术实现步骤摘要】
一种数据非平衡弱监督视频异常检测方法及系统


[0001]本专利技术属于视频处理
，具体涉及一种数据非平衡弱监督视频异常检测方法及系统。

技术介绍

[0002]视频异常检测技术在自主监控中得到应用，是监控异常事件发生的重要方法。视频异常通常指视频中出现不正常的外观或运动属性，或在不正常的时间或空间出现正常的外观或运动属性。视频异常检测任务即为检测出视频中存在的时间和空间异常。
[0003]根据样本数据的标签有无，现有的技术通常分为两类，一种是基于无监督的视频异常检测技术，这类方法通常仅对正常样本分布进行建模，测试时将偏离正常样本分布的视频帧或视频片段视为异常。另一种是弱监督的视频异常检测技术，这类方法在训练过程中只使用视频级别的标签，通常看作是一个标准的多示例学习问题，其中每个视频均可以看作是一个包，视频中的每个片段均可看作是一个示例，只要检测到视频中至少存在一帧异常帧，则将该视频标记为异常，否则标记为正常。
[0004]虽然目前存在大量先进的弱监督视频异常检测技术，但是这些弱监督视频异常检测任务均隐式的建立在视频内正常异常帧不平衡的基础上，更多的关注如何找到具有代表性的视频片段或如何获取视频片段之间的时序关系，忽略了一个非常重要的问题，即正常视频和异常视频之间固有的数据失衡现象。例如，常用的ShanghaiTech数据集在训练过程中共包含238个视频，其中正常视频175个，异常视频63个，接近正常视频数量的三分之一，而在现实生活中异常视频数量要远远小于正常视频。如果称ShanghaiTech数据集在训练过程中微弱的考虑到正常视频与异常视频之间数量的不平衡，那么常用的基准数据集UCF
‑
Crime和XD
‑
Violence在训练过程中则将正常视频与异常视频数量设置为接近1：1，这也潜在的使得当前弱监督视频异常检测任务忽略了视频间固有的数量的不平衡现象。
[0005]随着近些年监控摄像头数量的迅速增加，视频监控中的异常检测问题受到越来越多的关注。由于海量监控视频带来的标注困难等问题，获得视频级标签相对要比获得帧级标签更容易,因此只标注视频级别标签的弱监督方法成为实现异常检测的重要手段。然而，以往的弱监督视频异常检测任务隐式的建立在视频内正常异常帧不平衡的基础上，更多的关注如何找到具有代表性的视频片段或如何获取视频片段之间的时间关系，却忽略了一个重要的问题，即正常视频和异常视频之间固有的数据失衡现象，从而影响异常事件的检测效果。

技术实现思路

[0006]为克服现有技术中的问题，本专利技术的目的的在于提供一种数据非平衡弱监督视频异常检测方法及系统，该方法能够对异常视频的数量增强和注意力聚焦，并融合，精准的实现对视频帧级别异常事件检测效果。
[0007]为实现上述目的，本专利技术采用的技术方案如下：
[0008]一种数据非平衡弱监督视频异常检测方法，包括以下步骤：
[0009]提取待测视频的视频片段级的视频特征；
[0010]将视频片段级的视频特征通过对抗训练模块获得段级异常分数；
[0011]将视频片段级的视频特征通过聚焦训练模块获得片段级别的异常分数；
[0012]将通过对抗训练模块获得的段级异常分数与通过聚焦训练模块获得的片段级别的异常分数进行融合，得到融合后的异常分数；
[0013]将融合后的异常分数与阈值进行对比，将大于阈值的视频片段中的所有帧均视作异常，小于阈值的视频片段中的所有帧均看作正常，从而实现数据非平衡弱监督视频异常检测与异常的时间定位。
[0014]进一步的，通过I3D网络提取待测视频的视频片段级的视频特征。
[0015]进一步的，提取待测视频的视频片段级的视频特征具体包括以下步骤：
[0016]将每一个视频X
i
分为N个连续且不重叠的时间片段X
i
＝{x
i1
,...,x
iN
}，x
i1
为第一个时间片段，x
iN
为第N个时间片段，视频X
i
中的所有片段根据视频级别标签组成一个正包或负包，正包表示视频X
i
中至少有一个异常时间片段，负包表示视频X
i
中的所有时间片段均为正常；
[0017]然后以每一个视频X
i
作为I3D网络的输入，I3D网络的输出原始的时空特征Z
i
＝{z
i1
,...,z
iN
}∈R
N
×
D
，每个视频X
i
对应一个原始的时空特征Z
i
＝{z
i1
,...,z
iN
}∈R
N
×
D
，从而完成提取视频特征；其中，N为视频片段数，D为每个片段特征的维数，z
i1
为第一个时间片段x
i1
对应的原始的时空特征，z
iN
为第N个时间片段x
iN
对应的原始的时空特征，R为N
×
D维的矩阵向量。
[0018]进一步的，对抗训练模块总的损失如下：
[0019]L
AT
＝λL
clean
+(1
‑
λ)L
adv
ꢀꢀꢀ
(11)
[0020]式中，L
AT
为对抗训练模块的总损失函数，λ为调节干净视频损失和对抗样本损失之间权重的参数，L
clean
为干净视频的总损失函数，L
adv
为对抗样本的总损失函数。
[0021]进一步的，干净视频的总损失函数如下：
[0022][0023]式中，L
clean
为干净视频的总损失函数，α,β和γ分别为不同的权重参数，为干净视频的铰链损失，为干净视频的稀疏损失，为干净视频的光滑损失。
[0024]进一步的，对抗样本的总损失函数如下：
[0025][0026]式中，L
adv
为对抗样本的总损失函数，α,β和γ分别为不同的权重参数，为对抗样本的铰链损失，为对抗样本的稀疏损失，为对抗样本的光滑损失为对抗样本的交叉熵损失。
[0027]进一步的，聚焦训练模块的损失函数如下：
[0028][0029]式中，L
FT
为聚焦训练模块的总损失函数，α,β和γ分别为不同的权重参数，为
干净视频的铰链损失，为干净视频的稀疏损失，为干净视频的光滑损失，L
CS
为代价敏感损失。
[0030]进一步的，代价敏感的损失函数如下：
[0031]L
CS
＝
‑
ω(1
‑
y
c
)
τ
ylog(y
c
)
‑...

【技术保护点】

【技术特征摘要】
1.一种数据非平衡弱监督视频异常检测方法，其特征在于，包括以下步骤：提取待测视频的视频片段级的视频特征；将视频片段级的视频特征通过对抗训练模块获得段级异常分数；将视频片段级的视频特征通过聚焦训练模块获得片段级别的异常分数；将通过对抗训练模块获得的段级异常分数与通过聚焦训练模块获得的片段级别的异常分数进行融合，得到融合后的异常分数；将融合后的异常分数与阈值进行对比，将大于阈值的视频片段中的所有帧均视作异常，小于阈值的视频片段中的所有帧均看作正常，从而实现数据非平衡弱监督视频异常检测与异常的时间定位。2.根据权利要求1所述的一种数据非平衡弱监督视频异常检测方法，其特征在于，通过I3D网络提取待测视频的视频片段级的视频特征。3.根据权利要求1所述的一种数据非平衡弱监督视频异常检测方法，其特征在于，提取待测视频的视频片段级的视频特征具体包括以下步骤：将每一个视频X
i
分为N个连续且不重叠的时间片段X
i
＝{x
i1
,...,x
iN
}，x
i1
为第一个时间片段，x
iN
为第N个时间片段，视频X
i
中的所有片段根据视频级别标签组成一个正包或负包，正包表示视频X
i
中至少有一个异常时间片段，负包表示视频X
i
中的所有时间片段均为正常；然后以每一个视频X
i
作为I3D网络的输入，I3D网络的输出原始的时空特征Z
i
＝{z
i1
,...,z
iN
}∈R
N
×
D
，每个视频X
i
对应一个原始的时空特征Z
i
＝{z
i1
,...,z
iN
}∈R
N
×
D
，从而完成提取视频特征；其中，N为视频片段数，D为每个片段特征的维数，z
i1
为第一个时间片段x
i1
对应的原始的时空特征，z
iN
为第N个时间片段x
iN
对应的原始的时空特征，R为N
×
D维的矩阵向量。4.根据权利要求1所述的一种数据非平衡弱监督视频异常检测方法，其特征在于，对抗训练模块总的损失如下：L
AT
＝λL
clean
+(1
‑
λ)L
adv
ꢀꢀ
(11)式中，L
AT
为对抗训练模块的总损失函数，λ为调节干净视频损失和对抗样本损失之间权重的参数，L
clean
为干净视频的总损失函数，L
adv
为对抗样本的总损失函数。5.根据权利要求4所述的一种数据非平衡弱监督视频异常检测方法，其特征在于，干净视频的总损失函数如下：式中，L
clean
为干净视频的总损失函数，α,β和γ分别为不同的权重参数，为干净视频的铰链损失，为干净视频的稀疏损失，为...

【专利技术属性】
技术研发人员：何平，张凡，李慧斌，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：