一种聚类辅助的弱监督视频异常检测方法和装置制造方法及图纸

本发明专利技术提出了一种聚类辅助的弱监督视频异常检测方法和装置，属于视频异常检测技术领域。在模型训练阶段，首先将视频随机切分为32个互不重叠的片段，其中每个片段包含16帧连续画面，再使用I3D卷积网络提出连续16帧画面的时空特征并求平均值，然后利用k

【技术实现步骤摘要】
一种聚类辅助的弱监督视频异常检测方法和装置


[0001]本专利技术涉及视频异常检测
，具体涉及一种聚类辅助的弱监督视频异常检测方法、一种聚类辅助的弱监督视频异常检测装置和一种用于视频异常检测的计算机设备。

技术介绍

[0002]视频异常检测旨在通过算法自动检测和定位视频数据中的不正常行为事件，可应用于交通管理、公共安防、环境监测等领域。由于视频具有背景复杂、场景多变、数据规模大等特点，相较于一般的时间序列异常检测，视频异常检测更加复杂，面临4个方面的挑战：1)异常事件定义不明确；2)正常事件和异常事件数量高度不平衡；3)异常事件存在多样性；4)事件的类别具有场景依赖性。由于异常事件的多样性及场景依赖性，获取准确的数据标签较为困难，尤其是精确的片段级标签，即将视频拆分为若干等长的片段，对每个片段都进行准确标注。
[0003]按照视频异常检测方法的发展阶段，可将现有的方法分为传统机器学习方法、混合方法和深度学习方法三类，其中前两种需要对异常事件进行手工建模，计算过程复杂且应用场景有限。根据判别机制，可将深度学习方法进一步划分为重建法、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种聚类辅助的弱监督视频异常检测方法，其特征在于，包括以下步骤：S1.视频预处理：将任意时长的训练视频切分为32个互不重叠的片段，每个片段包含16帧连续画面；S2.时空特征提取：使用I3D卷积网络提取每个视频片段的时空特征，取16帧画面特征的平均值作为视频片段的特征表示；S3.聚类伪标签生成：使用k
‑
means聚类算法将所有用于模型训练的视频片段的时空特征分为两个聚类簇，其中数量大的表示伪负例，数量小的表示伪正例，选取置信度高的特征使用簇类别标注伪标签；S4.异常评分：使用伪标签训练自定义损失函数的循环神经网络，对片段进行评分，其中0表示该片段不包含异常行为，1表示该片段包含异常行为；S5.分值输出：在测试时，将视频切分为连续的片段输入到网络中，根据输出的评分即可判断是否有异常行为以及异常行为发生的位置。2.根据权利要求1所述的一种聚类辅助的弱监督视频异常检测方法，其特征在于，通过下述公式提取视频片段的时空特征：x＝φ(β)，其中φ表示预训练好的I3D卷积网络，β表示视频片段中的连续16帧图像。3.根据权利要求2所述的一种聚类辅助的弱监督视频异常检测方法，其特征在于，通过下述公式来获取伪标签：其中C
small
,C
large
分别表示较大和较小的聚类簇，τ为常数，γ(x)表示聚类结果的置信度。4.根据权利要求3所述的一种聚类辅助的弱监督视频异常检测方法，其特征在于，通过下述公式计算γ(x)：其中u表示当前簇的聚类重新，y表示当前簇的所有成员。5.根据权利要求4所述的一种...

【专利技术属性】
技术研发人员：倪伟，刘洋，张冠华，胡兴，宋梁，
申请(专利权)人：上海光华智创网络科技有限公司，
类型：发明
国别省市：