一种视频异常检测的少样本微调框架构建方法、系统、终端及介质技术方案

本发明专利技术提供了一种视频异常检测的少样本微调框架构建方法包括：构建基于辅助任务的少样本场景视频异常检测微调框架，分割视频中容易出现异常的目标，同时预测出光流图。通过分割和光流估计这两个辅助任务提取丰富的时空特征促进异常检测模型微调到新场景；采用三阶段的训练策略，对于辅助任务网络的三个部分：分割分支网络、光流分支网络和分割与光流信息融合模块，在三个训练阶段分别训练其中一个部分，而冻结其余两个部分的参数，从而降低训练过程的不稳定性。该视频异常检测的少样本微调框架构建方法及构建系统将视频的分割目标与光流信息有效结合，具有微调效率高、成本低、易于实现、且部署灵活等特点。

【技术实现步骤摘要】

本专利技术涉及视频异常检测，具体为一种视频异常检测的少样本微调框架构建方法、系统、终端及介质。

技术介绍

1、视频异常检测是一项重要且复杂的计算机视觉任务，旨在识别视频中出现的异常行为或事件。该任务在公共安全领域具有广泛的应用前景，尤其是在监控视频的分析和处理方面。近年来，随着智能监控系统的普及和视频数据量的急剧增加，视频异常检测的研究受到了广泛关注。然而，这一任务具有高度的挑战性。首先，“异常”行为的定义是模糊且无界的，任何偏离正常行为模式的事件都可以被视为异常。其次，现实世界中异常事件的发生概率远低于正常事件，这导致异常样本的稀缺。这不仅使得数据集的制作变得困难，也对模型的训练提出了巨大挑战。

2、因此，大多数的研究工作采用无监督学习的方法进行视频异常检测。这些方法在训练过程中只使用正常的数据，利用帧重建和未来帧预测等代理任务对正常事件进行建模。具体而言，通过训练模型重建视频帧或预测未来帧，如果测试时预测结果与实际结果之间存在显著差异，则可认为该帧包含异常行为。这种方法的优势在于不需要异常样本进行训练，降低了数据准备的难度。然而，该方法存在本文档来自技高网...

【技术保护点】

1.一种视频异常检测的少样本微调框架构建方法，其特征在于，包括：

2.根据权利要求1所述的一种视频异常检测的少样本微调框架构建方法，其特征在于，所述S1:构建基于辅助任务的少样本场景视频异常检测微调框架，包括：

3.根据权利要求2所述的一种视频异常检测的少样本微调框架构建方法，还包括如下任意一项或任意多项：所述S101包括，异常检测模型由类似U-Net结构的网络组成，具体来说，网络含有多个卷积层、批归一化层和池化层，每个卷积层后接一个批归一化层和ReLU激活函数；

4.根据权利要求1所述的视频异常检测的少样本微调框架构建方法及构建系统，其特征在于，所述...

【技术特征摘要】

1.一种视频异常检测的少样本微调框架构建方法，其特征在于，包括：

2.根据权利要求1所述的一种视频异常检测的少样本微调框架构建方法，其特征在于，所述s1:构建基于辅助任务的少样本场景视频异常检测微调框架，包括：

3.根据权利要求2所述的一种视频异常检测的少样本微调框架构建方法，还包括如下任意一项或任意多项：所述s101包括，异常检测模型由类似u-net结构的网络组成，具体来说，网络含有多个卷积层、批归一化层和池化层，每个卷积层后接一个批归一化层和relu激活函数；

4.根据权利要求1所述的视频异常检测的少样本微调框架构建方法及构建系统，其特征在于，所述s2采用三阶段的训练策略，对于辅助任务网络的三个部分：分割分支网络、光流分支网络和分割与光流信息融合模块，在三个训练阶段分别训练其中一个部分，而冻结其余两个部分的参数，从而降低训练过程的不稳定性，包括：

5.根据权利要求1所述的视频异常检测的少样本微调框架构建方法及构建系统，其特征在于，所述s301:采用已有的视频异常检测数据集，完成对所述视频异常检测模型的训练；然后完成对所述辅助任务网络...

【专利技术属性】
技术研发人员：刘志，吕京，李恭杨，陆小锋，刘学锋，
申请(专利权)人：上海大学，
类型：发明
国别省市：