【技术实现步骤摘要】
本专利技术涉及视频分析，具体为一种基于pcanet的多示例学习视频异常识别方法。
技术介绍
1、视频异常检测在视频监控，视频分析和智能视频处理等领域一直是一项重要的任务，视频异常检测是指自动识别视频中的异常行为，例如偷盗，暴力行为，危险驾驶等，通过对视频的识别以达到有效提高安全性和预警能力。pcanet(pixel-component analysisnetwork)网络是一种用于图像处理的深度学习方法，具有一定的图像重构和较强的鲁棒性等特点，pcanet网络在图像识别，分类和相关任务中已经取得了较好的性能，在视频异常检测中，可以帮助模型更好地捕获视频异常的局部特征，多示例学习(multiple instancelearning,mil)是一种用于训练数据包含正例和负例示例的特殊情况下的机器学习方法，与传统的监督学习不同，mil假设每个训练样本是由一组示例(即"包")组成，而非单个示例，因此多示例学习在视频异常检测中具有广泛的应用潜力，因为视频数据通常包含大量的帧，其中只有一小部分可能包含异常行为，多示例学习能够更好地应对不完整标记、帧之间的相关性以及异常的时空变化，从而提高检测性能，减少误报率。
2、视频异常检测在计算机视觉中一直是一项具有挑战性的工作，目前主流的算法都是基于深度学习的网络模型，如公开号为cn 108764042 b提供的一种异常路况信息识别方法、装置及终端设备，由于异常行为的多样性和缺乏明确性标注，因此现有技术中视频异常识别仍然存在以下缺陷：特征提取方法不高效、传统异常检测方法依赖单一训练样本、自
3、在所述
技术介绍
部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本专利技术的目的在于提供一种基于pcanet的多示例学习视频异常识别方法，以解决上述
技术介绍
中提出的问题。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种基于pcanet的多示例学习视频异常识别方法，具体步骤包括：
4、s1:采集包含正常行为和异常行为的视频片段，构成视频片段数据集，并对视频片段数据集进行预处理，生成训练集和测试数据集；
5、s2:构建基于pcanet深度学习网络的图像分类模型，将训练集和测试数据集输入图像分类模型进行训练，提取视频片段的特征，构成训练集特征数据和测试集特征数据；
6、s3:构建多示例学习模型，并为视频片段数据集中每个视频片段分配一个标签，表示视频片段是否包含异常示例，如果视频片段中至少包含一个异常示例，则将其标记为异常，否则标记为正常，使用图像分类模型提取的每个视频特征和视频片段的标签对于多示例学习模型进行训练；
7、s4:采用测试数据集评估多示例学习模型基于图像分类模型提取的特征在视频异常识别上的性能，通过在测试数据上进行模型推断和预测，测量多示例学习模型的性能指标，依据性能指标调整和改进多示例学习模型，直至生成训练完成的多示例学习模型；
8、s5:对待检测的视频片段应用训练好的图像分类模型提取其特征表示形式，将测试视频片段的特征表示输入到训练好的多示例学习模型中进行分类，根据分类器的输出，判断待检测的视频片段是否包含异常行为，并对异常行为进行可视化输出。
9、在其中一个实施例中，对于视频片段数据集进行预处理的方法为：
10、首先将各个视频片段分解为单个帧，确定像素值归一化到的范围，根据像素值，对归一化后的像素值进行缩放，保证像素值落入到归一化的范围内，针对多通道的视频片段，对每个通道分别进行归一化，对数据集中的所有帧都执行上述归一化步骤，确保每个帧的像素值都在目标范围内；
11、然后用一个3×3的高斯卷积核扫描视频各个视频片段中每一帧中的每一个像素，用该卷积确定的领域内像素的加权平均灰度值去替代卷积中心像素点的值，输出经过降噪滤波的视频片段数据集。
12、在其中一个实施例中，构建基于pcanet深度学习网络的图像分类模型时，在pcanet深度学习网络采用局部滤波操作，对于每个滤波器响应图像，将其划分为不重叠的、具有固定大小的局部区域，对于每个局部区域，计算其均值作为汇聚特征，最后，将所有局部区域的汇聚特征拼接为一个全局特征向量，对于得到的全局特征向量，使用主成分分析(pca)方法进行降维。
13、在其中一个实施例中，提取视频片段的特征时，对每个视频片段的每个帧应用训练好的pcanet网络提取图像特征，将每个帧的特征串联形成视频片段的特征表示。
14、在其中一个实施例中，在步骤s3中，将每个视频片段视为一个包，其中正常行为的片段视为正例包，异常行为的片段视为负例包，利用pcanet深度学习网络提取的特征作为视频片段的表示，使用最大池化将视频帧的特征表示聚合为包级别的特征表示，多示例学习模型使用多示例学习算法对正例包和负例包进行训练，学习区分正常行为和异常行为。
15、在其中一个实施例中，在测试数据上进行模型推断和预测时，将帧级别的预测结果进行聚合，所采用的聚合方法为最大值聚合，多示例学习模型的性能指标包括准确率、召回率、f1分数和auc-roc，调整和改进多示例学习模型的方法为调整超参数、正负示例权重和核函数。
16、在其中一个实施例中，对异常行为进行可视化输出的方法为创建时序图表，将异常行为标注在图表上，可视化异常事件的发生时间和持续时间。
17、与现有技术相比，本专利技术的有益效果是：
18、本专利技术通过构建基于pcanet深度学习网络的图像分类模型，使用pcanet深度学习网络提取视频片段的特征，pcanet深度学习网络通过卷积和主成分分析层，能够高效地捕获图视频中的局部特征，还可以降低特征的维度，同时保留主要的信息，减少计算复杂性，并可以帮助消除冗余或不重要的特征，从而提高后续任务的效率和性能，而且不依赖于大规模标注数据不需要大规模标记的数据进行训练，可以通过无监督或半监督学习方式进行预训练，另外使用多示例学习模型中进行分类对视频片段是否异常进行分类，可以使用多个正常的学习示例作为训练样本，不用依赖单一的训练样本，可以提高异常检测的准确性和鲁棒性。
本文档来自技高网...【技术保护点】
1.一种基于PCANet的多示例学习视频异常识别方法，其特征在于，具体步骤包括：
2.根据权利要求1所述的一种基于PCANet的多示例学习视频异常识别方法，其特征在于：对于视频片段数据集进行预处理的方法为：
3.根据权利要求1所述的一种基于PCANet的多示例学习视频异常识别方法，其特征在于：构建基于PCANet深度学习网络的图像分类模型时，在PCANet深度学习网络采用局部滤波操作，对于每个滤波器响应图像，将其划分为不重叠的、具有固定大小的局部区域，对于每个局部区域，计算其均值作为汇聚特征，最后，将所有局部区域的汇聚特征拼接为一个全局特征向量，对于得到的全局特征向量，使用主成分分析方法进行降维。
4.根据权利要求3所述的一种基于PCANet的多示例学习视频异常识别方法，其特征在于：提取视频片段的特征时，对每个视频片段的每个帧应用训练好的PCANet网络提取图像特征，将每个帧的特征串联形成视频片段的特征表示。
5.根据权利要求4所述的一种基于PCANet的多示例学习视频异常识别方法，其特征在于：在步骤S3中，将每个视频片段视为一个包
6.根据权利要求1所述的一种基于PCANet的多示例学习视频异常识别方法，其特征在于：在测试数据上进行模型推断和预测时，将帧级别的预测结果进行聚合，所采用的聚合方法为最大值聚合，多示例学习模型的性能指标包括准确率、召回率、F1分数和AUC-ROC，调整和改进多示例学习模型的方法为调整超参数、正负示例权重和核函数。
7.根据权利要求1所述的一种基于PCANet的多示例学习视频异常识别方法，其特征在于：对异常行为进行可视化输出的方法为创建时序图表，将异常行为标注在图表上，可视化异常事件的发生时间和持续时间。
...【技术特征摘要】
1.一种基于pcanet的多示例学习视频异常识别方法，其特征在于，具体步骤包括：
2.根据权利要求1所述的一种基于pcanet的多示例学习视频异常识别方法，其特征在于：对于视频片段数据集进行预处理的方法为：
3.根据权利要求1所述的一种基于pcanet的多示例学习视频异常识别方法，其特征在于：构建基于pcanet深度学习网络的图像分类模型时，在pcanet深度学习网络采用局部滤波操作，对于每个滤波器响应图像，将其划分为不重叠的、具有固定大小的局部区域，对于每个局部区域，计算其均值作为汇聚特征，最后，将所有局部区域的汇聚特征拼接为一个全局特征向量，对于得到的全局特征向量，使用主成分分析方法进行降维。
4.根据权利要求3所述的一种基于pcanet的多示例学习视频异常识别方法，其特征在于：提取视频片段的特征时，对每个视频片段的每个帧应用训练好的pcanet网络提取图像特征，将每个帧的特征串联形成视频片段的特征表示。
5.根据权利要求4所述...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。