视频分类方法及装置、电子设备及计算机可读存储介质制造方法及图纸

本发明专利技术提供了一种视频分类方法及装置、电子设备及计算机可读存储介质，涉及视频处理技术领域，在对待分类视频进行视频分类时，先对待分类视频进行时序采样处理，得到多个不同部位的初始视频片段；然后分别对多个初始视频片段进行空间变换增强处理，得到多个目标视频片段；进而将多个目标视频片段两两配对后输入至训练好的分类网络模型，得到待分类视频的类别。这种基于自监督对比学习的视频分类技术，分类网络模型能够从经过时序采样处理和空间变换增强处理得到的多个目标视频片段中提取到时间跨度较大、表征能力较强的时空特征，从而可以应用到长视频，与相关现有技术相比，提高了视频分类的准确率，增强了特征泛化能力。增强了特征泛化能力。增强了特征泛化能力。

【技术实现步骤摘要】
视频分类方法及装置、电子设备及计算机可读存储介质


[0001]本专利技术涉及视频处理
，尤其是涉及一种视频分类方法及装置、电子设备及计算机可读存储介质。

技术介绍

[0002]视频分类技术是计算机视觉领域的一个重要研究方向，其主要目的是对视频内容进行分析，根据其中的对象、场景以及对象的动作信息、场景的演化信息等将视频归为预定义的类，从而达到对视频进行监管和分类整理的目的。在大数据时代，视频分类技术还要具有高效性、并行性和可扩展性等。因此，视频分类技术是视频理解先进性和前沿性的集中体现。
[0003]视频分类问题本质上是模式识别问题，其处理流程主要包含特征提取和分类两个步骤，其中特征提取是该问题的核心步骤。在过去的几十年中，随着特征提取技术的发展，视频分类技术取得了一些进步，但是远没有达到令人满意的地步，仍面临着巨大挑战：视频低层特征与语义标签之间存在着巨大的语义鸿沟。视频是由一系列图像按照一定的顺序组成的，图像中的视觉信息构成了视频的视觉信息。此外，更重要的是，图像之间的顺序信息构成了视频的时域信息。这些时域信息包含物体的运动和场本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频分类方法，其特征在于，包括：对待分类视频进行时序采样处理，得到多个不同部位的初始视频片段；分别对多个所述初始视频片段进行空间变换增强处理，得到多个目标视频片段；将多个所述目标视频片段两两配对后输入至训练好的分类网络模型，得到所述待分类视频的类别；其中，所述分类网络模型通过基于开源数据集的自监督对比学习预训练以及基于自定义数据集的微调训练得到。2.根据权利要求1所述的视频分类方法，其特征在于，所述对待分类视频进行时序采样处理，得到多个不同部位的初始视频片段，包括：从所述待分类视频的首部、中部、尾部各采样一个预设时长的视频片段，并对所述预设时长的视频片段进行预设帧数的采样，得到三个初始视频片段。3.根据权利要求1所述的视频分类方法，其特征在于，所述分别对多个所述初始视频片段进行空间变换增强处理，得到多个目标视频片段，包括：对多个所述初始视频片段分别进行相同的随机变换和高斯模糊变换，得到多个目标视频片段；其中，所述随机变换包括随机裁剪、随机水平翻转和随机颜色抖动中的一种或多种。4.根据权利要求1所述的视频分类方法，其特征在于，所述分类网络模型包括特征嵌入编码器和分类层；所述将多个所述目标视频片段两两配对后输入至训练好的分类网络模型，得到所述待分类视频的类别，包括：将多个所述目标视频片段两两配对，得到多个视频片段对；将各个所述视频片段对输入至所述特征嵌入编码器，得到所述特征嵌入编码器输出的时空特征；将所述时空特征输入至所述分类层，得到所述分类层输出的类别。5.根据权利要求1所述的视频分类方法，其特征在于，所述方法还包括：获取多个样本视频，所述样本视频包括来自所述开源数据集的第一样本视频和来自所述自定义数据集的第二样本视频；对每个所述样本视频分别进行时序采样处理和空间变换增强处理，得到每个所述样本视频对应的多个样本视频片段；将每个所述样本视频对应的多个所述样本视频片段两两配对，得到每个所述样本视频对应的多个样本片段对；根据各个所述第一样本视频对应的多个样本片段对，对初始特征嵌入编码器进行自监督对比学习预训练，得到预训练后的特征嵌入编码器；根据各个所述第二样本视频对应的多个样本片段对，对由所述预训练后的特征嵌入编码器和分类层构成的初始分类网络模型进行微调训练，得到训练好的分类网络模型。6.根据权利要求5所述的视频分类方法，其特征在于，所述初始特征嵌入编码器包括依次设置的特征嵌入骨干网络和多层感知机投影头，所述...

【专利技术属性】
技术研发人员：范清，唐大闰，
申请(专利权)人：上海明略人工智能集团有限公司，
类型：发明
国别省市：