视频分类的方法及装置制造方法及图纸

本发明专利技术公开了一种视频分类的方法及装置，涉及视频分类技术领域，提高了对视频文件进行分类的准确率，本发明专利技术的主要技术方案为：从待分类视频中提取所述待分类视频对应的原始图像和光流图像；将所述原始图像输入至空域卷积神经网络模型，以获得所述待分类视频对应的空域分类结果；将所述光流图像输入至时域卷积神经网络模型，以获得所述待分类视频对应的时域分类结果，其中，所述时域卷积神经网络模型与所述空域卷积神经网络模型为网络架构不同的卷积神经网络模型；对所述空域分类结果和所述时域分类结果进行融合处理，以获得所述待分类视频对应的分类结果。本发明专利技术应用于对视频文件进行分类的过程中。

Method and Device of Video Classification

【技术实现步骤摘要】
视频分类的方法及装置
本专利技术涉及视频分类
，尤其涉及一种视频分类的方法及装置。
技术介绍
随着互联网技术的不断发展，互联网中出现了各式各样的视频文件，如电影视频文件、电视连续剧视频文件等等，从而使得如何对海量的视频文件进行分析管理，成为了目前亟需解决的重要问题，而在对视频文件进行分析管理的过程中，如何准确的对视频文件进行分类至关重要。在视频分类技术中，由空域卷积神经网络模型和时域卷积神经网络模型构成的双流卷积神经网络模型是具有代表性的一种网络模型，在将视频文件对应的原始图像和光流图像分别输入至空域卷积神经网络模型和时域卷积神经网络模型后，双流卷积神经网络模型便能有效的对该视频文件中的物体进行动作识别，从而能够准确的输出该视频文件对应的类别。目前，为了便于双流卷积神经网络模型的构建，通常会使用具有相同网络架构的空域卷积神经网络模型和时域卷积神经网络模型构成双流卷积神经网络模型。然而，由于，原始图像和光流图像各自具有不同的特性，因此，使用具有相同网络架构的空域卷积神经网络模型和时域卷积神经网络模型对视频文件对应的原始图像和光流图像进行动作识别，会在一定程度上影响对视频文件中的物本文档来自技高网...

【技术保护点】
1.一种视频分类的方法，其特征在于，所述方法包括：从待分类视频中提取所述待分类视频对应的原始图像和光流图像；将所述原始图像输入至空域卷积神经网络模型，以获得所述待分类视频对应的空域分类结果；将所述光流图像输入至时域卷积神经网络模型，以获得所述待分类视频对应的时域分类结果，其中，所述时域卷积神经网络模型与所述空域卷积神经网络模型为网络架构不同的卷积神经网络模型；对所述空域分类结果和所述时域分类结果进行融合处理，以获得所述待分类视频对应的分类结果。

【技术特征摘要】
1.一种视频分类的方法，其特征在于，所述方法包括：从待分类视频中提取所述待分类视频对应的原始图像和光流图像；将所述原始图像输入至空域卷积神经网络模型，以获得所述待分类视频对应的空域分类结果；将所述光流图像输入至时域卷积神经网络模型，以获得所述待分类视频对应的时域分类结果，其中，所述时域卷积神经网络模型与所述空域卷积神经网络模型为网络架构不同的卷积神经网络模型；对所述空域分类结果和所述时域分类结果进行融合处理，以获得所述待分类视频对应的分类结果。2.根据权利要求1所述的方法，其特征在于，在所述从待分类视频中提取所述待分类视频对应的原始图像和光流图像之前，所述方法还包括：在动作识别数据集和/或手势识别数据集中获取多个训练视频及每个所述训练视频对应的分类标签；根据多个所述训练视频及每个所述训练视频对应的分类标签对第一卷积神经网络模型进行训练，以获得所述空域卷积神经网络模型；根据多个所述训练视频及每个所述训练视频对应的分类标签对第二卷积神经网络模型进行训练，以获得所述时域卷积神经网络模型，其中，所述第二卷积神经网络模型与所述第一卷积神经网络模型为网络架构不同的卷积神经网络模型。3.根据权利要求2所述的方法，其特征在于，所述根据多个所述训练视频及每个所述训练视频对应的分类标签对第一卷积神经网络模型进行训练，以获得所述空域卷积神经网络模型，包括：从多个所述训练视频中提取每个所述训练视频对应的原始图像；将多个所述训练视频对应的原始图像设置为所述第一卷积神经网络模型的训练集，并根据每个所述训练视频对应的原始图像和分类标签之间的映射关系对所述第一卷积神经网络模型的参数进行优化调整；当所述第一卷积神经网络模型准确输出每个所述训练视频对应的分类标签时，将所述第一卷积神经网络模型确定为所述空域卷积神经网络模型。4.根据权利要求2所述的方法，其特征在于，所述根据多个所述训练视频及每个所述训练视频对应的分类标签对第二卷积神经网络模型进行训练，以获得所述时域卷积神经网络模型，包括：从多个所述训练视频中提取每个所述训练视频对应的光流图像；将多个所述训练视频对应的光流图像设置为所述第二卷积神经网络模型的训练集，并根据每个所述训练视频对应的光流图像和分类标签之间的映射关系对所述第二卷积神经网络模型的参数进行优化调整；当所述第二卷积神经网络模型准确输出每个所述训练视频对应的分类标签时，将所述第二卷积神经网络模型确定为所述时域卷积神经网络模型。5.根据权利要求1所述的方法，其特征在于，所述对所述空域分类结果和所述时域分类结果进行融合处理，以获得所述待分类视频对应的分类结果，包括：根据所述空域分类结果对应的第一权重值和所述时域分类结果对应的第二权重值，对所述空域分类结果和所述时域分类结果进行加权求和计算，以获得所述待分类视频对应的分类结果。6.根据权利要求5所述的方法，其特征在于，所述空域分类结果包含每个预设分类类别对应的空域得分，所述时域分类结果包含每个所述预设分类类别对应的时域得分；所述根据所述空域分类结果对应的第一权重值和所述时域分类结果对应的第二权重值，对所述空域分类结果和所述时域分类结果进行加权求和计算，以获得所述待分类视频对应的分类结果，包括：根据所述第一权重值和所述第二权重值，对每个所述预设分类类别对应的空域得分和时域得分进行加权求和计算，以获得每个所述预设分类类别对应的总得分；将多个所述总得分中的最高总得分对应的预设分类类别确定为所述待分类视频对应的分类结果。7.根据权利要求2-4中任一项所述的方法，其特征在于，所述第一卷积神经网络模型为ResNeXt网络模型，所述第二卷积神经网络模型为Inception-v3网络模型。8.一种视频分类的装置，其特征在于，所述装置包括：提取单元，用于从待分类视频中提取所述待分类视频对应的原始图像和光流图像；第一输入单元，用于将所述提取单元提...

【专利技术属性】
技术研发人员：贾红红，赵骥伯，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京,11