一种视频分类方法、装置及系统制造方法及图纸

本公开关于一种视频分类方法、装置、电子设备以及存储介质，用以至少解决相关技术中视频分类方法无法兼顾分类准确度以及分类速度的问题，方法包括：使用预先训练得到的基于卷积神经网络的特征提取模型对待分类视频数据进行多帧特征提取，以得到所述待分类视频数据的多帧视频特征集；根据所述多帧视频特征集，确定所述待分类视频数据的稳定性指标，其中，所述待分类视频数据的稳定性指标用于表征所述待分类视频数据中连续两帧视频帧所对应画面的变化程度；根据所述待分类视频的稳定性指标，确定与所述待分类视频数据对应的预先训练好的分类模型，并利用所述分类模型对所述待分类视频数据进行分类。

A video classification method, device and system

【技术实现步骤摘要】
一种视频分类方法、装置及系统
本公开涉及计算机
，尤其涉及一种视频分类方法、装置及系统。
技术介绍
随着移动社交媒体技术的快速发展，短视频作为一种具有娱乐性的内容展示形式，深受大众的喜爱。由于短视频制作门槛低，内容生产迅速，因此每天会产生大量的新内容。现有的短视频APP为了可以方便用户更快的找到自己所喜爱的短视频进行观看，往往需要对对新产生视频进行分类或者添加各类分类标签。由于短视频生产速度快且数据量极大，因而在现有技术中往往会利用深度学习算法来进行视频图像的识别与分类。而其中，卷积神经网络(ConvolutionalNeuralNetworks,CNN)作为深度学习的一个重要分支，凭借其超强的特征提取能力以及端到端的全局优化能力，在视觉目标检测、分类识别任务中有着广泛的应用。但是，通过深度学习模型实现视频分类存在的问题在于，由于深度学习模型属于计算密集型算法，在CPU上处理速度慢，造成其难以在实时性要求较高的任务中使用，即便采用专门的GPU平台处理，仍旧需要考虑相应的网络优化提速方法。尤其是针对短视频平台这种典型的用户内容生成(UserGeneratedContent，UGC)平台来说，其数据大多数是视频内容，多帧的融合会进一步加剧资源的效果，减慢运算速度。为了尽量减少深度学习模型在视频分类识别过程中处理速度较慢而无法保证实时性的问题，现有技术中提供了一种可以基于视频中单帧图像进行分类的深度学习模型，该图像分类模型主要针对单帧图像进行识别，因而运算速度较快，然而该图像分类模型存在的确定在于无法保证分类结果的准确度。由此可见，如何在保证分类准确度的情况下，尽可能地提高视频分类的速度，成为现有技术亟待解决的问题。
技术实现思路
本公开提供一种视频分类方法、装置及系统，以至少解决相关技术中视频分类方法无法兼顾分类准确度以及分类速度的问题。本公开的技术方案如下：根据本公开实施例的第一方面，提供一种视频分类方法，包括：使用预先训练得到的基于卷积神经网络的特征提取模型对待分类视频数据进行多帧特征提取，以得到所述待分类视频数据的多帧视频特征集；根据所述多帧视频特征集，确定所述待分类视频数据的稳定性指标，其中，所述待分类视频数据的稳定性指标用于表征所述待分类视频数据中连续两帧视频帧所对应画面的变化程度；根据所述待分类视频的稳定性指标，确定与所述待分类视频数据对应的预先训练好的分类模型，并利用所述分类模型对所述待分类视频数据进行分类。在一种实施方式中，根据所述多帧视频特征集，确定所述待分类视频数据的稳定性指标，包括：确定所述多帧视频特征集中任意两个特征之间的余弦距离，并确定所述多帧视频特征集中两个特征之间平均距离；将所述平均距离确定为所述待分类视频数据的稳定性指标。在一种实施方式中，根据以下公式确定所述多帧视频特征集中任意两个特征之间的余弦距离，并确定所述多帧视频特征集中两个特征之间平均距离：其中，K表示所述多帧视频特征集中特征的个数，featurei表示所述多帧视频特征集中第i个特征，featurej表示所述多帧视频特征集中第j个特征。在一种实施方式中，根据所述待分类视频的稳定性指标，确定与所述待分类视频数据对应的预先训练好的分类模型，包括：根据所述待分类视频的稳定性指标，确定所述视频数据是否为稳定数据；当确定所述视频数据为稳定数据时，则确定预先训练好的图像分类模型为与所述待分类视频数据对应的分类模型；当确定所述视频数据为非稳定数据时，则确定预先训练好的视频分类模型为与所述待分类视频数据对应的分类模型。在一种实施方式中，根据所述待分类视频的稳定性指标，判断所述视频数据是否为稳定数据，包括：根据所述稳定性指标与预设阈值之间的大小关系，确定所述视频数据是否为稳定数据；当所述稳定性指标小于所述预设阈值时，则确定所述视频数据为稳定数据；当所述稳定性指标在所述预设阈值以上时，则确定所述视频数据为非稳定数据。在一种实施方式中，所述特征提取模型、所述视频分类模型以及所述图像分类模型为通过对相同数据集进行训练而得到的。根据本公开实施例的第二方面，提供一种视频分类的装置，包括：特征提取单元，被配置为执行使用预先训练得到的基于卷积神经网络的特征提取模型对待分类视频数据进行多帧特征提取，以得到所述待分类视频数据的多帧视频特征集；稳定性确定单元，被配置为执行根据所述多帧视频特征集，确定所述待分类视频数据的稳定性指标，其中，所述待分类视频数据的稳定性指标用于表征所述待分类视频数据中连续两帧视频帧所对应画面的变化程度；分类单元，被配置为执行根据所述待分类视频的稳定性指标，确定与所述待分类视频数据对应的预先训练好的分类模型，并利用所述分类模型对所述待分类视频数据进行分类。在一种实施方式中，稳定性确定单元被配置为执行：确定所述多帧视频特征集中任意两个特征之间的余弦距离，并确定所述多帧视频特征集中两个特征之间平均距离；将所述平均距离确定为所述待分类视频数据的稳定性指标。在一种实施方式中，，稳定性确定单元被配置为执行：根据以下公式确定所述多帧视频特征集中任意两个特征之间的余弦距离，并确定所述多帧视频特征集中两个特征之间平均距离：其中，K表示所述多帧视频特征集中特征的个数，featurei表示所述多帧视频特征集中第i个特征，featurej表示所述多帧视频特征集中第j个特征。在一种实施方式中，稳定性确定单元被配置为执行：根据所述待分类视频的稳定性指标，确定所述视频数据是否为稳定数据；则分类单元具体被配置为执行：当所述稳定性确定单元确定所述视频数据为稳定数据时，则确定预先训练好的图像分类模型为与所述待分类视频数据对应的分类模型；当所述稳定性确定单元确定所述视频数据为非稳定数据时，则确定预先训练好的视频分类模型为与所述待分类视频数据对应的分类模型。在一种实施方式中，稳定性确定单元被配置为执行：当所述稳定性指标小于所述预设阈值时，则确定所述待分类视频数据为稳定数据；当所述稳定性指标在所述预设阈值以上时，则确定所述待分类视频数据为非稳定数据。在一种实施方式中，所述特征提取模型、所述视频分类模型以及所述图像分类模型为通过对相同数据集进行训练而得到的。根据本公开实施例的第三方面，提供一种视频分类电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现上述第一方面中任一项视频分类方法步骤。根据本公开实施例的第四方面，提供一种存储介质，包括：当所述存储介质中的指令由视频分类电子设备的处理器执行时，使得所述视频分类电子设备能够执行上述第一方面中任一项视频分类方法步骤。根据本公开实施例的第五方面，提供一种计算机程序产品，包括：当其在设备上运行时，使得项目打包设备执行：上述第一方面中任一项视频分类方法步骤。本公开的实施例提供的技术方案至少带来以下有益效果：采用本公开实施例提供的视频分类方本文档来自技高网...

【技术保护点】
1.一种视频分类方法，其特征在于，包括：/n使用预先训练得到的基于卷积神经网络的特征提取模型对待分类视频数据进行多帧特征提取，以得到所述待分类视频数据的多帧视频特征集；/n根据所述多帧视频特征集，确定所述待分类视频数据的稳定性指标，其中，所述待分类视频数据的稳定性指标用于表征所述待分类视频数据中连续两帧视频帧所对应画面的变化程度；/n根据所述待分类视频的稳定性指标，确定与所述待分类视频数据对应的预先训练好的分类模型，并利用所述分类模型对所述待分类视频数据进行分类。/n

【技术特征摘要】
1.一种视频分类方法，其特征在于，包括：
使用预先训练得到的基于卷积神经网络的特征提取模型对待分类视频数据进行多帧特征提取，以得到所述待分类视频数据的多帧视频特征集；
根据所述多帧视频特征集，确定所述待分类视频数据的稳定性指标，其中，所述待分类视频数据的稳定性指标用于表征所述待分类视频数据中连续两帧视频帧所对应画面的变化程度；
根据所述待分类视频的稳定性指标，确定与所述待分类视频数据对应的预先训练好的分类模型，并利用所述分类模型对所述待分类视频数据进行分类。


2.根据权利要求1所述的视频分类方法，其特征在于，根据所述多帧视频特征集，确定所述待分类视频数据的稳定性指标，包括：
确定所述多帧视频特征集中任意两个特征之间的余弦距离，并确定所述多帧视频特征集中两个特征之间平均距离；
将所述平均距离确定为所述待分类视频数据的稳定性指标。


3.根据权利要求2所述的视频分类方法，其特征在于，根据以下公式确定所述多帧视频特征集中任意两个特征之间的余弦距离，并确定所述多帧视频特征集中两个特征之间平均距离：



其中，K表示所述多帧视频特征集中特征的个数，featurei表示所述多帧视频特征集中第i个特征，featurej表示所述多帧视频特征集中第j个特征。


4.根据权利要求2所述的视频分类方法，其特征在于，根据所述待分类视频的稳定性指标，确定与所述待分类视频数据对应的预先训练好的分类模型，包括：
根据所述待分类视频的稳定性指标，确定所述视频数据是否为稳定数据；
当确定所述视频数据为稳定数据时，则确定预先训练好的图像分类模型为与所述待分类视频数据对应的分类模型；
当确定所述视频数据为非稳定数据时，则确定预先训练好的视频分类模型为与所述待分类视频数据对应的分类模型。


5.根据权利要求4所述的视频分类方法，其特征在于，根据所述待分类视频的稳...

【专利技术属性】
技术研发人员：张志伟，吴丽军，李铅，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11