模型生成方法、视频处理方法及设备技术

本申请实施例提供一种模型生成方法、视频处理方法及设备。其中，从待处理视频中提取多个图像帧；将所述多个图像帧输入视频处理模型；其中，所述视频处理模型包括特征提取器以及至少一个计算模块；所述特征提取器包括多个特征提取模块；所述多个特征提取模块分别从多个图像处理模型中提取获得；基于所述多个特征提取模块分别从所述多个图像帧中提取的帧特征，获得所述待处理视频对应的第一视频特征；利用所述至少一个计算模块分别处理所述第一视频特征，获得至少一个处理结果。本申请实施例提供的技术方案提高了视频处理结果的准确度。度。度。

【技术实现步骤摘要】
模型生成方法、视频处理方法及设备


[0001]本申请实施例涉及数据处理
，尤其涉及一种模型生成方法、视频处理方法及设备。

技术介绍

[0002]在数据处理领域，常涉及对视频数据的处理，比如视频分类、特征计算等，从而基于视频数据的处理结果可以进行相应操作等。目前，通常利用机器学习模型，如神经网络模型来进行视频数据的处理，模型结构、训练方式等均会影响视频处理结果的准确度。如何提供一种视频处理结果更准确的视频处理模型成为本领域技术人员需要解决的技术问题。

技术实现思路

[0003]本申请实施例提供一种模型生成方法、视频处理方法及设备，用以提高视频处理结果的准确度。
[0004]第一方面，本申请实施例中提供了一种视频处理方法，包括：
[0005]从待处理视频中提取多个图像帧；
[0006]将所述多个图像帧输入视频处理模型；其中，所述视频处理模型包括特征提取器以及至少一个计算模块；所述特征提取器包括多个特征提取模块；所述多个特征提取模块分别从多个图像处理模型中提取获得；
[0007]基于所述多个特征提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：从待处理视频中提取多个图像帧；将所述多个图像帧输入视频处理模型；其中，所述视频处理模型包括特征提取器以及至少一个计算模块；所述特征提取器包括多个特征提取模块；所述多个特征提取模块分别从多个图像处理模型中提取获得；基于所述多个特征提取模块分别从所述多个图像帧中提取的帧特征，获得所述待处理视频对应的第一视频特征；利用所述至少一个计算模块分别处理所述第一视频特征，获得至少一个处理结果。2.根据权利要求1所述的方法，其特征在于，所述特征提取器具体包括由所述多个特征提取模块的输出分别连接特征融合模块而构成的多个子提取器，及与所述多个子提取器的输出均连接的特征连接模块；所述基于所述多个特征提取模块分别从所述多个图像帧中提取的帧特征，获得所述待处理视频对应的第一视频特征包括：利用所述多个特征提取模块分别提取所述多个图像帧的帧特征，并经由各自对应的特征融合模块将多个帧特征进行融合获得融合特征；利用所述特征连接模块将所述多个子提取器输出的多个融合特征进行融合获得第一视频特征。3.根据权利要求1所述的方法，其特征在于，所述至少一个处理结果包括视频种类以及视频签名特征；所述从待处理视频中提取多个图像帧之前，所述方法还包括：接收用户上传的待处理视频；所述将所述多个图像帧输入视频处理模型，获得至少一个处理结果之后，所述方法还包括：从音频数据库中筛选与所述视频种类匹配的至少一个音频数据；分别计算所述至少一个音频数据的音频签名特征与所述视频签名特征的相似度；确定相似度满足相似要求的至少一个目标音频数据；向用户推荐所述至少一个目标音频数据。4.根据权利要求1所述的方法，其特征在于，所述至少一个处理结果包括视频种类以及视频签名特征；所述从待处理视频中提取多个图像帧之前，所述方法还包括：接收用户上传的待处理视频；所述将所述多个图像帧输入视频处理模型，获得至少一个处理结果之后，所述方法还包括：从音频数据库中筛选与所述视频种类匹配的至少一个第一音频数据；分别计算所述视频签名特征分别与音频数据库中的音频数据的音频签名特征的相似度，筛选相似度满足相似要求的至少一个第二音频数据；确定在所述至少一个音频数据以及所述至少一个第二音频数据中均存在的至少一个第三音频数据；按照相似度从大到小的顺序，从所述至少一个第三音频数据选择至少一个目标音频数
据；向用户推荐所述至少一个目标音频数据。5.一种模型生成方法，其特征在于，包括：确定多个图像处理模型；从所述多个图像处理模型中分别提取特征提取模块，获得多个特征提取模块；将所述多个特征提取模块并行连接以构建特征提取器；将所述特征提取器的输出连接至少一个视频任务的计算模块以构建视频处理模型；保持所述特征提取器的模型参数不变，利用所述至少一个视频任务的训练样本训练所述视频处理模型；所述视频处理模型用于对待处理视频进行处理以获得分别对应所述至少一个视频任务的处理结果。6.根据权利要求5所述的方法，其特征在于，所述将所述多个特征提取模块并行连接以构建特征提取器包括：将所述多个特征提取模块的输出分别连接一特征融合模块，获得多个子提取器；所述特征融合模块用以将所述特征提取模块输出的多个帧特征进行融合获得融合特征；将所述多个子提取器的输出均连接至一特征连接模块，获得特征提取器；所述特征连接模型用于将所述多个子提取器输出的多个融合特征进行融合获得第一视频特征。7.根据权利要求5所述的方法，其特征在于，所述将所述特征提取器的输出连接至少一个视频任务的计算模块以构建视频处理模型包括：将所述特征提取器的输出连接一个视频任务的计算模块，构建获得视频处理模型；所述保持所述特征提取器的模型参数不变，利用所述至少一个视频任务对应的训练样本，训练所述视频处理模型之后，所述方法还包括：确定分别由所述特征提取器及一个视频任务的计算模块构建的多个视频处理模型；所述多个视频处理模型对应不同视频任务；将所述多个视频处理模型进行整合，获得由所述特征提取器及所述特征提取器的输出连接的多个视频任务分别对...

【专利技术属性】
技术研发人员：陈思宇，康力，邓俊祺，王立波，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：