【技术实现步骤摘要】
本申请涉及短视频，尤其涉及一种多任务视频分类模型训练方法、应用方法和装置。
技术介绍
1、随着智能手机用户的大幅增加，移动互联网的普及率不断提高。人们越来越倾向于使用手机观看视频内容，而短视频恰好满足了用户在碎片化时间内快速获取信息和娱乐的需求。
2、随着各社交平台短视频发布数量的快速增长，为了更好的对短视频进行内容理解以及个性化推荐，需要对短视频提取更为细致的特征表示。
3、现有的短视频特征表示的提取方法需要标注人员对短视频进行标注，得到短视频对应的人工标注标签，进而利用人工标注标签对短视频分类模型进行训练，从而利用训练好的短视频分类模型提取得到短视频的特征表示。但是，该方法需要人工对短视频进行标注，人力成本较大。
技术实现思路
1、有鉴于此，本申请提供一种多任务视频分类模型训练方法、应用方法和装置，用以解决现有的方法在获取视频的特征表示时人力成本较高的问题。
2、具体地，本申请是通过如下技术方案实现的：
3、本申请第一方面提供一种多任务视频分类模型训练方法，所述多任务视频分类模型用于提取视频的特征表示；所述方法包括：
4、构建初始多任务视频分类模型；其中，所述初始多任务视频分类模型包括特征提取层、以及与所述特征提取层连接的分类器；
5、获取预先构建好的多个图片数据集；其中，每个所述图片数据集中的每张图片携带有图片标签；
6、针对每个所述图片数据集中的每张图片，将预设数量张该张图片组成的图片序列作
7、获取视频数据集，并针对所述视频数据集中的每个真实视频，从该真实视频中抽取所述预设数量张图片作为该帧真实视频的抽帧结果；
8、将该帧真实视频的抽帧结果、以及该帧真实视频的标注标签作为第二训练样本；
9、利用所述第一训练样本和所述第二训练样本训练所述初始多任务视频分类模型，得到训练好的多任务视频分类模型，以利用所述训练好的多任务视频分类模型提取视频的特征表示。
10、本申请第二方面提供一种多任务视频分类模型应用方法，所述方法包括：
11、针对待提取特征表示的多个目标视频中的每个目标视频，利用训练好的多任务视频分类模型对所述目标视频进行特征提取，得到所述目标视频的特征表示；其中，所述训练好的多任务视频分类模型基于上述任一项所述的多任务视频分类模型训练方法训练得到；
12、基于所述多个目标视频的特征表示，建立视频特征库；其中，所述视频特征库存储有所述多个目标视频的特征表示；
13、针对待检索的检索视频，基于所述视频特征库召回与所述检索视频相似的相似视频。
14、本申请第三方面提供一种多任务视频分类模型训练装置，所述多任务视频分类模型用于提取视频的特征表示；所述装置包括：构建模块、获取模块、处理模块和训练模块；其中，
15、所述构建模块，用于构建初始多任务视频分类模型；其中，所述初始多任务视频分类模型包括特征提取层、以及与所述特征提取层连接的分类器；
16、所述获取模块，用于获取预先构建好的多个图片数据集；其中，每个所述图片数据集中的每张图片携带有图片标签；
17、所述处理模块，用于针对每个所述图片数据集中的每张图片，将预设数量张该张图片组成的图片序列作为该张图片对应的虚拟视频的抽帧结果，并将所述虚拟视频的抽帧结果、以及该张图片的图片标签作为第一训练样本；
18、所述处理模块，用于获取视频数据集，并针对所述视频数据集中的每个真实视频，从该真实视频中抽取所述预设数量张图片作为该帧真实视频的抽帧结果；
19、所述处理模块，用于将该帧真实视频的抽帧结果、以及该帧真实视频的标注标签作为第二训练样本；
20、所述训练模块，用于利用所述第一训练样本和所述第二训练样本训练所述初始多任务视频分类模型，得到训练好的多任务视频分类模型，以利用所述训练好的多任务视频分类模型提取视频的特征表示。
21、本申请第四方面提供一种多任务视频分类模型应用装置，所述装置包括：提取模块、构建模块和处理模块；其中，
22、所述提取模块，用于针对待提取特征表示的多个目标视频中的每个目标视频，利用训练好的多任务视频分类模型对所述目标视频进行特征提取，得到所述目标视频的特征表示；其中，所述训练好的多任务视频分类模型基于上述任一项所述的多任务视频分类模型训练方法训练得到；
23、所述构建模块，用于基于所述多个目标视频的特征表示，建立视频特征库；其中，所述视频特征库存储有所述多个目标视频的特征表示；
24、所述处理模块，用于针对待检索的检索视频，基于所述视频特征库召回与所述检索视频相似的相似视频。
25、本申请提供的多任务视频分类模型训练方法、应用方法和装置，通过构建初始多任务视频分类模型，并获取预先构建好的多个图片数据集；其中，每个所述图片数据集中的每张图片携带有图片标签，进而针对每个所述图片数据集中的每张图片，将预设数量张该张图片组成的图片序列作为该张图片对应的虚拟视频的抽帧结果，并将所述虚拟视频的抽帧结果、以及该张图片的图片标签作为第一训练样本，以及获取视频数据集，并针对所述视频数据集中的每个真实视频，从该真实视频中抽取所述预设数量张图片作为该帧真实视频的抽帧结果，并将该帧真实视频的抽帧结果、以及该帧真实视频的标注标签作为第二训练样本，从而利用所述第一训练样本和所述第二训练样本训练所述初始多任务视频分类模型，得到训练好的多任务视频分类模型，以利用所述训练好的多任务视频分类模型提取视频的特征表示。这样，可基于图片数据集和视频数据集得到训练样本，相比对现有技术，不需要完全依赖人工标注来获取训练样本，可以降低人力成本，此外，基于携带图片标签的图片数据来构建训练样本，还可以将训练样本的数据量级从百万级别提高到千万级别，标签量级也从千级别提高到十万级别，这样，可以极大地提高多任务视频分类模型提取视频的特征表示的性能。
本文档来自技高网...【技术保护点】
1.一种多任务视频分类模型训练方法，其特征在于，所述多任务视频分类模型用于提取视频的特征表示；所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述初始多任务视频分类模型包括多个分类器，每个所述分类器用于执行所述图片数据集和所述视频数据集中的一个数据集对应的分类任务。
3.根据权利要求1所述的方法，其特征在于，所述利用所述第一训练样本和所述第二训练样本训练所述初始多任务视频分类模型，得到训练好的多任务视频分类模型，包括：
4.根据权利要求1所述的方法，其特征在于，所述利用所述第一训练样本和所述第二训练样本训练所述初始多任务视频分类模型，得到训练好的多任务视频分类模型，包括：
5.一种多任务视频分类模型应用方法，其特征在于，所述方法包括：
6.根据权利要求5所述的方法，其特征在于，所述检索视频为业务人员选定的优质视频；所述基于所述视频特征库召回与所述检索视频相似的相似视频之后，所述方法还包括：
7.根据权利要求5所述的方法，其特征在于，所述检索视频为推荐用户历史观看的视频中、所述推荐用户喜欢的视频；所述
8.根据权利要求5所述的方法，其特征在于，基于所述多个目标视频的特征表示，建立视频特征库，包括：
9.一种多任务视频分类模型训练装置，其特征在于，所述多任务视频分类模型用于提取视频的特征表示；所述装置包括：构建模块、获取模块、处理模块和训练模块；其中，
10.一种多任务视频分类模型应用装置，其特征在于，所述装置包括：提取模块、构建模块和处理模块；其中，
...【技术特征摘要】
1.一种多任务视频分类模型训练方法，其特征在于，所述多任务视频分类模型用于提取视频的特征表示；所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述初始多任务视频分类模型包括多个分类器，每个所述分类器用于执行所述图片数据集和所述视频数据集中的一个数据集对应的分类任务。
3.根据权利要求1所述的方法，其特征在于，所述利用所述第一训练样本和所述第二训练样本训练所述初始多任务视频分类模型，得到训练好的多任务视频分类模型，包括：
4.根据权利要求1所述的方法，其特征在于，所述利用所述第一训练样本和所述第二训练样本训练所述初始多任务视频分类模型，得到训练好的多任务视频分类模型，包括：
5.一种多任务视频分类模型应用方法，其特征在于，所述方法包括：
6.根据...
【专利技术属性】
技术研发人员：彭科，张宏爽，刘柽钰，
申请(专利权)人：北京陌陌信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。