【技术实现步骤摘要】
视频表征模型的训练方法及训练装置
[0001]本公开涉及视频
，尤其涉及一种视频表征模型的训练方法和装置、基于视频表征模型的视频分类方法和装置、基于视频表征模型的视频聚类推荐方法和装置、基于视频表征模型的视频搜索方法和装置。
技术介绍
[0002]目前，短视频作为多媒体内容的重要载体之一，变得越来越重要。一个视频单纯靠图像已经无法完全地进行表征，因此，需要在视频中引入音频、文本等信息，从而通过多模态信息来进行视频表征。并且，对于视频内容的表征而言，其质量的优劣会对下游任务有较大的影响。如果是高质量的视频表征，则对作为下游任务的视频分类任务、视频聚类推荐任务和视频搜索任务等会带来促进作用。相反，如果是低质量或模态信息不平衡的视频表征，则会影响视频分类任务、视频聚类推荐任务和视频搜索任务等的结果，从而导致提供给用户的结果不够准确，降低用户体验。
技术实现思路
[0003]本公开提供一种视频表征模型的训练方法和装置、基于视频表征模型的视频分类方法和装置、基于视频表征模型的视频聚类推荐方法和装置、基于视频表征模...
【技术保护点】
【技术特征摘要】
1.一种视频表征模型的训练方法，其特征在于，所述视频表征模型包括与多种模态信息分别对应的多个特征提取模型、和特征融合模型，所述训练方法包括：获取训练视频、所述训练视频的关于主要任务的标注数据和所述训练视频的关于辅助任务的标注数据，其中，所述主要任务是基于所述多种模态信息的特征的任务，所述辅助任务是基于所述多种模态信息中的一种模态信息的特征的任务；从所述训练视频获取其所包含的所述多种模态信息；将所述多种模态信息分别输入到对应的特征提取模型中，由所述多个特征提取模型提取出所述训练视频的所述多种模态信息的特征；将所述多种模态信息的特征输入到所述特征融合模型中，由所述特征融合模型得到所述训练视频的多模态融合特征；将所述多模态融合特征输入到主要任务模型中，由所述主要任务模型得到所述训练视频的主要任务预测数据；将由所述多个特征提取模型提取出的所述训练视频的所述多种模态信息的特征中与所述辅助任务相关的一种模态信息的特征输入到辅助任务模型中，由所述辅助任务模型得到所述训练视频的辅助任务预测数据；基于所述主要任务预测数据和所述训练视频的关于主要任务的标注数据、所述辅助任务预测数据和所述训练视频的关于辅助任务的标注数据来调整所述多个特征提取模型、所述特征融合模型、所述主要任务模型、所述辅助任务模型的参数，对所述视频表征模型进行训练。2.一种基于视频表征模型的视频分类方法，其特征在于，包括：获取待分类视频；将所述待分类视频输入到根据如权利要求1所述的训练方法训练得到的视频表征模型中，由所述视频表征模型得到所述待分类视频的多模态融合特征；基于所述多模态融合特征对所述待分类视频进行分类。3.一种基于视频表征模型的视频聚类推荐方法，其特征在于，包括：获取待推荐视频；将所述待推荐视频输入到根据如权利要求1所述的训练方法训练得到的视频表征模型中，由所述视频表征模型得到所述待推荐视频的多模态融合特征；基于所述多模态融合特征对所述待推荐视频进行聚类并推荐。4.一种基于视频表征模型的视频搜索方法，其特征在于，包括：获取用于视频搜索的文本信息，并计算所述文本信息的特征；利用根据如权利要求1所述的训练方法训练得到的视频表征模型获取视频的多模态融合特征；比较所述多模态融合特征和所述文本信息的特征，将相似性高的视频确定为搜索结果。5.一种视频表征模型的训练装置，其特征在于，所述视频表征模型包括与多种模态信息分别对应的多个特征提取模型、和特征融合模型，所述训练装置包括：第一获取单元，被配置为：获取训练视频、所述训练视频的关于主要任务的标注数据和所述训练视频的关于辅助任务的标注数据，其中，所述主要任务是基于所述多种模态信息
的特征的任务，所述辅助任务是基于所述多种模态信息中的一种模态信息的特征的任务；第二获取单元，被配置为：从所述训练视频获取其所包含的所述多种模态信息；特征提取单元，被...
【专利技术属性】
技术研发人员：林和政，吴翔宇，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。