视频特征模型训练方法及装置、视频特征提取方法及装置制造方法及图纸

本说明书实施例提供了视频特征模型训练方法及装置、视频特征提取方法及装置。在模型训练方法中，获取视频数据，然后按照以下方式对视频特征模型进行训练，直至满足训练结束条件：将视频数据提供给所述视频特征模型，以得到多模态特征；得到各个正例视频对组中的视频帧特征与文本特征之间的正例匹配度得分；根据正例匹配度得分得到为正例视频对组所分配的正例权重；基于负例多模态特征和所述正例多模态特征以及对应的正例权重，利用当前的视频特征模型在预设代理任务中计算第一损失；以及基于第一损失对视频特征模型进行调整。于第一损失对视频特征模型进行调整。于第一损失对视频特征模型进行调整。

【技术实现步骤摘要】
视频特征模型训练方法及装置、视频特征提取方法及装置


[0001]本说明书实施例涉及人工智能
，具体地，涉及视频特征模型训练方法及装置、视频特征提取方法及装置。

技术介绍

[0002]在视频网站中，视频推荐、视频搜索是应用最广泛的业务。随着人工智能的兴起，机器学习模型取代传统的推荐和搜索方式，能为用户提供更精准的推荐和搜索服务。在机器学习模型进行视频推荐或搜索时，需要对视频进行特征提取，然后根据所提取的视频特征来进行推荐和搜索。

技术实现思路

[0003]鉴于上述，本说明书实施例提供了视频特征模型训练方法及装置、视频特征提取方法及装置。通过本说明书实施例的技术方案，通过正例权重来动态地调整正例视频对组在视频特征模型训练中的重要程度，在正例匹配度得分足够高以及训练轮次增加的情况下，通过减小的正例权重来调低正例视频对组在视频特征模型训练中的重要程度，进而增加反例视频对组在视频特征模型训练中的重要程度，从而达到渐进学习反例的目的，提高视频特征模型的鲁棒性。
[0004]根据本说明书实施例的一个方面，提供了一种用于对视频特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于对视频特征模型进行训练的方法，包括：获取视频数据，其中，每个视频数据包括视频帧数据和文本数据；按照以下方式对视频特征模型进行训练，直至满足训练结束条件：将所述视频数据提供给所述视频特征模型，以得到多模态特征，其中，每个多模态特征由视频帧特征和文本特征通过多模态融合得到，所述多模态特征包括针对正例视频对组的正例多模态特征和针对负例视频对组的负例多模态特征，每个正例视频对组所包括的各个正例视频对由来自于同一视频的视频帧特征和文本特征组成，每个负例视频对组所包括的各个负例视频对由来自于不同视频的视频帧特征和文本特征组成；得到各个正例视频对组中的视频帧特征与文本特征之间的正例匹配度得分；根据所述正例匹配度得分得到为所述正例视频对组所分配的正例权重，其中，所述正例权重随着训练轮次增加而减小；基于所述负例多模态特征和所述正例多模态特征以及对应的正例权重，利用当前的视频特征模型在预设代理任务中计算第一损失；以及基于所述第一损失对所述视频特征模型进行调整。2.如权利要求1所述的方法，还包括：得到各个负例视频对组中的视频帧特征与文本特征之间的负例匹配度得分；以及根据所述负例匹配度得分对所述各个负例视频对组进行采样；基于所述负例多模态特征和所述正例多模态特征以及对应的正例权重，在预设代理任务中计算第一损失包括：基于经过采样得到的负例视频对组所对应的负例多模态特征和所述正例多模态特征以及对应的正例权重，在预设代理任务中计算第一损失。3.如权利要求2所述的方法，其中，根据所述负例匹配度得分对所述各个负例视频对组进行采样包括：针对每个视频所对应的视频帧特征组，根据包括有该视频帧特征组的待采样负例视频对组的负例匹配度得分对所述待采样负例视频对组进行采样，以得到指定数量的包括有该视频帧特征组的负例视频对组。4.如权利要求3所述的方法，其中，针对每个视频所对应的视频帧特征组，根据包括有该视频帧特征组的待采样负例视频对组的负例匹配度得分对所述待采样负例视频对组进行采样，以得到指定数量的包括有该视频帧特征组的负例视频对组包括：针对每个视频所对应的视频帧特征组，从包括有该视频帧特征组的待采样负例视频对组中将负例匹配度得分最高的指定数量的负例视频对组进行采样。5.如权利要求2所述的方法，还包括：根据随机概率判断是否执行针对所述各个负例视频对的采样操作，其中，所述随机概率随着训练轮次的增加而变大。6.如权利要求5所述的方法，其中，根据随机概率判断是否执行针对所述各个负例视频对的重采样操作包括：在引入动态变化系数的情况下，在每轮训练中生成属于指定数值范围的随机数，所述动态变化系数随着训练轮次的增加而在所述指定数值范围内增加；当所述随机数小于所述动态变化系数时，在该轮训练中执行针对所述各个负例视频对
的采样操作；以及当所述随机数不小于所述动态变化系数时，在该轮训练中不执行针对所述各个负例视频对的采样操作。7.如权利要求1所述的方法，其中，根据所述正例匹配度得分得到为所述正例视频对组所分配的正例权重包括：根据所述正例匹配度得分以及随着训练轮次的增加而在指定数值范围内增加的动态变化系数得到为所述正例视频对组所分配的正例权重。8.如权利要求1所述的方法，其中，根据所述正例匹配度得分得到为所述正例视频对组所分配的正例权重包括：从所述各个正例视频对组的正例匹配度得分中确定中位数得分和最小得分；以及针对所述各个正例视频对组，根据该正例视频对组的正例匹配度得分、所述中位数得分和所述最小得分得到该正例视频对组的正例权重。9.如权利要求1所述的方法，所述预设代理任务包括视频文本匹配代理任务，所述方法还包括：基于各个视频对组的乘积匹配度得分，在所述视频文本匹配任务中计算第二损失，其中，所述视频对包括正例视频对组和负例视频对组，每个...

【专利技术属性】
技术研发人员：董兴宁，王清，郭清沛，任翔远，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：