视频标签推荐模型的训练方法和确定视频标签的方法技术

本公开提供了一种视频标签推荐模型的训练方法和确定视频标签的方法、装置、电子设备和存储介质，应用于人工智能技术领域，具体应用于语音识别、自然语言处理、计算机视觉和智能推荐技术领域。其中，视频标签推荐模型包括视频提取网络和标签特征提取网络。该视频标签推荐模型的训练方法包括：采用视频特征提取网络，获得视频样本的第一视频特征；以作为正样本的第一标签作为标签特征提取网络的输入，获得第一标签的第一特征；以作为负样本的第二标签作为标签特征提取网络的输入，获得第二标签的第二特征；以及基于第一视频特征、第一特征、第二特征和预定损失函数，对视频标签推荐模型进行训练。进行训练。进行训练。

【技术实现步骤摘要】
视频标签推荐模型的训练方法和确定视频标签的方法


[0001]本公开涉及人工智能
，具体涉及语音识别、自然语言处理、计算机视觉和智能推荐
，更具体地涉及一种视频标签推荐模型的训练方法和确定视频标签的方法、装置、电子设备和存储介质。

技术介绍

[0002]随着计算机技术和网络技术的发展，视频作为信息的传播载体得到充分发展。为了向用户提供高效的视频搜索和视频推荐等服务，通常需要对视频添加标签。
[0003]相关技术中，主要依赖于监督学习来对视频进行分类。监督学习通常依赖于大量标注的数据。通过对视频进行分类来确定标签的技术方案中，通常需要预先定义好标签体系。若标签体系根据实时需求进行了调整，则需要对分类模型进行重新训练。

技术实现思路

[0004]本公开提供了一种提高模型灵活性的视频标签推荐模型的训练方法和确定视频标签的方法、装置、设备和存储介质。
[0005]根据本公开的一个方面，提供了一种视频标签推荐模型的训练方法，其中视频标签推荐模型包括视频特征提取网络和标签特征提取网络；该方法包括：采用视频特征提取网络，获得视频样本的第一视频特征；以作为正样本的第一标签作为标签特征提取网络的输入，获得第一标签的第一特征；以作为负样本的第二标签作为标签特征提取网络的输入，获得第二标签的第二特征；以及基于第一视频特征、第一特征、第二特征和预定损失函数，对视频标签推荐模型进行训练。
[0006]根据本公开的另一方面，提供了一种确定视频标签的方法，包括：采用视频标签推荐模型中的视频特征提取网络，获得待处理视频的第二视频特征；以预定标签库中的每个标签作为视频标签推荐模型中的标签特征提取网络的输入，获得每个标签的标签特征；以及基于每个标签的标签特征与第二视频特征之间的距离，确定预定标签库中的目标标签，作为针对待处理视频的标签，其中，视频标签推荐模型是采用前文描述的针对视频的视频标签推荐模型的训练方法训练得到的。
[0007]根据本公开的另一方面，提供了一种视频标签推荐模型的训练装置，其中，该视频标签推荐模型包括视频特征提取网络和标签特征提取网络；该装置包括：第一视频特征获得模块，用于采用视频特征提取网络，获得视频样本的第一视频特征；第一特征获得模块，用于以作为正样本的第一标签作为标签特征提取网络的输入，获得第一标签的第一特征；第二特征获得模块，用于以作为负样本的第二标签作为标签特征提取网络的输入，获得第二标签的第二特征；以及模型训练模块，用于基于第一视频特征、第一特征、第二特征和预定损失函数，对视频标签推荐模型进行训练。
[0008]根据本公开的另一方面，提供了一种确定视频标签的装置，包括：第二视频特征获得模块，用于采用视频标签推荐模型中的视频特征提取网络，获得待处理视频的第二视频
特征；标签特征获得模块，用于以预定标签库中的每个标签作为视频标签推荐模型中的标签特征提取网络的输入，获得每个标签的标签特征；以及标签确定模块，用于基于每个标签的标签特征与第二视频特征之间的距离，确定预定标签库中的目标标签，作为针对待处理视频的标签，其中，视频标签推荐模型是采用前述的视频标签推荐模型的训练装置训练得到的。
[0009]根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的视频标签推荐模型的训练方法和/或确定视频标签的方法。
[0010]根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的视频标签推荐模型的训练方法和/或确定视频标签的方法。
[0011]根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开提供的视频标签推荐模型的训练方法和/或确定视频标签的方法。
[0012]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0013]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0014]图1是根据本公开实施例的视频标签推荐模型的训练方法和确定视频标签的方法、装置的应用场景示意图；
[0015]图2是根据本公开实施例的视频标签推荐模型的训练方法的流程示意图；
[0016]图3是根据本公开实施例的获得视频样本的第一视频特征的原理示意图；
[0017]图4是根据本公开实施例的确定视频模态的特征向量的原理示意图；
[0018]图5是根据本公开实施例的确定音频模态的特征向量的原理示意图；
[0019]图6是根据本公开实施例的视频标签推荐模型的训练方法的原理示意图；
[0020]图7是根据本公开实施例的确定视频标签的方法的流程示意图；
[0021]图8是根据本公开实施例的视频标签推荐模型的训练装置的结构框图；
[0022]图9是根据本公开实施例的确定视频标签的装置的结构框图；以及
[0023]图10是用来实施本公开实施例的视频标签推荐模型的训练方法和/或确定视频标签的方法的电子设备的框图。
具体实施方式
[0024]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0025]本公开提供了一种视频标签推荐模型的训练方法，其中，视频标签推荐模型包括
视频特征提取网络和标签特征提取网络。训练方法包括融合特征获得阶段、标签特征获得阶段和模型训练阶段。在融合特征获得阶段中，采用视频特征提取网络，获得视频样本的第一视频特征。在标签特征获得阶段中，以作为正样本的第一标签作为标签特征提取网络的输入，获得第一标签的第一特征；并以作为负样本的第二标签作为标签特征提取网络的输入，获得第二标签的第二特征。在模型训练阶段中，基于第一视频特征、第一特征、第二特征和预定损失函数，对视频标签推荐模型进行训练。
[0026]以下将结合图1对本公开提供的方法和装置的应用场景进行描述。
[0027]图1是根据本公开实施例的视频标签推荐模型的训练方法和确定视频标签的方法、装置的应用场景示意图。
[0028]如图1所示，该实施例的场景100包括服务器110、第一数据库120和第二数据库130。服务器110例如可以通过网络访问第一数据库120和第二数据库130，网络可以包括有线或无线通信链路。
[0029]第一数据库120中例如可以为标签库，该标签库中维护有多个标签。该标签库中的标签例如可以根据实际需求动态调整。例如，该多个标签可以指示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频标签推荐模型的训练方法，其中，视频标签推荐模型包括视频特征提取网络和标签特征提取网络；所述方法包括：采用所述视频特征提取网络，获得视频样本的第一视频特征；以作为正样本的第一标签作为所述标签特征提取网络的输入，获得所述第一标签的第一特征；以作为负样本的第二标签作为所述标签特征提取网络的输入，获得所述第二标签的第二特征；以及基于所述第一视频特征、所述第一特征、所述第二特征和预定损失函数，对所述视频标签推荐模型进行训练。2.根据权利要求1所述的方法，其中，所述视频特征提取网络包括至少两个特征提取层和特征融合层；所述采用所述视频特征提取网络，获得视频样本的第一视频特征包括：采用所述至少两个特征提取层，分别获得视频样本的至少两个模态的特征向量；以及采用所述特征融合层对所述至少两个模态的特征向量进行加权融合，获得所述第一视频特征。3.根据权利要求2所述的方法，其中，采用所述特征融合层对所述至少两个模态的特征向量进行加权融合，包括：将所述至少两个模态的特征向量转换为相同维度的至少两个向量；基于注意力机制确定为所述至少两个模态的特征向量分配的权重；以及基于为所述至少两个模态的特征向量分配的权重，确定所述至少两个向量的加权和，其中，在所述视频标签推荐模型的训练过程中，所述注意力机制的参数基于所述预定损失函数动态调整。4.根据权利要求2或3所述的方法，其中，分别获得视频样本的至少两个模态的特征向量，包括：采用所述至少两个特征提取层中的第一特征提取层，通过以下方式获得图像模态的特征向量：采用预定采样算法从所述视频样本中抽取至少两个视频帧，获得视频帧序列；采用残差网络提取所述视频帧序列中各视频帧的特征向量，获得特征向量序列；以及融合所述特征向量序列中的各特征向量，得到所述图像模态的特征向量。5.根据权利要求4所述的方法，其中，采用预定采样算法从所述视频样本中抽取至少两个视频帧包括：将所述视频样本切分为多个视频片段；以及采用所述预定采样算法从所述多个视频片段中的每个视频片段中抽取视频帧，获得所述至少两个视频帧。6.根据权利要求2～5中任一项所述的方法，其中，分别获得视频样本的至少两个模态的特征向量包括：通过以下方式获得文本模态的特征向量：以所述视频样本的标题文本作为所述至少两个特征提取层中的第二特征提取层的输入，获得所述文本模态的特征向量。7.根据权利要求2～5中任一项所述的方法，其中，分别获得视频样本的至少两个模态
的特征向量包括：通过以下方式获得音频模态的特征向量：以所述视频样本的音频数据作为所述至少两个特征提取层中的第三特征提取层的输入，获得所述音频数据的梅尔频率倒谱系数，作为所述音频模态的特征向量。8.根据权利要求1所述的方法，其中，所述基于所述第一视频特征、所述第一特征、所述第二特征和预定损失函数，对所述视频标签推荐模型进行训练包括：确定所述第一特征和所述第二特征分别与所述第一视频特征之间的距离，得到第一距离和第二距离；基于所述第一距离和所述第二距离，确定所述预定损失函数的取值；以及基于所述预定损失函数的取值，对所述视频标签推荐模型进行训练。9.根据权利要求1所述的方法，还包括：确定所述第一特征与所述第一视频特征之间的第一距离与预定值的和，得到目标距离；以及基于所述目标距离，从预定标签库中获取所述第二标签，其中，所述第二标签的第二特征与所述第一视频特征之间的第二距离大于所述目标距离。10.一种确定视频标签的方法，包括：采用视频标签推荐模型中的视频特征提取网络，获得待处理视频的第二视频特征；以预定标签库中的每个标签作为所述视频标签推荐模型中的标签特征提取网络的输入，获得所述每个标签的标签特征；以及基于所述每个标签的标签特征与所述第二视频特征之间的距离，确定所述预定标签库中的目标标签，作为对应所述待处理视频的标签，其中，所述视频标签推荐模型是采用权利要求1～9中任一项所述的方法训练得到的。11.一种视频标签推荐模型的训练装置，其中，所述视频标签推荐模型包括视频特征提取网络和标签特征提取网络；所述装置包括：第一视频特征获得模块，用于采用所述视频特征提取网络，获得视频样本的第一视频特征；第一特征获得模块，用于以作为正样本的第一标签作为所述标签特征提取网络的输入，获得所述第一标签的第一特征；第二特征获得模块，用于以作为负样本的第二标签作为所述标签特征提取网络的输入，获得所述第二标签的第二特征；以及模型训...

【专利技术属性】
技术研发人员：叶芷，唐鑫，王贺伟，葛利，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：