一种视频推荐的方法及相关设备技术

本申请实施例提供了一种视频推荐的方法及相关设备，可以提高视频的语义表征，从而为用户推荐更加贴合用户兴趣的视频。该方法包括:确定目标图像特征向量；确定目标文本特征向量；确定目标音频特征向量；基于所述目标图像特征向量、所述目标文本特征向量以及所述目标音频特征向量，通过目标语义转换模型得到所述目标视频的语义表征，所述目标语义转换模型与所述目标图像特征、所述目标文本特征以及所述目标音频特征相对应；当所述目标视频的语义表征与所述目标对象的兴趣画像相匹配时，向所述目标对象推送所述目标视频。

【技术实现步骤摘要】
一种视频推荐的方法及相关设备本申请要求于2019年09月16日提交的、申请号为201910872376.4、专利技术名称为“一种视频推荐的方法及相关设备”的专利申请的分案申请。
本申请涉及信息处理领域，尤其涉及一种视频推荐的方法及相关设备。
技术介绍
互联网时代催生了视频的产生及迅速膨胀，随着视频信息量的大幅增长，使得用户在面对大量视频是无法从中获得自己真正感兴趣的内容。现有的技术方案，通过对视频在图像、音频、文本等各个单模态进行单独的训练，得到各个单模态的视频表征，最后进行基本的拼接得到最终视频表征，之后根据视频表征为用户推荐视频。然而通过单模态进行单独训练，并未考虑到模态之间的信息交互和交流，最终的视频表征效果不能很好的贴合视频所要表达的内容，进而使得推荐给用户的视频并不贴合用户的兴趣。
技术实现思路
本申请提供了一种视频推荐的方法及相关设备，可以提高视频的语义表征，从而为用户推荐更加贴合用户兴趣的视频。本申请实施例第一方面提供一种视频推荐的方法，所述方法包括：确定目标图像特征向量，所述目标图像特征向量为目标视频对应的图像特征向量，所述目标视频为待向目标对象推荐的视频，所述目标图像特征向量包括所述目标视频对应的视频图像帧的通道信息以及光流信息；确定目标文本特征向量，所述目标文本特征向量为所述目标视频对应的文本特征向量，所述目标文本特征向量包括所述目标视频的标题信息以及所述目标视频关联音频的属性信息；确定目标音频特征向量，所述目标音频特征向量为所述目标视频对应的音频特征向量；基于所述目标图像特征向量、所述目标文本特征向量以及所述目标音频特征向量，通过目标语义转换模型得到所述目标视频的语义表征，所述目标语义转换模型与所述目标图像特征、所述目标文本特征以及所述目标音频特征相对应；当所述目标视频的语义表征与所述目标对象的兴趣画像相匹配时，向所述目标对象推送所述目标视频。可选地，所述方法还包括：步骤1)确定多个视频中每个视频的图像特征向量、文本特征向量以及音频特征向量；步骤2)初始化语义转换模型；步骤3)基于第一视频的第一图像特征向量、第一文本特征向量以及第一音频特征向量，通过初始化后所述语义转换模型得到所述第一视频的语义表征，所述第一视频为所述多个视频中的任意一个视频；步骤4)更新所述语义转换模型的损失函数；迭代执行步骤3)至步骤4)，直至达到预置的迭代终止条件，且将达到所述预置的迭代终止条件的语义转换模型确定为所述目标语义转换模型。可选地，所述基于第一视频的第一图像特征向量、第一文本特征向量以及第一音频特征向量，通过初始化后所述语义转换模型得到所述第一视频的语义表征之前，所述方法还包括：确定所述第一图像特征向量的概率分布、所述第一文本特征向量的概率分布以及所述第一音频特征向量的概率分布；更改第一特征向量的概率分布，以使得更改后的所述第一特征向量的概率分布与其他特征向量的概率分布的相对熵最小，所述第一特征向量为所述第一图像特征向量、所述第一文本特征向量以及所述第一音频特征向量中的任意一个特征向量，所述其他特征向量为所述第一图像特征向量、所述第一文本特征向量以及所述第一音频特征向量中除所述第一特征向量之外的特征向量；所述基于第一视频的第一图像特征向量、第一文本特征向量以及第一音频特征向量，通过初始化后所述语义转换模型得到所述第一视频的语义表征包括：基于更改概率分布后的所述第一特征向量，通过初始化后的所述语义转换模型得到所述第一视频的语义表征。可选地，所述基于第一视频的第一图像特征向量、第一文本特征向量以及第一音频特征向量，通过初始化后所述语义转换模型得到所述第一视频的语义表征之前，所述方法还包括：确定第二特征向量以及第三特征向量之间的向量距离，所述第二特征向量以及所述第三特征向量为所述第一图像特征向量、所述第一文本特征向量以及所述第一音频特征向量中的任意两个特征向量；将所述第二征向量向所述第三特征向量的向量空间进行迁移，以使得所述第二特征向量以及所述第三特征向量之间的向量距离最小；所述基于第一视频的第一图像特征向量、第一文本特征向量以及第一音频特征向量，通过初始化后所述语义转换模型得到所述第一视频的语义表征包括：基于迁移后的所述第二特征向量以及所述第三特征向量，通过初始化后所述语义转换模型得到所述第一视频的语义表征。可选地，所述基于第一视频的第一图像特征向量、第一文本特征向量以及第一音频特征向量，通过初始化后所述语义转换模型得到所述第一视频的语义表征之前，所述方法还包括：建立目标语义空间；将第四特征向量以及第五特征向量迁移至所述目标语义空间，所述第四特征向量以及所述第五特征向量为所述第一图像特征向量、第一文本特征向量以及第一音频特征向量中的任意两个特征向量；基于迁移后的所述第四特征向量以及所述第五特征向量确定目标特征向量，所述目标特征向量为所述目标语义空间中与所述第四特征向量以及所述第五特征向量之间的向量距离均小于预设值的特征向量；所述基于第一视频的第一图像特征向量、第一文本特征向量以及第一音频特征向量，通过初始化后所述语义转换模型得到所述第一视频的语义表征包括：基于所述目标特征向量，通过初始化后所述语义转换模型得到所述第一视频的语义表征。可选地，所述方法还包括：步骤1)确定所述多个视频中的每个视频的图像特征向量、文本特征向量以及音频特征向量；步骤2)基于第二图像特征，通过第一转换模型得到第二视频的分类结果，所述第一转换模型为所述第二视频的图像特征对应的模型，所述第二图像特征为所述第二视频的视频图像帧对应的图像特征向量，所述第二视频为所述多个视频中的任意一个视频；步骤3)基于所述第二视频的分类结果、所述第二图像特征向量、第二文本特征向量以及第二音频特征向量，通过第二转换模型得到所述第二视频的语义表征，所述第二文本特征向量为所述第二视频对应的文本特征向量，所述第二音频特征向量为所述第二视频对应的音频特征向量；步骤4)更新第二转换模型的损失函数的权重；迭代执行步骤2)至步骤4)直至达到所述预置的迭代终止条件，将达到所述预置迭代终止条件的所述第二转换模型确定为所述目标语义转换模型。可选地，所述更新所述语义转换模型的损失函数包括：通过反向传播算法更新所述损失函数中第四特征向量对应的权重，所述第四特征向量为所述第一图像特征向量、第一文本特征向量以及第一音频特征向量中的任意一个特征向量；通过所述反向传播算法更新所述损失函数中所述第一图像特征向量对应的权重、第一文本特征向量对应的权重以及第一音频特征向量对应的权重。可选地，所述方法还包括：判断迭代次数是否达到预设数值，若是，则确定达到所述预置的迭代终止条件；或，判断所述语义转换模型的损失函数是否收敛，若是，则确定达到所述预置的迭代终止条件。本申请实施本文档来自技高网...

【技术保护点】
1.一种视频推荐的方法，其特征在于，包括：/n确定多个视频中每个视频的图像特征向量、文本特征向量以及音频特征向量；/n初始化语义转换模型；/n基于第一视频的第一图像特征向量、第一文本特征向量以及第一音频特征向量，通过初始化后所述语义转换模型得到所述第一视频的语义表征，所述第一视频为所述多个视频中的任意一个视频；/n更新所述语义转换模型的损失函数；/n当达到预置的迭代终止条件时，将达到所述预置的迭代终止条件的语义转换模型确定为所述目标语义转换模型；/n根据所述目标语义转换模型确定目标视频的语义特征，所述目标视频为待向目标对象推荐的视频；/n当所述目标视频的语义表征与所述目标对象的兴趣画像相匹配时，向所述目标对象推送所述目标视频。/n

【技术特征摘要】
1.一种视频推荐的方法，其特征在于，包括：
确定多个视频中每个视频的图像特征向量、文本特征向量以及音频特征向量；
初始化语义转换模型；
基于第一视频的第一图像特征向量、第一文本特征向量以及第一音频特征向量，通过初始化后所述语义转换模型得到所述第一视频的语义表征，所述第一视频为所述多个视频中的任意一个视频；
更新所述语义转换模型的损失函数；
当达到预置的迭代终止条件时，将达到所述预置的迭代终止条件的语义转换模型确定为所述目标语义转换模型；
根据所述目标语义转换模型确定目标视频的语义特征，所述目标视频为待向目标对象推荐的视频；
当所述目标视频的语义表征与所述目标对象的兴趣画像相匹配时，向所述目标对象推送所述目标视频。


2.根据权利要求1所述的方法，其特征在于，所述基于第一视频的第一图像特征向量、第一文本特征向量以及第一音频特征向量，通过初始化后所述语义转换模型得到所述第一视频的语义表征之前，所述方法还包括：
确定所述第一图像特征向量的概率分布、所述第一文本特征向量的概率分布以及所述第一音频特征向量的概率分布；
更改第一特征向量的概率分布，以使得更改后的所述第一特征向量的概率分布与其他特征向量的概率分布的相对熵最小，所述第一特征向量为所述第一图像特征向量、所述第一文本特征向量以及所述第一音频特征向量中的任意一个特征向量，所述其他特征向量为所述第一图像特征向量、所述第一文本特征向量以及所述第一音频特征向量中除所述第一特征向量之外的特征向量；
所述基于第一视频的第一图像特征向量、第一文本特征向量以及第一音频特征向量，通过初始化后所述语义转换模型得到所述第一视频的语义表征包括：
基于更改概率分布后的所述第一特征向量，通过初始化后的所述语义转换模型得到所述第一视频的语义表征。


3.根据权利要求1所述的方法，其特征在于，所述基于第一视频的第一图像特征向量、第一文本特征向量以及第一音频特征向量，通过初始化后所述语义转换模型得到所述第一视频的语义表征之前，所述方法还包括：
确定第二特征向量以及第三特征向量之间的向量距离，所述第二特征向量以及所述第三特征向量为所述第一图像特征向量、所述第一文本特征向量以及所述第一音频特征向量中的任意两个特征向量；
将所述第二征向量向所述第三特征向量的向量空间进行迁移，以使得所述第二特征向量以及所述第三特征向量之间的向量距离最小；
所述基于第一视频的第一图像特征向量、第一文本特征向量以及第一音频特征向量，通过初始化后所述语义转换模型得到所述第一视频的语义表征包括：
基于迁移后的所述第二特征向量以及所述第三特征向量，通过初始化后所述语义转换模型得到所述第一视频的语义表征。


4.根据权利要求1所述的方法，其特征在于，所述基于第一视频的第一图像特征向量、第一文本特征向量以及第一音频特征向量，通过初始化后所述语义转换模型得到所述第一视频的语义表征之前，所述方法还包括：
建立目标语义空间；
将第四特征向量以及第五特征向量迁移至所述目标语义空间，所述第四特征向量以及所述第五特征向量为所述第一图像特征向量、第一文本特征向量以及第一音频特征向量中的任意两个特征向量；
基于迁移后的所述第四特征向量以及所述第五特征向量确定目标特征向量，所述目标特征向量为所述目标语义空间中与所述第四特征向量以及所述第五特征向量之间的向量距离均小于预设值的特征向量；
所述基于第一视频的第一图像特征向量、第一文本特征向量以及第一音频特征向量，通过初始化后所述语义转换模型得到所述第一视频的语义表征包括：
基于所述目标特征向量，通过初始化后所述语义转换模型得到所述第一视频的语义表征。

【专利技术属性】
技术研发人员：屈冰欣，郑茂，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44