视频的推荐方法和装置制造方法及图纸

技术编号:39596816 阅读:7 留言:0更新日期:2023-12-03 19:54
本申请公开了一种视频的推荐方法和装置

【技术实现步骤摘要】
视频的推荐方法和装置、存储介质及电子装置


[0001]本申请实施例涉及计算机领域,具体而言,涉及一种视频的推荐方法和装置

存储介质及电子装置


技术介绍

[0002]随着互联网技术的快速普及

多媒体技术的蓬勃发展和社交网络的日新月异,作为一种新型社交形式,“视频社交”正快速流行

与传统的社交网络不同,视频社交网络中的社交形式不再拘泥于文本和图片,还可以通过发布视频甚至直播

用户在视频软件平台上可以观看

评论和分享视频,同时还可与视频创作者沟通交流,极大地丰富了用户的精神文化生活

但是,日渐繁杂的视频种类和不断增长的视频数量,在给用户带来更多选择的同时,也产生严重的信息过载问题

如何解决该问题,让用户在视频中找到自己喜欢的内容,满足用户个性化需求,是这些视频社交平台的推荐系统面临的巨大挑战

[0003]传统视频推荐方法主要利用用户

视频间的交互数据实施推荐,典型的推荐方法有基于协同过滤的方法

基于内容的方法以及混合方法

它们通常借助手动特征工程从辅助数据中提取用户和
/
或视频的嵌入式表示,然后送入因子分解机

梯度提升机等模型中预测用户对视频的偏好

这一类基于深度学习的视频推荐方法利用神经网络的强大表示学习能力从物品辅助信息中学习用户和<br/>/
或物品的表示,然后再基于用户和视频相似性实施预测,但这类方法大多只考虑了视频特定类型辅助信息,没有充分利用视频的完整多模态辅助信息以及视频间的语义关系,推荐效果不理想

[0004]针对相关技术中,推荐的视频与用户之间的匹配度较低的等问题,尚未提出有效的解决方案


技术实现思路

[0005]本申请实施例提供了一种视频的推荐方法和装置

存储介质及电子装置,以至少解决相关技术中,推荐的视频与用户之间的匹配度较低的等问题

[0006]根据本申请实施例的一个实施例,提供了一种视频的推荐方法,包括:
[0007]获取视频特征信息集合,其中,所述视频特征信息集合中包括视频集合中每个视频对应的视频特征信息,所述视频特征信息用于表征对应的视频的多模态融合特征以及所述对应的视频与所述视频集合中其他视频之间的关系特征,所述关系特征包括视频之间在多个视频观看维度上的特征,所述多模态融合特征包括视频自身在多个模态上的特征;
[0008]在为用户集合中的目标用户推荐视频的情况下,根据所述目标用户的用户特征信息和所述视频特征信息集合,在所述视频集合中确定待向所述目标用户推荐的目标视频;
[0009]将所述目标视频推荐给所述目标用户

[0010]可选的,所述获取视频特征信息集合,包括:
[0011]从所述视频集合的视频多模态语义图中提取语义边所具有的特征作为所述关系特征,并获取所述视频集合中每个视频的所述多模态融合特征得到融合特征信息集合,其
中,所述视频多模态语义图用于通过视频顶点和所述语义边的形式展示所述视频集合中视频之间的所述关系特征,每个所述视频顶点表示一个视频,每个所述语义边表示一个所述关系特征;
[0012]将所述关系特征添加至所述融合特征信息集合,得到所述视频特征信息集合

[0013]可选的,所述从所述视频集合的视频多模态语义图中提取语义边所具有的特征作为所述关系特征,并获取所述视频集合中每个视频的所述多模态融合特征得到融合特征信息集合,包括:
[0014]将所述视频多模态语义图转换为目标视频邻接矩阵,并根据所述目标视频邻接矩阵表示的所述视频多模态语义图中任意两个视频顶点之间在多个所述视频观看维度上的特征的相似程度,得到所述关系特征;
[0015]将所述视频集合中每个视频自身在多个模态上的特征融合为融合特征信息,得到所述融合特征信息集合,其中,所述融合特征信息用于表征对应的视频的多模态融合特征

[0016]可选的,所述将所述视频多模态语义图转换为目标视频邻接矩阵,包括:
[0017]获取所述视频多模态语义图对应的转移概率矩阵,其中,所述转移概率矩阵用于指示在采用随机游走构建算法对所述视频多模态语义图进行游走的过程中,随机游走者从一个所述视频顶点转移至各个相邻的所述视频顶点的转移概率;
[0018]将所述视频多模态语义图中
M
个所述视频顶点中的第
i
个所述视频顶点作为根顶点,以所述根顶点作为随机游走构建算法的起始点,按照元路径集合

预设重启概率和所述转移概率矩阵展开预设路径长度的随机游走
P
次,得到第
i
个所述视频顶点对应的
Q
条长游走路径,其中,
Q
条所述长游走路径构成了第
i
个所述视频顶点的上下文,所述元路径集合中包括用于表示所述视频集合中每个视频与其他视频之间的关系特征的元路径,所述重启概率用于指示在每次所述随机游走的过程中,所述随机游走者每一步跳转重新回到所述起始点的概率,
i
为大于或者等于1,且小于或者等于
M
的正整数,
Q
为小于或者等于
P
的正整数;
[0019]依次对
Q
条所述长游走路径进行预设窗口大小的采样,得到第
i
个所述视频顶点的第
i
个顶点对列表,其中,所述第
i
个顶点对列表记录了每次采样时,采样两端的一对视频顶点,所述预设窗口大小的长度大于2,且小于所述预设路径长度;
[0020]根据
M
个所述视频顶点对应的
M
个顶点对列表生成所述目标视频邻接矩阵

[0021]可选的,所述以所述根顶点作为随机游走构建算法的起始点,按照元路径集合

预设重启概率和所述转移概率矩阵展开预设路径长度的随机游走
P
次,包括:
[0022]从所述元路径集合中随机取出一个当前未参与所述随机游走的元路径作为游走元路径,并以所述根顶点作为随机游走构建算法的起始点,按照所述元路径集合中取出的游走元路径

预设重启概率和所述转移概率矩阵展开预设路径长度的随机游走
P
次,直至所述元路径集合中全部的元路径均参与了所述随机游走,其中,所述元路径集合中的元路径包括:第一元路径

第二元路径

第三元路径和第四元路径,所述第一元路径

所述第二元路径

所述第三元路径和所述第四元路径依次分别表示所述视频多模态语义图中的同类型关系...

【技术保护点】

【技术特征摘要】
1.
一种视频的推荐方法,其特征在于,包括:获取视频特征信息集合,其中,所述视频特征信息集合中包括视频集合中每个视频对应的视频特征信息,所述视频特征信息用于表征对应的视频的多模态融合特征以及所述对应的视频与所述视频集合中其他视频之间的关系特征,所述关系特征包括视频之间在多个视频观看维度上的特征,所述多模态融合特征包括视频自身在多个模态上的特征;在为用户集合中的目标用户推荐视频的情况下,根据所述目标用户的用户特征信息和所述视频特征信息集合,在所述视频集合中确定待向所述目标用户推荐的目标视频;将所述目标视频推荐给所述目标用户
。2.
根据权利要求1所述的方法,其特征在于,所述获取视频特征信息集合,包括:从所述视频集合的视频多模态语义图中提取语义边所具有的特征作为所述关系特征,并获取所述视频集合中每个视频的所述多模态融合特征得到融合特征信息集合,其中,所述视频多模态语义图用于通过视频顶点和所述语义边的形式展示所述视频集合中视频之间的所述关系特征,每个所述视频顶点表示一个视频,每个所述语义边表示一个所述关系特征;将所述关系特征添加至所述融合特征信息集合,得到所述视频特征信息集合
。3.
根据权利要求2所述的方法,其特征在于,所述从所述视频集合的视频多模态语义图中提取语义边所具有的特征作为所述关系特征,并获取所述视频集合中每个视频的所述多模态融合特征得到融合特征信息集合,包括:将所述视频多模态语义图转换为目标视频邻接矩阵,并根据所述目标视频邻接矩阵表示的所述视频多模态语义图中任意两个视频顶点之间在多个所述视频观看维度上的特征的相似程度,得到所述关系特征;将所述视频集合中每个视频自身在多个模态上的特征融合为融合特征信息,得到所述融合特征信息集合,其中,所述融合特征信息用于表征对应的视频的多模态融合特征
。4.
根据权利要求3所述的方法,其特征在于,所述将所述视频多模态语义图转换为目标视频邻接矩阵,包括:获取所述视频多模态语义图对应的转移概率矩阵,其中,所述转移概率矩阵用于指示在采用随机游走构建算法对所述视频多模态语义图进行游走的过程中,随机游走者从一个所述视频顶点转移至各个相邻的所述视频顶点的转移概率;将所述视频多模态语义图中
M
个所述视频顶点中的第
i
个所述视频顶点作为根顶点,以所述根顶点作为随机游走构建算法的起始点,按照元路径集合

预设重启概率和所述转移概率矩阵展开预设路径长度的随机游走
P
次,得到第
i
个所述视频顶点对应的
Q
条长游走路径,其中,
Q
条所述长游走路径构成了第
i
个所述视频顶点的上下文,所述元路径集合中包括用于表示所述视频集合中每个视频与其他视频之间的关系特征的元路径,所述重启概率用于指示在每次所述随机游走的过程中,所述随机游走者每一步跳转重新回到所述起始点的概率,
i
为大于或者等于1,且小于或者等于
M
的正整数,
Q
为小于或者等于
P
的正整数;依次对
Q
条所述长游走路径进行预设窗口大小的采样,得到第
i
个所述视频顶点的第
i
个顶点对列表,其中,所述第
i
个顶点对列表记录了每次采样时,采样两端的一对视频顶点,所述预设窗口大小的长度大于2,且小于所述预设路径长度;根据
M
个所述视频顶点对应的
M
个顶点对列表生成所述目标视频邻接矩阵

5.
根据权利要求4所述的方法,其特征在于,所述以所述根顶点作为随机游走构建算法的起始点,按照元路径集合

预设重启概率和所述转移概率矩阵展开预设路径长度的随机游走
P
次,包括:从所述元路径集合中随机取出一个当前未参与所述随机游走的元路径作为游走元路径,并以所述根顶点作为随机游走构建算法的起始点,按照所述元路径集合中取出的游走元路径

预设重启概率和所述转移概率矩阵展开预设路径长度的随机游走
P
次,直至所述元路径集合中全部的元路径均参与了所述随机游走,其中,所述元路径集合中的元路径包括:第一元路径

第二元路径

第三元路径和第四元路径,所述第一元路径

所述第二元路径

所述第三元路径和所述第四元路径依次分别表示所述视频多模态语义图中的同类型关系

同标签关系

同观看关系和好友观看关系,所述同类型关系表示2个视频的类型相同,所述同标签关系表示2个视频的标签相同,所述同观看关系表示2个视频被所述用户集合中同一个用户观看,所述好友观看关系表示2个视频被所述用户集合中1对好友共同观看
。6.
根据权利要求4所述的方法,其特征在于,所述根据
M
个所述视频顶点对应的
M
个顶点对列表生成所述目标视频邻接矩阵,包括:根据
M
个顶点对列表更新初始上下文共现矩阵,得到目标上下文共现矩阵,其中,所述目标上下文共现矩阵中的第
m
行第
q
列的元素
o
mq
表示第
m
个视频与第
q
个视频在同一个所述上下文中共同出现的次数,所述第
m
个视频为第
m
个视频顶点对应的视频,所述第
q
个视频为第
q
个视频顶点对应的视频,所述目标上下文共现矩阵为
M*M
的对称方阵,
m、q
为大于或者等于1,且小于等于
M
的正整数;根据所述目标上下文共现矩阵生成所述目标视频邻接矩阵
。7.
根据权利要求6所述的方法,其特征在于,所述根据
M
个顶点对列表更新初始上下文共现矩阵,得到目标上下文共现矩阵,包括:从
M
个所述顶点对列表中获取由第
r
个视频顶点和第
t
个视频顶点组成的顶点对数目,其中,
r、t
为大于或者等于1,且小于或者等于
M
的正整数,
r
不等于
t
;将所述初始上下文共现矩阵中的元素和的数值分别增加,得到所述目标上下文共现矩阵,其中,所述初始上下文共现矩阵的所有元素为
0。8.
根据权利要求3所述的方法,其特征在于,所述将所述视频集合中每个视频自身在多个模态上的特征融合为融合特征信息,包括:通过以下步骤获取所述视频集合包括的
M
个视频中第
c
个视频的第
c
个融合特征信息,其中,
c
为大于或者等于1,且小于或者等于
M
的正整数:提取所述第
c
个视频的视觉特征向量,其中,所述视觉特征向量用于表征所述第
c
个视频在自身的视觉模态下的特征;提取所述第
c
个视频的音频特征向量,其中,所述音频特征向量用于表征所述第
c
个视频在自身的音频模态下的特征;提取所述第
c
个视频的文本特征向量,其中,所述文本特征向量用于表征所述第
c
个视频在自身的文本模态下的特征;将所述第
c
个视频对应的所述视觉特征向量

所述音频特征向量和所述文本特征向量融合为第
c
个目标融合特征向量,将所述第
c
个目标融合特征向量作为所述第
c
个融合特征信息

9.
根据权利要求8所述的方法,其特征在于,所述提取所述第
c
个视频的视觉特征向量,包括:采用第一预设时间间距采样的方式对所述第
c
个视频进行采样,得到所述第
c
个视频对应的帧图片;将所述帧图片中每帧图片输入至图像特征提取模型,得到所述图像特征提取模型输出的个图片特征向量;根据所述个图片特征向量生成所述第
c
个视频的所述视觉特征向量
。10.
根据权利要求8所述的方法,其特征在于,所述提取所述第
c
个视频的音频特征向量,包括:提取出所述第
c
个视频的音频模态数据;基于时间维度按照第二预设时间间距将所述音频模态数据划分为段子音频模态数据;将所述段子音频模态数据中每段子音频模态数据输入至音频特征提取模型,得到所述音频特征提取模型输出的个音频段特征向量;根据所述个音频段特征向量生成所述第
c
个视频的所述音频特征向量
。11.
根据权利要求8所述的方法,其特征在于,所述提取所述第
c
个视频的文本特征向量,包括:从所述第
c
个视频关联的文本中提取出所述第
c
个视频对应的个视频文本;将所述个视频文本中每个视频文本输入至文本特征提取模型,得到所述文本特征提取模型输出的个文本段特征向量;根据所述个文本段特征向量生成所述第
c
个视频的所述文本特征向量
。12.
根据权利要求8所述的方法,其特征在于,所述将所述第
c
个视频对应的所述视觉特征向量

所述音频特征向量和所述文本特征向量融合为第
c
个目标融合特征向量,包括:使用第
c
个视频对应的所述视觉特征向量

所述音频特征向量和所述文本特征向量对胶囊网络融合模型的权重参数进行
D
轮的调整,得到目标胶囊网络融合模型,其中,所述权重参数包括视觉权重参数,音频权重参数,文本权重参数,视觉权重参数用于指示胶囊网络融合模型对特征进行融合过程中视频在自身的视觉模态下的特征的权重,音频权重参数用于指示胶囊网络融合模型对特征进行融合过程中视频在自身的音频模态下的特征的权重,文本权重参数用于指示胶囊网络融合模型对特征进行融合过程中视频在自身的文本模态下的特征的权重,第
d
轮融合使用的胶囊网络融合模型为所述权重参数完成第
d
‑1轮调整后得到的胶囊网络融合模型,
D
为预设的大于或者等于1的正整数,
d
为小于或者等于
D
的正整数,在
d
取1时,所述胶囊网络融合模型为权重参数未经过调整的初始胶囊网络融合模型;使用所述目标胶囊网络融合模型对第
c
个视频对应的所述视觉特征向量

所述音频特征向量和所述文本特征向量进行融合,得到所述第
c
个目标融合特征向量
。13.
根据权利要求
12
所述的方法,其特征在于,所述使用第
c
个视频对应的所述视觉特征向量

所述音频特征向量和所述文本特征向量对胶囊网络融合模型的权重参数进行
D
轮的调整,包括:通过如下步骤使用第
c
个视频对应的所述视觉特征向量

所述音频特征向量和所述文
本特征向量对胶囊网络融合模型的所述权重参数进行第
d
轮的调整:将所述权重参数完成第
d
‑1轮调整后得到的胶囊网络融合模型确定为第
...

【专利技术属性】
技术研发人员:胡克坤董刚曹其春杨宏斌
申请(专利权)人:苏州元脑智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1