一种基于多模态的视频推荐方法技术

本发明专利技术公开了一种基于多模态的视频推荐方法，包括如下步骤：根据用户已经观看的视频序列获取用户行为特征向量；获取候选视频集中候选视频的视频标题特征向量；对候选视频集中候选视频进行图像筛选，得到候选视频对应的关键图像帧；将所有关键图像帧输入VGG16网络中，提取对应的图像特征向量；将视频标题特征向量和图像特征向量进行特征融合，得到多个视频特征向量；计算用户行为特征向量和视频特征向量的余弦相似度；根据余弦相似度向用户推荐视频。本发明专利技术通过分析目标用户和候选集中视频之间的相似度，将相似度最高的视频推荐给目标用户，以达到提升推荐效果的目的。

【技术实现步骤摘要】
一种基于多模态的视频推荐方法
本专利技术涉及视频推荐领域，特别涉及一种基于多模态的视频推荐方法。
技术介绍
随着互联网的快速发展，人们可以通过网络很便利地获取自己所需要的信息，然而，由于其数据量过大，人们不得不花费时间在海量数据中找出自己感兴趣的部分，信息过载问题越来越严重。推荐系统的出现，使得信息过载问题得以缓解。个性化推荐系统根据用户与项目之间交互的历史数据，分析用户的习惯、兴趣偏好等特征；另一方面，推荐系统根据项目自身的特性分析项目的特征，在用户特征和项目特征之间建立联系，最终精确地推荐给用户可能感兴趣的项目。近年来，随着短视频应用的流行，短视频推荐系统受到广泛关注，许多先进的推荐算法也被应用到视频推荐中，但是它们都有一些缺陷。基于协同过滤算法的视频推荐系统通过寻找与目标用户兴趣相近的用户进而进行推荐，然而当用户数量较少时容易引发冷启动问题；基于标签的推荐主要用于用户在上传视频时在标题中添加标签以方便用户检索，但是可能发生视频的标题标签与视频的内容不匹配的情况，此时基于标签的推荐系统无法正常推荐；基于社交网络的推荐利用社交网络数据获取用户本文档来自技高网...

【技术保护点】
1.一种基于多模态的视频推荐方法，其特征在于，包括如下步骤：/n根据用户已经观看的视频序列获取用户行为特征向量；/n获取候选视频集中候选视频的视频标题特征向量；/n对候选视频集中候选视频进行图像筛选，得到候选视频对应的关键图像帧；/n将所有关键图像帧输入VGG16网络中，提取对应的图像特征向量；/n将视频标题特征向量和图像特征向量进行特征融合，得到多个视频特征向量；/n计算用户行为特征向量和视频特征向量的余弦相似度；/n根据余弦相似度向用户推荐视频。/n

【技术特征摘要】
1.一种基于多模态的视频推荐方法，其特征在于，包括如下步骤：
根据用户已经观看的视频序列获取用户行为特征向量；
获取候选视频集中候选视频的视频标题特征向量；
对候选视频集中候选视频进行图像筛选，得到候选视频对应的关键图像帧；
将所有关键图像帧输入VGG16网络中，提取对应的图像特征向量；
将视频标题特征向量和图像特征向量进行特征融合，得到多个视频特征向量；
计算用户行为特征向量和视频特征向量的余弦相似度；
根据余弦相似度向用户推荐视频。


2.根据权利要求1所述的一种基于多模态的视频推荐方法，其特征在于，所述用户行为特征向量的获取方法如下：
将用户已经观看的视频序列等效为一个词语；
通过word2vec对词语进行处理，使相似的视频聚集到特征空间中相近的位置，得到用户行为特征向量。


3.根据权利要求1所述的一种基于多模态的视频推荐方法，其特征在于，所述视频序列表示为：



其中，表示用户uj在观看第i-1个视频后点击的第i个视频。


4.根据权利要求1所述的一种基于多模态的视频推荐方法，其特征在于，所述视频标题特征向量的获取方法如下：
将候选视频的标题句子分割成词，同时去除低频词和停用词；
将句子中的词语依次输入经过预训练的CBOW模型中，得到词语向量，将其合并得到句子矩阵；
将句子矩阵输入textcnn中进行卷积操作，分别利用不同的卷积核提取标题中不同范围内的多个局部特征；
将多个局部特征分别经过最大池化操作，拼接合并形成视频标题特征向量。


5.根据权利要求4所述的一种基于多模态的视频推荐方法，其特征在于，...

【专利技术属性】
技术研发人员：杨佳雪，韩立新，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32