一种利用多模态网络学习进行基于社交关系的电影推荐的方法技术

本发明专利技术公开了一种利用多模态网络学习进行基于社交关系的电影推荐的方法。主要包括如下步骤：1)针对于一组视频、用户，构建含有其相关关系的SMR网络。并且针对于形成的SMR网络构建采样路径，并针对于采样路径中的电影及用户节点形成电影的综合表达与用户的映射表达，随后针对于预定义的损失函数进行更新，求得最终的用户表达与电影综合表达。2)对于得到的用户表达及电影的综合表达，产生对于用户的电影推荐。相比于一般的电影推荐解决方案，本发明专利技术提取了电影的多模态信息并且针对于用户形成了最终的有效用户表达，则能够更准确地反映用户与电影的特性，并产生更加符合要求的电影推荐。本发明专利技术在电影推荐问题中所取得的效果相比于传统的方法更好。

A method of using multimodal network to learn movie recommendation based on social relations

The present invention discloses a method of using a multi-modal network to learn a movie recommendation based on social relations. The main steps are as follows: 1) for a group of video and users, build a SMR network with its correlation. And for the formation of SMR network construction sampling path, expression mapping and for the comprehensive expression of film and user nodes in the path sampling of the film with the user, then the loss function according to predefined update, the user obtains the final expression and comprehensive expression of the film. 2) to produce a comprehensive expression of the user and the film, and produce a movie recommendation for the user. Compared with the general movie recommendation solution, the invention extracts the multimodal information of the movie and forms the final effective user expression for the user, which can more accurately reflect the characteristics of the user and the movie, and generate more consistent movie recommendation. The effect of the invention in the film recommendation problem is better than that of the traditional method.

【技术实现步骤摘要】
一种利用多模态网络学习进行基于社交关系的电影推荐的方法
本专利技术涉及电影推荐生成，尤其涉及一种利用多模态网络学习进行基于社交关系的电影推荐的方法。
技术介绍
随着网络电影工业地发展，基于社交关系的电影推荐系统成为一种重要的在线网络服务，该服务的目标是针对于每一名用户，基于其社交关系推荐相关的电影。现有的技术主要是针对于用户的反馈与电影的一些人工选择的特征来构建用户电影推荐模型，该方法受困于缺乏对于多模态电影内容的有效可区分特征及基于社交关系的电影推荐系统的稀疏性。本专利技术将采用一种以随机游走为基础的学习方法来构建多模态的神经网络从而学习出多模态电影内容的表达及用户的推荐模型。利用所学习出的电影内容表达与用户的模型来进行基于社交关系的电影推荐。本方法将先针对于构建的异质的社交关系电影推荐网络(SMR网络)，利用随机游走的方法构建样本路径。之后针对于路径中的电影节点利用VGG网络与LSTM网络分别提取电影的海报信息及电影的描述信息并合成为电影的综合表达，针对于路径中的用户节点构建用户映射矩阵，再针对于预定义的目标函数求出损失值，利用SGD的方法对于用户及电影矩阵进行更新。经过多次的更新之后，获取最终的用户映射与电影映射。利用最终形成的用户映射与电影映射对于用户进行电影的推荐排序。
技术实现思路
本专利技术的目的在于解决现有技术中的问题，为了克服现有技术中缺乏对于多模态电影内容的有效可区分特征及基于社交关系的电影推荐系统的稀疏性的问题，本专利技术提供一种多模态网络学习进行基于社交关系的电影推荐的方法。本专利技术所采用的具体技术方案是：利用多模态网络学习来解决基于社交关系的电影推荐的问题，包含如下步骤：1、针对于一组电影、用户，依据用户之间的相互关注关系、用户对于电影的评价构建含有其相关关系的SMR网络。2、利用随机游走的方法，针对于SMR网络构建采样路径并进行如下操作：对于所采样路径中的电影节点，利用其海报及描述信息形成电影描述映射，对于用户节点，生成用户的描述映射。对于电影及用户的描述映射求出损失值，并进行梯度下降求解获取最终的用户及电影表达。3、利用学习得到的用户及电影表达形成用户的电影推荐。上述步骤可具体采用如下实现方式：1、对于所给出的视频及用户集合，按照实际数据集中的相互关系形成异质的SMR网络。2、对于构建完成的SMR网络，利用随机游走的方法，针对于每一个节点进行采样，形成采样的路径。进行路径采样时，限定只可以从被关注者到关注者进行采样，因为本专利技术认为，只有被关注者的喜欢的电影倾向会影响关注者喜欢的电影倾向。针对于构建的路径上的用户节点，随机生成用户映射矩阵U。针对于路径上的电影节点，利用卷积神经网络VGG-Net生成该电影的电影海报I＝{i1,i2,...,in}的视频表达Y＝{y1,y2,...,yn}：其中n代表海报的张数，yi代表第i张海报ii对应的VGG-Net的输出表达。利用LSTM网络生成该电影的电影描述的文本表达X＝{x1,x2,...,xn}：其中n代表电影描述的个数，且与海报的张数相同均为n，xi代表第i段描述di对应的LSTM网络的输出。对于每一段描述，首先将该段的描述分成各个句子。对于每一个句子的每一个单词利用单词嵌入映射的方法，得到每一个单词的单词映射dit，将每一个句子的单词映射序列(di1,di2,...,dik)作为LSTM网络的输入，获取每一个句子的LSTM网络的输出作为该句子映射表达，将每一段的所有句子表达通过一个额外的Mean-pooling层得到该段落的表达xi。3、对于电影海报所得到的图像表达Y＝{y1,y2,...,yn}与电影描述所得到的文本表达X＝{x1,x2,...,xn}，按照如下公式映射到同一多模态特征混合空间，并将两者加起来，得到多模态混合层的激活输出：zj＝g(Wd·xj+αWiyj)其中，Wd与Wi分别为对应于电影文本描述特征分量xj与电影海报特征分量yj的维度变换权重矩阵，α代表电影文本描述特征分量与电影海报特征分量的相加相对权重，+代表对于电影文本描述特征分量与电影海报特征分量进行按元素相加。zj是最终形成的电影的第j项内容的混合表达。g(.)代表如下所示的元素级别的反正切函数：4、在获得所有电影的混合描述Z＝(z1,z2,...,zn)构成的电影矩阵V与所有用户的映射构成的用户映射矩阵U后，利用如下的目标函数来构建最终的训练网络：其中，hi为电影矩阵V或用户映射矩阵U的某个电影或某个用户的映射向量，损失函数lv(.)为不同用户对于特定电影的相对喜欢程度，损失函数lu(.)为特定用户对于不同电影的相对喜欢程度，下面对于这两个函数进行详述：对于损失函数lv(.)，其具体形式如下所示：其中u+代表对于电影vi有较高喜爱度的用户，u-代表对于电影vi有较低喜爱度的用户，m代表目标函数中的边缘值，0＜m＜1。对于损失函数lu(.)，其具体形式如下所示：其中用户ui对于电影v+比对于电影v-有着更高的喜爱度，m代表目标函数中的边缘值，0＜m＜1。上式中的函数fuj(.)均代表第j个用户对于电影内容的综合表达的排序模型，且满足对于任意的有序三元组(j,i,k)∈T＝{(j,i,k)}，有如下不等式成成立：其中，有三元组(j,i,k)∈T代表第j个用户相对于电影k更喜欢电影i，uj为用户j的映射向量，zk为电影k的综合表达向量。5、随后对于步骤4中的目标函数构建如下式所示的训练损失值作为最终整个训练模型的目标函数：其中，θ为整个多模态网络模型中的所有参数，λ为目标函数的训练损失值与正则项之间的相对大小权衡参数。6、对于步骤5中的最终的目标函数，本专利技术使用随机梯度下降的方法来更新参数，并且使用Adagrad的学习率更新方法，即对于参数θ，在第t步按照如下公式进行更新：其中，ρ为最初的学习率，gt为在第t步的子梯度。7、经过预设次数的循环更新参数之后，形成最终的用户映射矩阵及电影的综合映射。随后利用所形成的用户映射矩阵及电影的综合映射，对于所给的用户及相应电影，判断该用户对于某些电影的相对喜爱程度，并进行排序，将排序较为靠前的电影推荐给该用户，形成对于用户的电影推荐排序。附图说明图1是本专利技术所使用的利用SMR网络学习多模态网络的整体示意图。图2是本专利技术所使用的SMR网络的举例示意图。具体实施方式下面结合附图和具体实施方式对本专利技术做进一步阐述和说明。如图1所示，本专利技术一种利用多模态网络学习进行基于社交关系的电影推荐的方法包括如下步骤：1)针对于一组电影、用户，依据用户之间的相互关注关系、用户对于电影的评价构建含有其相关关系的SMR网络；2)对于步骤1)所得到的SMR网络，利用随机游走的方法，针对于SMR网络构建采样路径并进行如下操作：对于所采样路径中的电影节点，利用其海报及描述信息形成电影描述映射，对于用户节点，生成用户的描述映射；对于电影及用户映射求出损失值，并进行梯度下降求解获取最终的用户及电影表达；3)利用步骤2)学习得到的用户及电影表达形成用户的电影推荐。所述的步骤2)采用多模态网络参数更新的方法来获取最终的用户及电影表达,其具体步骤为:2.1)对于步骤1)形成的SMR网络利用随机游走的方法，针对于每一个节点进行采样，形成采样的路径；且进行路径采样时本文档来自技高网...

【技术保护点】
一种利用多模态网络学习进行基于社交关系的电影推荐的方法，其特征在于包括如下步骤：1)针对于一组电影、用户，依据用户之间的相互关注关系、用户对于电影的评价构建含有其相关关系的SMR网络；2)对于步骤1)所得到的SMR网络，利用随机游走的方法，针对于SMR网络构建采样路径并进行如下操作：对于所采样路径中的电影节点，利用其海报及描述信息形成电影描述映射，对于用户节点，生成用户的描述映射；对于电影及用户的描述映射求出损失值，并进行梯度下降求解获取最终的用户及电影表达；3)利用步骤2)学习得到的用户及电影表达形成用户的电影推荐。

【技术特征摘要】
1.一种利用多模态网络学习进行基于社交关系的电影推荐的方法，其特征在于包括如下步骤：1)针对于一组电影、用户，依据用户之间的相互关注关系、用户对于电影的评价构建含有其相关关系的SMR网络；2)对于步骤1)所得到的SMR网络，利用随机游走的方法，针对于SMR网络构建采样路径并进行如下操作：对于所采样路径中的电影节点，利用其海报及描述信息形成电影描述映射，对于用户节点，生成用户的描述映射；对于电影及用户的描述映射求出损失值，并进行梯度下降求解获取最终的用户及电影表达；3)利用步骤2)学习得到的用户及电影表达形成用户的电影推荐。2.根据权利要求1所述利用多模态网络学习进行基于社交关系的电影推荐的方法，其特征在于所述的步骤2)具体步骤为:2.1)对于步骤1)形成的SMR网络利用随机游走的方法，针对于每一个节点进行采样，形成采样的路径；且进行路径采样时，限定只可以从被关注者到关注者进行采样；2.2)利用步骤2.1)所采样的节点，首先对于用户节点，随机生成用户映射矩阵U；对于路径上的电影节点，利用卷积神经网络VGG-Net生成该电影的电影海报I＝{i1,i2,...,in}的视频表达Y＝{y1,y2,...,yn}：其中n代表海报的张数，yi代表第i张海报ii对应的VGG-Net的输出表达；利用LSTM网络生成该电影的电影描述的文本表达X＝{x1,x2,...,xn}：其中n代表电影描述的个数，且与海报的张数相同均为n，xi代表第i段描述di对应的LSTM网络的输出；对于每一段描述，首先将该段的描述分成各个句子，对于每一个句子的每一个单词利用单词嵌入映射的方法，得到每一个单词的单词映射dit，将每一个句子的单词映射序列(di1,di2,...,dik)作为LSTM网络的输入，获取每一个句子的LSTM网络的输出作为该句子映射表达，将每一段的所有句子表达通过一个额外的Mean-pooling层得到该段落的表达xi；2.3)利用步骤2.2)找出的电影的视频表达Y＝{y1,y2,...,yn}与电影描述对应的文本表达X＝{x1,x2,...,xn}，按照如下公式映射到同一多模态特征混合空间，并将两者加起来，得到多模态混合层的激活输出：zj＝g(Wd·xj+αWiyj)其中，Wd与Wi分别为对应于电影文本描述特征分量xj与电影海报特征分量yj的维度变换权重矩阵，α代表电影文本描述特征分量与电影海报特征分量的相加相对权重，+代表对于电影文本描述特征分量与电影海报特征分量进行按元素相加，zj是最终形成的电影的第j项内容的混合表达；g(.)代表如下所示的元素级别的反正切函数：2.4)针对于步骤2.3)获得的所有电影的混合描述Z＝(z1,z2,...,zn)构成的电影矩阵V与步骤2.2)获得的所有用户的映射构成的用户映射矩阵U，利用如下的目标函数来构建最终的训练网络：

【专利技术属性】
技术研发人员：赵洲，孟令涛，林志杰，杨启凡，蔡登，何晓飞，庄越挺，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33