基于多模态异质信息的个性化推荐方法技术

本发明专利技术公开了一种基于多模态异质信息的个性化推荐方法。主要解决现有技术推荐准确率低的问题。其方案为：采集用户旅游历史记录及景点的多模态异质信息；构建景点多模态特征集，并滤除噪声景点及用户信息；将用户访问记录按时间作为划分为训练集和测试集；利用景点多模态特征集中的不同特征分别结合用户的交互记录利用隐语义模型及神经网络构建个性化推荐模型来预测用户对景点的偏好；对个性化推荐模型进行优化得到优化好的推荐模型；利用优化好的推荐模型得到用户对测试目的地中所有景点的偏好分数，将评分最大的几个景点推荐给用户。本发明专利技术通过考虑景点的多模态特征可从不同视角挖掘用户偏好，能更有效的推断用户的旅行偏好，提高了推荐准确率。

Personalized recommendation method based on multi-modal heterogeneous information

【技术实现步骤摘要】
基于多模态异质信息的个性化推荐方法
本专利技术属于计算机数据处理
，更进一步涉及一种个性化推荐方法，可用于旅游景点的推荐。
技术介绍
近年来旅游业发展迅速，越来越多的人在旅游网站上分享自己的旅程导致信息量呈指数爆炸。个性化的旅游推荐能帮助人们从庞大的旅游信息中发现自己感兴趣的地点有效的解决信息过载的问题。向用户提供更智能的旅行建议，已经成为学术界和工业界的一个热门课题。现有旅游推荐方法，主要分为协同过滤方法和基于内容的推荐方法。但是有限的用户旅游记录导致用户-景点矩阵十分稀疏，而协同过滤的方法当交互数据稀疏时预测准确率会严重下降。基于内容的推荐算法利用各种的辅助信息可以缓解数据稀疏问题。但现有的一些方法仅挖掘文本信息及旅游记录景点推荐，然而这些方法仅利用单模态的文本信息，忽略了其他模态的信息，例如景点外貌特征等。研究表明多模态的异质信息对提供个性化推荐极为重要。不同的异质反馈信息从不同方面放映了用户偏好，例如：数值评分表示用户对产品的整体态度；文本评论能够表达用户对各种产品特性的意见；而产品图像则揭示了用户对产品不同视觉的偏好。然而，这些多模态信息的异质性使得它们很难以统一的方式在推荐算法中发挥作用，难以充分利用多模态信息成为限制个性化旅游推荐准确性的一个直接问题。实际上，人们的旅游决策过程可能受地域风格和景点的地域流行度的影响，用户在不同的目的地会表达出不同的兴趣。此外，景点图像的视觉吸引力也是旅游中一个重要的影响因素，不同的用户会有不同的美学偏好，而这些因素在旅游推荐算法中常被忽视。因而现有方法存在两方面的缺点：一是不能同时考虑用户在不同地域下的动态偏好及景点的多模态特征进行个性化的推荐，二是没有考虑景点多视角的特征对不同用户旅游决策的不同程度的影响抑制了推荐的准确率。
技术实现思路
本专利技术的目的在于针对上述现有技术存在的不足，提出了一个基于多模态异质信息的个性化推荐方法，利用多视图深度表示学习和注意力机制，同时考虑用户的在不同地域下的兴趣差异和景点的不同多模态特征对用户旅游决策的影响，为用户推荐符合他们兴趣的旅游景点，提高推荐准确率。实现本专利技术上述目的的技术方案是：采集旅游数据并建立构建景点多模态特征集，利用多视图深度表示学习和贝叶斯个性化排序优化策略从多个视角自动学习用户的偏好融合得到最终预测结果。其具体步骤包括如下：(1)采集用户访问记录信息及景点的多模态异质信息，并存储至数据库，该多模态信息包括景点的评分，图像和评论；(2)根据采集的多模态异质景点信息生成景点的多模态特征集，并根据用户的访问记录时间将每个用户的最新旅游目的地的旅游记录作为测试数据，剩下的历史旅游记录和景点的多模态特征集作为训练数据；该多模态特征集包括景点的评分特征X，景点图像特征MP、文本评论特征TC及景点区域流行度特征C；(3)利用隐语义模型及神经网络构建个性化推荐模型Y，输入训练数据，采用贝叶斯个性化成对排序优化方法及端到端随机梯度下降算法来优化模型Y得到优化后的模型Y*；其中k∈B,B＝{s,t,p,l}，其中s代表评分特征视图，t代表评论特征视图，p代表图像特征视图，l代表地域流行度特征视图；v∈V分别表示景点id，V表示数据集中所有景点的集合，u∈U表示用户id，U表示数据集中所有用户的集合；uk*，vk*,表示不同视图下用户和景点的表征，表示用户u对景点v不同特征的偏好程度；g是sigmoid函数，Φ为内积函数；(4)将用户id及景点的多模态特征，即评分特征X，景点图像特征MP、文本评论特征TC及景点区域流行度特征C，输入到优化好的模型Y*，得到用户对景点的最终得分；(5)根据用户对测试目的地的所有景点的评分，按照评分排序得出评分最大的几个景点推荐给用户。本专利技术与现有技术相比具有以下优点：1.本专利技术由于使用从多模态的异质数据中从多视角挖掘用户的偏好，并考虑用户的旅游决策过程受到景点多视角多模态特征的不同影响，相比现有技术仅利用文本信息从单一角度挖掘用户偏好，能更全面的推断用户偏好。2.本专利技术由于考虑了景点的区域流行度，并将根据景点的区域流行度生成的具有地域特征的群体偏好与用户偏好融合，有效解决用户在不同区域的旅游偏好的动态差异问题，提高了推荐准确率。附图说明图1是本专利技术的实现流程图；图2是本专利技术中的构建的文本卷积网络结构图。具体实施方式下面结合附图对本专利技术的实施做进一步的详细描述。参照图1，本实例的实现步骤如下：步骤1.采集用户旅游访问记录及景点的多模态异质信息。从旅游网站上采集用户的用户旅游访问记录及景点的多模态异质信息，该多模态信息包括景点的评分、图像、评论和访问人数。步骤2.构建景点多模态特征集及数据预处理。(2.1)根据(1)采集的多模态异质景点信息生成景点的多模态特征集：该多模态特征集包括景点的评分特征X，景点图像特征MP、文本评论特征TC及景点区域流行度特征C，其中：景点的文本评论特征TC，是将所有访问过景点的用户评论先进行分词、过滤无用词，再利用训练好的word2vec词向量模型将每个词映射为一个低维向量，然后利用景点评论的中所有单词的词向量构成景点的文本内容特征矩阵TC；景点图像特征MP，是利用一个训练好的图像美学评估网络NIMA提取得到；景点的评分特征X，为所有用户对景点的评分信息组成的向量；景点区域流行度特征C，为景点被所有用户的访问过的次数；(2.2)对(1)中采集的用户访问记录信息滤除一些访问景点数不足十个的噪声用户记录，并滤除对采集的景点中访问人数不足10人的景点，得到最终用于训练和测试的用户访问记录及景点。步骤3.划分训练数据和测试数据。对步骤(2)中预处理后的数据，根据用户访问记录时间将每个用户的最新旅游目的地的旅游记录作为测试数据，剩下的历史旅游记录和景点的多模态特征集作为训练数据。步骤4.利用隐语义模型及神经网络构建个性化推荐模型Y。4.1)构建一个文本卷积网络Textcnn：如图2所示，该网络结构依此为：一个卷积层，一个最大池化层，一个全连接层，其中卷积层使用三个1*60，2*60，3*60的卷积核；将景点的文本特征TC输入到该Textcnn网络，输出得到相应的景点表征向量vt；构建相应用户集合U的文本偏好表征矩阵Ut，该表征矩阵中每一行代表一个用户相应的表征向量ut，将用户表征向量ut和景点表征向量vt做内积，得到用户对景点文本特征的偏好得分预测为:yt＝Φ(ut,vt)；4.2)构建一个多层感知机MLP网络Netp：该网络结构依次为两个维度为1024*512，512*60的全连接层，其中1024为景点图像特征MP的维度；将景点图像特征MP输入到Netp网络，得到输出的相应景点表征vp；构建相应用户集合U的图像偏好表征矩阵Up，该表征矩阵中每一行代表一个用户相应的表征up；将用户表征向量up和景点表征向量vp做内积，得到用户对景点图像特征的偏好得分预测为:yp＝Φ(up,vp)；4.3)构建一个多层感知机MLP网络Nets，该网络包含依次为三个维度分别为N*1024，1024*512，512*60的全连接层，其中N为所有景点数；将景点评分特征X输入到该Nets网络，得到输出的相应景点表征vs；构建相应用户集合U的评分偏好表征矩阵Us，该特征矩阵中每一行代表一个用本文档来自技高网...

【技术保护点】
1.一种基于多模态异质信息的个性化推荐方法，包括如下步骤：(1)采集用户访问记录信息及景点的多模态异质信息，并存储至数据库，该多模态信息包括景点的评分，图像和评论；(2)根据采集的多模态异质景点信息生成景点的多模态特征集，并根据用户的访问记录时间将每个用户的最新旅游目的地的旅游记录作为测试数据，剩下的历史旅游记录和景点的多模态特征集作为训练数据；该多模态特征集包括景点的评分特征X，景点图像特征MP、文本评论特征TC及景点区域流行度特征C；(3)利用隐语义模型及神经网络构建个性化推荐模型Y，输入训练数据，采用贝叶斯个性化成对排序优化方法及端到端随机梯度下降算法来优化模型Y得到优化后的模型Y*；

【技术特征摘要】
1.一种基于多模态异质信息的个性化推荐方法，包括如下步骤：(1)采集用户访问记录信息及景点的多模态异质信息，并存储至数据库，该多模态信息包括景点的评分，图像和评论；(2)根据采集的多模态异质景点信息生成景点的多模态特征集，并根据用户的访问记录时间将每个用户的最新旅游目的地的旅游记录作为测试数据，剩下的历史旅游记录和景点的多模态特征集作为训练数据；该多模态特征集包括景点的评分特征X，景点图像特征MP、文本评论特征TC及景点区域流行度特征C；(3)利用隐语义模型及神经网络构建个性化推荐模型Y，输入训练数据，采用贝叶斯个性化成对排序优化方法及端到端随机梯度下降算法来优化模型Y得到优化后的模型Y*；其中k∈B,B＝{s,t,p,l}，其中s代表评分特征视图，t代表评论特征视图，p代表图像特征视图，l代表地域流行度特征视图；v∈V分别表示景点id，V表示数据集中所有景点的集合，u∈U表示用户id，U表示数据集中所有用户的集合；uk*，vk*,表示不同视图下用户和景点的表征，表示用户u对景点v不同特征的偏好程度；g是sigmoid函数，Φ为内积函数；(4)将用户id及景点的特征输入到优化好的模型Y*，得到用户对景点的最终得分；(5)根据用户对测试目的地的所有景点的评分，按照评分排序得出评分最大的几个景点推荐给用户。2.根据权利要求1所述的方法，其中(2)中根据采集的多模态异质景点信息生成景点的评分特征X，景点图像特征MP、文本评论特征TC及景点区域流行度特征C，分别表示如下：该景点的文本评论特征TC，是将所有访问过景点的用户评论先进行分词、过滤无用词，再利用训练好的word2vec词向量模型将每个词映射为一个低维向量，然后利用景点评论的中所有单词的词向量构成景点的文本内容特征矩阵TC；该景点图像特征MP，是利用一个训练好的图像美学评估网络NIMA提取得到；该景点区域流行度特征C，为景点被所有用户的访问过的次数；该景点的评分特征X，为所有用户对景点的评分信息。3.根据权利要求1所述的方法，其中(3)中利用隐语义模型及神经网络构建个性化推荐模型Y，实现如下：3a)构建一个文本卷积网络Textcnn，将景点的文本特征TC输入到该Textcnn网络，得到相应的景点表征vt,并构建相应用户集合U的文本偏好表征矩阵Ut，该表征矩阵中每一行代表一个用户相应的表征ut，得到用户对景点文本特征的偏好得分预测为:yt＝Φ(ut,vt)；3b)构建多层感知机MLP网络Netp，将景点图像特征MP输入到Netp网络，得到相应的景点表征vp，构建相应用户集合U的图像偏好特征矩阵Up，该表征矩阵中每一行代表一个用户相应的表征up，得到用户对景点图像特征的偏好得分预测为:yp＝Φ(up,vp)；3c)构建多层感知机MLP网络Nets，将景点评分特征X输入到该Nets网络，得到相应的景点表征vs，构建相应用户集合U的评分偏好表征矩阵Us，该表征矩阵中每一行代表一个用户相应的表征us，得到用户对景点评分特征的偏好得分预测为:ys＝Φ(us,vs)；3d)构建目的地集合L的表征...

【专利技术属性】
技术研发人员：韩冰，张玉军，李浩然，高新波，王禛，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61