一种基于广义神经注意力的物品推荐方法技术

本发明专利技术提供一种基于广义神经注意力的物品推荐方法，涉及信息处理技术领域。本发明专利技术将广义矩阵因子分解模型GMF和神经注意相似度模型NAIS相结合建立广义神经注意力推荐模型GNAS，在模型中使用GMF与多层感知机MLP(MLP,Multilayer Perceptron)集成的注意力机制对模型进行优化，对模型进行优化后，通过优化的广义神经注意力推荐模型预测用户对目标物品的喜好程度，为用户生成个性化推荐列表。本发明专利技术挖掘用户潜在的兴趣爱好，提高推荐系统的可解释性和多样性；其次采用GMF模型和MLP模型相结合的注意力机制估算每个历史物品在预测目标物品的喜爱程度时所占的权重，使用较小的时间代价大大提高了推荐准确率，为用户推荐更加符合其兴趣的物品。

An item recommendation method based on generalized neural attention

【技术实现步骤摘要】
一种基于广义神经注意力的物品推荐方法
本专利技术涉及信息处理
，尤其涉及一种基于广义神经注意力的物品推荐方法。
技术介绍
如今，我们正经历从信息时代(InformationTechnology，IT)到数据时代(DataTechnology，DT)的变迁，数据时代比较明显的标志就是：信息过载。如何从海量的信息中快捷的帮助特定用户找到感兴趣的信息呢？现在有两种相关的解决技术：搜索引擎与推荐系统。搜索引擎需要用户准确地描述出自己的需求，而推荐系统则通过分析、挖掘用户行为，发现用户的个性化需求与兴趣特点，将用户可能感兴趣的信息或物品推荐给用户。一个优秀的推荐系统能够很好的串联起用户、商家以及平台方，并让三方都收益，所以它不仅在学术界得到了大量的关注和研究，也在各个应用场景中得到了广泛的应用，已逐渐成为大部分领域的标配。电子商务网站是个性化推荐系统的一大应用领域。在电影和视频网站中，个性化推荐系统也是一种重要的应用。它能够帮助用户在浩瀚的视频库中找到令他们感兴趣的视频。在社交网络方面可以利用用户的社交网络信息对用户进行个性化的物品推荐以及给用户推荐好友等。个性化广告的推荐也成当下持续关注的热点。另外还有个性化音乐推荐，新闻阅读推荐以及地理位置方面的应用等。总之，推荐系统已经随处可见，不仅具有极高的商业价值，也为我们的学习和生活带来极大的便利。个性化推荐的最大的优点在于，它能收集用户特征资料并根据用户特征，如兴趣偏好，为用户主动做出个性化的推荐。而且，系统给出的推荐是可以实时更新的，当系统中的商品库或用户特征库发生改变时，给出的推荐序列会自动改变。这就大大提高了电子商务活动的简便性和有效性，同时也提高了企业的服务水平。如果推荐系统的推荐质量很高，那么用户会对该推荐系统产生依赖。因此，个性化推荐系统不仅能够为用户提供个性化的推荐服务，而且能与用户建立长期稳定的关系，从而有效保留客户，提高客户的忠诚度和网站点击率，防止客户流失。在日趋激烈的竞争环境下，个性化推荐系统能有效的保留客户，提高电子商务系统的服务能力，在为用户的生活代来极大便利的同时也会为公司带来巨大的经济效益。推荐系统中最重要的模块是推荐算法，而在推荐算法中应用最广泛的是协同过滤算法(CollaborativeFilteringCF)。CF主要分为两类，基于用户的协同过滤算法(User-basedCF)和基于物品的协同过滤算法(Item-basedCF)。Item-basedCF的核心思想是给用户推荐那些和他们之前喜欢的物品相似的物品，所以该算法主要分为两步：(1)计算物品之间的相似度；(2)根据物品相似度和用户的历史行为给用户生成推荐列表。早期的Item-basedCF仅仅使用皮尔逊系数和余弦相似度等方法计算物品之间的相似度。这种方法太过简单，需要手动调优并且调优之后的方法不能直接应用于新的数据集。近年来使用基于模型(model-based)的方法，它定制一个目标函数通过最小化原始用户物品交互矩阵与Item-basedCF模型重建的交互矩阵之间的损失，直接从数据中学习相似度矩阵。此方法在评分任务和Top-k推荐中的表现都优于传统的基于启发式的方法。但是推荐系统中物品数量往往很庞大，学习相似度矩阵时具有很高的复杂度。其次它只能估计共同购买或共同评分的两个物品之间的相似性，不能估计不相关的物品之间的相似性所以无法捕获物品之间的传递关系。后来Kabbur等人提出了特征物品相似度模型，它将物品表示为一个嵌入向量，两个物品之间的相似度参数化为两个物品嵌入向量的内积。当用户有了新的交互，只需要计算新物品和预测的物品(又叫做目标物品)之间的相似度，然后与原来的相似度累加得到用户对目标物品的喜爱程度。所以这个方法很适合在线推荐任务，并且通过在稀疏程度不同的多个数据集的实验结果表明，此方法可以有效地处理稀疏数据集。这个模型也存在一个缺陷，它假设用户交互过的历史物品在预测用户对目标物品的偏好时所做的贡献相同。这不符合真实的推荐场景，为解决这个缺陷，He等人提出了一个神经注意力物品相似度模型，叫做NAIS，它使用注意力机制为每个历史物品都赋予一个权重，用来区分他们对用户偏好所做的不同贡献。但是用户兴趣无时不刻在变化，单一的神经模型由于神经模型的深度较深以及模型复杂等问题，模型具有很强的泛化能力，但用户和物品之间的最原始的交互信息被忽略，模型缺乏记忆能力，所推荐的部分物品可能偏离了用户的兴趣。
技术实现思路
本专利技术要解决的技术问题是针对上述现有技术的不足，提供一种基于广义神经注意力的物品推荐方法，提高物品推荐的精准度；为解决上述技术问题，本专利技术所采取的技术方案是一种基于广义神经注意力的物品推荐方法，包括以下步骤：步骤1、将广义矩阵因子分解模型GMF和神经注意相似度模型NAIS相结合建立广义神经注意力推荐模型GNAS；所述广义矩阵因子分解模型GMF如下公式：其中，表示用户u对目标物品i的喜好程度，j为用户u以前交互过的历史物品，pi和qj分别代表要预测的目标物品向量和用户交互过的历史物品向量，⊙表示向量之间的点积，hT是一个卷积层，用来抽取更多的用户和物品之间的特征信息，提高泛化能力，防止自推荐；步骤1.1、构建广义神经注意力推荐模型；通过one-hot独热编码生成目标物品的稀疏潜在向量，然后将用户u交互过的历史物品j通过multi-hot编码生成用户的潜在向量；将二者经过嵌入层得到用户和物品嵌入向量；让广义矩阵因子分解模型GMF和神经注意相似度模型NAIS共享用户和物品嵌入向量，得到广义神经注意力推荐模型GNAS，如下公式所示：其中，是一个卷积层，其目的是防止将点积结果直接添加到广义神经注意力推荐模型GNAS中所导致的梯度消失，aij是注意力权重，用来计算交互过的历史物品j在用户u预测目标物品i的喜好时所做的贡献，它被参数化为一个关于注意力函数f的softmax函数变种，如下公式所示：其中，β为惩罚系数，其取值范围是[0,1]，用来减轻模型对历史交互物品超过阈值的活跃用户的惩罚；所述注意力函数f通过广义矩阵因子分解模型GMF和MLP两个模型相结合，并通过向量映射到输出层，如下公式所示：其中，注意力函数f的输入为pi和qj的逐元素乘积，W和b分别代表权重矩阵和偏置向量，ReLU是激活函数，是需要训练的一组向量，目的是将结果从隐藏层投影到输出层，权重矩阵W维度与hT的维度相对应；步骤1.2、对构建的广义神经注意力推荐模型进行预训练；在预训练过程中，使用因式分解物品相似度模型FISM训练的物品嵌入向量初始化广义神经注意力推荐模型GNAS中的物品向量来代替随机初始化；其他需要学习的参数hT、W、b用高斯分布初始化；步骤2、在模型中使用GMF与多层感知机MLP(MLP,MultilayerPerceptron)集成的注意力机制对模型进行优化；步骤2.1、建立模型的目标函数，如下公式所示：其中，L为损失，σ为sigmoid函本文档来自技高网...

【技术保护点】
1.一种基于广义神经注意力的物品推荐方法，其特征在于，包括以下步骤：/n步骤1、将广义矩阵因子分解模型GMF和神经注意相似度模型NAIS相结合建立广义神经注意力推荐模型GNAS；/n所述广义矩阵因子分解模型GMF如下公式：/n

【技术特征摘要】
1.一种基于广义神经注意力的物品推荐方法，其特征在于，包括以下步骤：
步骤1、将广义矩阵因子分解模型GMF和神经注意相似度模型NAIS相结合建立广义神经注意力推荐模型GNAS；
所述广义矩阵因子分解模型GMF如下公式：



其中，表示用户u对目标物品i的喜好程度，j为用户u以前交互过的历史物品，pi和qj分别代表要预测的目标物品向量和用户交互过的历史物品向量，⊙表示向量之间的点积，hT是一个卷积层，用来抽取更多的用户和物品之间的特征信息，提高泛化能力，防止自推荐；
步骤2、在模型中使用GMF与多层感知机MLP(MLP,MultilayerPerceptron)集成的注意力机制对模型进行优化；
步骤3、对模型进行优化后，通过优化的广义神经注意力推荐模型预测用户对目标物品的喜好程度，为用户生成个性化推荐列表。


2.根据权利要求1所述的一种基于广义神经注意力的物品推荐方法，其特征在于，所述步骤1具体包括以下步骤：
步骤1.1、构建广义神经注意力推荐模型；
通过one-hot独热编码生成目标物品的稀疏潜在向量，然后将用户u交互过的历史物品j通过multi-hot编码生成用户的潜在向量；将二者经过嵌入层得到用户和物品嵌入向量；让广义矩阵因子分解模型GMF和神经注意相似度模型NAIS共享用户和物品嵌入向量，得到广义神经注意力推荐模型GNAS，如下公式所示：



其中，是一个卷积层，其目的是防止将点积结果直接添加到广义神经注意力推荐模型GNAS中所导致的梯度消失，aij是注意力权重，用来计算交互过的历史物品j在用户u预测目标物品i的喜好时所做的贡献，它被...

【专利技术属性】
技术研发人员：郑莹，吕艳霞，魏方娜，
申请(专利权)人：东北大学秦皇岛分校，
类型：发明
国别省市：河北;13