融合注意力模型的卷积神经网络协同过滤推荐方法及系统技术方案

本申请公开了一种融合注意力模型的卷积神经网络协同过滤推荐方法及系统，涉及数据挖掘推荐技术领域，提高了特征提取效率和评分预测精度，降低运维成本，简化费用管理方式，方便联合经营和大面积推广应用。融合注意力模型的卷积神经网络协同过滤推荐方法，包括：步骤S1：将用户特征向量和物品特征向量拼接融合为一个新向量；步骤S2：将新向量作为输入向量送入多层感知器中学习，预测评分；其中，将注意力模型融合到物品潜在向量、获得物品特征向量的卷积神经网络或多层感知器的隐藏层中。

【技术实现步骤摘要】
融合注意力模型的卷积神经网络协同过滤推荐方法及系统
本申请涉及数据挖掘推荐
，尤其涉及一种融合注意力模型的卷积神经网络协同过滤推荐方法及系统。
技术介绍
现有深度学习是目前处理大数据领域的一种重要手段。它模仿人类的脑神经元进行抽象建模。在推荐系统中，将数据中的用户和物品信息作为神经网络的输入向量来做预测任务。为了提高预测精度，模型需要高效地进行特征提取。从稀疏的输入数据中得到高维的特征向量用于训练。然而，单靠神经网络增加层数的方法提高特征提取的效率提高模型的预测精度是不可取的。这样做会增加模型的复杂程度，同时也不一定能达到预期的效果。推荐系统是建立在对海量数据进行数据挖掘(datamining)的基础上的一种高级智能方法。其主要的功能就是依照用户的需求为其进行个性化的推荐，它在用户喜好和物品偏好的学习上扮演了一个重要的角色。推荐系统通过预测物品的评分或者其他指标来反映用户的喜好。这样做能够有效地改善用户在海量的数据中搜索效率不高的现象。它旨在为用户提供在行为记录中具有相似品味和喜好的人喜欢的项目的建议。例如，要预测一位用户对于某一部电影的喜爱程度，可以预测这名用户能为这部电影打多少分。根据预测的评分，来决定是否为用户推荐这部电影。事实证明，在Netfilx上有80％的电影的观看是源于推荐系统的结果。对于这样的回归预测问题，协同过滤(CF)是构建个性化推荐系统的关键技术，它不仅从用户的行为数据中推断用户的偏好，而且推断其他用户的行为数据。协同过滤主要分为基于记忆的方法和基于模型的方法。其中，基于记忆的方法使用用户之间或者物品之间的联系来进行推荐。具体来说是依照相似性度量值来把相似的用户或者物品匹配起来。另一种是基于模型的推荐方法。它利用机器学习算法对特征向量进行学习，进而得到用户对物品的评分来进行推荐。许多优秀的推荐系统使用了协同过滤。协同过滤分析用户之间的关系以及项目之间的相互依赖关系，以便识别新的用户——项目关联。其目的是利用人们在历史记录中的相似喜好来预测用户可能喜欢的东西。协同过滤可以找到对于不同用户在评分方面存在的共同特征的深层原因。一般的办法是将已有的用户和物品的信息以one-hot向量的方式表示，并将它们送入利用深度学习建立的框架内进行训练。现有的可行方法有libFM、wide&deeplearning、NCF等。由此可见，利用CF的推荐方法是非常普遍和成功的。然而，如果仅利用代表用户和物品的one-hot向量进行训练，这样做使输入数据变得稀疏，包含的信息量过少，不利于训练模型更加精确地预测评分。
技术实现思路
本申请的目的在于提供一种融合注意力模型的卷积神经网络协同过滤推荐方法及系统，提高了特征提取效率和评分预测精度，降低运维成本，简化费用管理方式，方便联合经营和大面积推广应用。为达到上述目的，本申请提供一种融合注意力模型的卷积神经网络协同过滤推荐方法，包括：步骤S1：将用户特征向量和物品特征向量拼接融合为一个新向量；步骤S2：将新向量作为输入向量送入多层感知器中学习，预测评分；其中，将注意力模型融合到物品潜在向量、获得物品特征向量的卷积神经网络或多层感知器的隐藏层中。其中，物品特征向量的获取方法包括：步骤a1：选取Glove方法对物品的原始数据进行预训练，使物品文本信息中的词形成词向量矩阵D∈Ra*I，其中，a是向量的维度，I是文本信息的长度；步骤a2：利用卷积神经网络从词向量矩阵中提取文本特征，形成物品潜在向量；其中，在卷积层中利用一维卷积核w∈Ra*h对词向量矩阵D进行特征提取，获取特征值Cn，其中a表示向量的维度，h表示一维卷积核窗口的大小；在卷积层中提取特征的方法为：其中，n表示卷积运算的次数，m表示卷积核的个数，h表示一维卷积核的窗口大小，n:n+h-1表示n到n+h-1，f表示非线性激活函数，·表示卷积核的共享权重和词向量的对应运算，x表示词向量矩阵的输入值，w表示权重，b表示偏差值。在池化层中用如下公式提取特征值：pv＝max[Cn](公式2)其中n表示卷积运算的次数。如上的，其中，根据注意力模型的原理生成注意力权重矩阵，并将注意力权重矩阵与对应的物品特征向量点乘获得新的物品特征向量，表示公式为：v′＝zatt⊙v(公式3)其中，zatt表示注意力权重矩阵，v表示物品特征向量，v′表示获得注意后的物品特征向量。如上的，其中，在步骤S2中，预测评分的公式为：其中，wir表示权重，w0表示偏差值，Ui表示用户特征向量，Ir表示物品特征向量，i表示用户，r表示物品。如上的，其中，所述多层感知器是包括多个隐藏层的深度神经网络，隐藏层定义为：Lj＝σj(wjLj-1+bj)(公式5)其中，j表示多层感知器中隐藏层的个数，σj、wj和bj分别表示对应隐藏层的激活函数、权重和偏差值。如上的，其中，利用损失函数更新权重的值，损失函数的计算公式为：其中，m表示训练集记录条数，表示预测评分，表示实际评分，t表示第几个评分，利用公式6所得的损失值进行随机梯度下降来更新模型的权重，计算公式为：其中，α代表学习率，表示每次向着函数J(w)最陡峭的方向迈步的大小，wj表示权重，wj：表示更新后的权重，表示梯度。如上的，其中，利用批规范化对每个隐藏层的输入数据进行标准化处理，标准化处理公式为：其中，μB表示批的平均值，σB2表示批的标准差，ε为正数，γ为调整数值大小的值，β为调整正则化的值。如上的，其中，批的平均值计算公式为：其中，xi表示输入数据，k表示隐藏层的个数，w表示权重。本申请还提供一种融合注意力模型的卷积神经网络协同过滤推荐系统，包括：用户特征向量、物品特征向量和注意力卷积协同过滤模型，注意力卷积协同过滤模型包括：注意力模型、卷积神经网络和多层感知器，所述注意力模型分别与物品潜在向量、获得物品特征向量的卷积神经网络和多层感知器的隐藏层进行融合，多层感知器，计算用户特征向量与物品特征向量拼接融合后的新向量，预测评分。本申请实现的有益效果如下：(1)将注意力模型融合到协同过滤模型中应用于评分预测的推荐系统，采用卷积神经网络对物品的文本信息进行特征提取，形成注意力卷积协同过滤模型，有效地提取数据的特征值，进一步提高评分预测精度。(2)根据注意力模型的原理生成注意力权重矩阵，并将权重矩阵与对应的物品特征向量点乘获得新的物品特征向量，提高特征提取效率。(3)卷积神经网络对文本信息进行学习，利用卷积神经网络处理的文本信息作为输入向量，有效的解决了输入数据稀疏的问题，建立了用户和物品之间更为复杂的联系，进一步提高了评分预测的准确性。(4)采用多层感知器来计算所获得用户特征向量和物品特征向量拼接融合的向量，获得评分，多层感知器是包含多个隐藏层的深度神经网络，多个隐藏层计算评分提高了预测准确性。(5)利用批规范化对每个隐藏层的输入数据进行标准化处理，解决因权重规模不可控而导致的问题，缓解梯度消失或爆炸的现象，加快收敛速度，加快模型的训练速度。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。图1本文档来自技高网...

【技术保护点】
1.一种融合注意力模型的卷积神经网络协同过滤推荐方法，其特征在于，包括：步骤S1：将用户特征向量和物品特征向量拼接融合为一个新向量；步骤S2：将新向量作为输入向量送入多层感知器中学习，预测评分；其中，将注意力模型融合到物品潜在向量、获得物品特征向量的卷积神经网络或多层感知器的隐藏层中。

【技术特征摘要】
1.一种融合注意力模型的卷积神经网络协同过滤推荐方法，其特征在于，包括：步骤S1：将用户特征向量和物品特征向量拼接融合为一个新向量；步骤S2：将新向量作为输入向量送入多层感知器中学习，预测评分；其中，将注意力模型融合到物品潜在向量、获得物品特征向量的卷积神经网络或多层感知器的隐藏层中。2.根据权利要求1所述的融合注意力模型的卷积神经网络协同过滤推荐方法，其特征在于，其中，物品特征向量的获取方法包括：步骤a1：选取Glove方法对物品的原始数据进行预训练，使物品文本信息中的词形成词向量矩阵D∈Ra*I，其中，a是向量的维度，I是文本信息的长度；步骤a2：利用卷积神经网络从词向量矩阵中提取文本特征，形成物品潜在向量；其中，在卷积层中利用一维卷积核w∈Ra*h对词向量矩阵D进行特征提取，获取特征值Cn，其中a表示向量的维度，h表示一维卷积核窗口的大小；在卷积层中提取特征的方法为：其中，n表示卷积运算的次数，m表示卷积核的个数，h表示一维卷积核的窗口大小，n:n+h-1表示n到n+h-1，f表示非线性激活函数，·表示卷积核的共享权重和词向量的对应运算，x表示词向量矩阵的输入值，w表示权重，b表示偏差值。3.根据权利要求2所述的融合注意力模型的卷积神经网络协同过滤推荐方法，其特征在于，在池化层中用如下公式提取特征值：pv＝max[Cn](公式2)其中n表示卷积运算的次数。4.根据权利要求1所述的融合注意力模型的卷积神经网络协同过滤推荐方法，其特征在于，根据注意力模型的原理生成注意力权重矩阵，并将注意力权重矩阵与对应的物品特征向量点乘获得新的物品特征向量，表示公式为：v′＝zatt⊙v(公式3)其中，zatt表示注意力权重矩阵，v表示物品特征向量，v′表示获得注意后的物品特征向量。5.根据权利要求1所述的融合注意力模型的卷积神经网络协同过滤推荐方法，其特征在于，在步骤S2中，预测评分的公...

【专利技术属性】
技术研发人员：张邦佐，张昊博，孙小新，冯国忠，
申请(专利权)人：东北师范大学，
类型：发明
国别省市：吉林,22