一种融合注意力机制的残差神经协同过滤推荐系统技术方案

本发明专利技术提出一种融合注意力机制的残差神经协同过滤推荐系统，属于推荐技术领域。包括有服务器，用于设置数据采集及准备模块、偏好信息提取模块、模型训练模块、模型预测和推荐模块。同时，服务器连接连接数据库，为上述模块提供数据信息；智能终端，即用户所使用的手机或者电脑，能够保留用户在终端上浏览、点击或购买物品的行为数据信息并将其传入上述数据库中进行保存；数据库，连接智能终端，用于保存用户在智能终端上留下的行为数据信息；数据采集及准备模块提取上述数据库提供的用户行为数据，并对其进行清洗和标准化；偏好信息提取模块从提供的用户行为数据中，提取用户对物品的偏好信息，以此建模；模型训练模块进行求解，获得模型的最优参数，最后通过推荐模块为每个用户提供个性化物品推荐，以提高用户的满意程度。度。度。

【技术实现步骤摘要】
一种融合注意力机制的残差神经协同过滤推荐系统
[0001]本专利技术属于推荐
，具体的说是一种融合注意力机制的残差神经协同过滤推荐系统。

技术介绍

[0002]数字化浪潮下，全球工业互联网步入发展快车道，无差别化信息的激增，使得线上用户需要花大量时间和精力来对这些信息进行筛选过滤，以获取到与自身兴趣点更贴近的内容。推荐系统(RSs)作为目前最为简单高效的信息过滤技术，能够充分分析用户的历史行为信息和构建相应推荐模型来预测用户偏好，并向其推送最有可能感兴趣的内容，这极大地提高了用户体验，且有效地缓解了信息过载问题。基于深度神经网络的协同过滤方法，因其具有强大的非线性转化能力和学习能力，能够很好的发现用户和项目间复杂的关系。但是，这类方法忽视了用户和项目间的线性关系，从而抑制了模型性能的进一步提升。因此，如何设计一个神经协同过滤算法来有效融合数据间低阶和高阶特征，以提升推荐系统的性能就显得尤为重要。
[0003]目前，推荐算法多是通过特征的简单拼接来实现特征融合，忽略了不同的特征组合对推荐结果的影响；同时，在提取高阶特征时，无法有效缓解神经网络存在的梯度消失和信息损失问题。因此，如何在提取高阶特征的时候缓解神经网络存在的梯度消失和信息损失问题，同时高效的融合低阶和高阶特征来提升推荐系统的能力已经成为了一个技术难题。

技术实现思路

[0004]针对上述问题，本专利技术基于多层感知机，提出了一种融合注意力机制的残差神经协同过滤推荐系统，包括：
[0005]服务器，用于设置数据采集及准备模块、偏好信息提取模块、模型训练模块、模型预测和推荐模块。同时，服务器连接连接数据库，为上述模块提供数据信息；
[0006]数据库，连接智能终端，用于保存用户在智能终端上留下的行为数据信息；
[0007]智能终端，即用户所使用的手机或者电脑，能够保留用户在终端上浏览、点击或购买物品的行为数据信息并将其传入上述数据库中进行保存；
[0008]数据采集及准备模块，用于提取上述数据库提供的用户行为数据，并对其进行清洗和标准化，以得到所述偏好提取模块所需要的格式；
[0009]偏好信息提取模块，用于从所述数据采集及准备模块提供的用户行为数据中，提取用户对物品的偏好信息，以此建模；
[0010]模型训练模块，用于根据所述偏好信息提取模块提供的模型进行求解，获得模型的最优参数；
[0011]模型预测和推荐模块，用于根据所述模型训练模块提供的模型，为每个用户提供个性化物品推荐，以提高用户的满意程度。
[0012]进一步的，根据权利要求1所述的一种融合注意力机制的残差神经协同过滤推荐
系统，系统运行的整体步骤如下所示：
[0013]S1：智能终端将推荐系统中用户与项目间的交互信息发送至数据库；
[0014]S2：数据采集及准备模块从所述数据库中获取所有的行为数据，具体包括：用户id、项目id、评分信息；
[0015]S2：数据采集及准备模块用one
‑
hot编码将用户id转化为向量Eu；
[0016]S3：数据采集及准备模块用one
‑
hot编码将项目id转化为向量E
i
；
[0017]S4：数据采集及准备模块按照用户评过分的项目记为1；没有评过分的项目记为0来获取评分信息；
[0018]S5：数据采集及准备模块将评分信息按照矩阵的方式进行存储，即为所述隐式反馈矩阵，其中，矩阵的行表示某个用户u，矩阵的列表示某个项目i，矩阵中的值r
u,i
表示用户u对项目i的评分。
[0019]S6：偏好信息提取模块根据标准正态分布随机初始化嵌入层参数(W
Eu
和W
Ei
)、预处理层参数(W
p0
和W
p1
)、多层感知机参数(W1、W2、
…
、W
n
)、和残差通道参数(W
0,2
、W0,3、
…
、W
n
‑
2,n
)；
[0020]S7：用户向量和项目向量通过嵌入层，分别转化为稠密的嵌入向量和和并通过拼接的方式，生成用户u对项目i的特征向量V
ui
；
[0021]S8：根据预处理层参数W
p0
和W
p1
，得到特征重构后的输出向量计算方式如下：
[0022][0023]S9：输出向量经过第一层全连接层和残差通道会获得两类特征输出，分别为h1、h
0,2
，计算方式如下：
[0024][0025][0026]S10：两类输出向量会由注意力机制层计算权重，通过加权求和，生成多层感知机第二层隐藏层的最终输出h2，计算方式如下：
[0027][0028][0029]S11：之后的计算以所述S5和S6类推，模型的最终输出计算方式如下：
[0030][0031]S12：模型训练模块利用梯度下降法迭代优化目标损失函数直到模型收敛，输出模型参数，包括嵌入层参数(W
Eu
和W
Ei
)、预处理层参数(W
p0
和W
p1
)、多层感知机参数(W1、W2、
…
、W
n
)、和残差通道参数(W
0,2
、W
0,3
、
…
、W
n
‑
2,n
)。如下式所示：
[0032][0033][0034]Loss＝Loss
dense
+αLoss
pre
[0035][0036]其中，Loss
pre
表示预处理层的损失，Loss
dense
表示模型预测的损失，W
dense
表示多层感知机的参数和残差通道的参数，W
pre
表示预处理层的参数，α为控制预处理损失的超参数；
[0037]S13：模型预测和推荐模块获取所述模型训练模块输出的模型参数，包括嵌入层参数(W
Eu
和W
Ei
)、预处理层参数(W
p0
和W
p1
)、多层感知机参数(W1、W2、
…
、W
n
)、和残差通道参数(W
0,2
、W
0,3
、
…
、W
n
‑
2,n
)；
[0038]S14：模型预测和推荐模块通过如下公式计算每个用户对每个项目的评分
[0039][0040][0041][0042]……
[0043][0044]S15：模型预测和推荐模块将按照用户和项目id填充进矩阵
[0045]S16：模型预测和推荐模块针对不同用户，将对应的按照分数从大到小为用户推荐其未本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合注意力机制的残差神经协同过滤推荐系统，其特征在于，包括：服务器，用于设置数据采集及准备模块、偏好信息提取模块、模型训练模块、模型预测和推荐模块。同时，服务器连接连接数据库，为上述模块提供数据信息；数据库，连接智能终端，用于保存用户在智能终端上留下的行为数据信息；智能终端，即用户所使用的手机或者电脑，能够保留用户在终端上浏览、点击或购买物品的行为数据信息并将其传入上述数据库中进行保存；数据采集及准备模块，用于提取上述数据库提供的用户行为数据，并对其进行清洗和标准化，以得到所述偏好提取模块所需要的格式；偏好信息提取模块，用于从所述数据采集及准备模块提供的用户行为数据中，提取用户对物品的偏好信息，以此建模；模型训练模块，用于根据所述偏好信息提取模块提供的模型进行求解，获得模型的最优参数；模型预测和推荐模块，用于根据所述模型训练模块提供的模型，为每个用户提供个性化物品推荐，以提高用户的满意程度。2.根据权力要求1所述的一种融合注意力机制的残差神经协同过滤推荐系统，其特征在于，所述设置在服务器上的数据采集及准备模块通过连接所述数据库获取推荐系统中所有的用户行为数据，并对数据按照系统要求格式进行清洗和标准化，创建隐式反馈矩阵，具体包括：S1：从所述数据库中获取所有的行为数据，具体包括：用户id、项目id、评分信息；S2：用one
‑
hot编码将用户id转化为向量E
u
；S3：用one
‑
hot编码将项目id转化为向量E
i
；S4：对于评分信息，按照用户评过分的项目记为1；没有评过分的项目记为0；S5：将评分信息按照矩阵的方式进行存储，即为所述隐式反馈矩阵，其中，矩阵的行表示某个用户u，矩阵的列表示某个项目i，矩阵中的值r
u，i
表示用户u对项目i的评分。3.根据权力要求1所述的一种融合注意力机制的残差神经协同过滤推荐系统，其特征在于，所述设置在服务器上的偏好信息提取模块具体步骤如下：S1：根据标准正态分布随机初始化嵌入层参数(W
Eu
和W
Ei
)、预处理层参数(W
p0
和W
p1
)、多层感知机参数(W1、W2、...、W
n
)、和残差通道参数(W
0，2、
W
0，3、
...、W
n
‑
2，n
)；S2：用户向量和项目向量通过嵌入层，分别转化为稠密的嵌入向量和和并通过拼接的方式，生成用户u对项目i的特征向量V
ui
；S3：根据预处理层参数W
p0
和W
p1
，得到特征重构后的输出向量计算方式如...

【专利技术属性】
技术研发人员：邓江洲，王永，李行健，胡良涛，梁琴，周春连，罗婧方，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：