基于用户全局兴趣迁移感知的个性化新闻推荐方法及系统技术方案

本发明专利技术公开了一种基于用户全局兴趣迁移感知的个性化新闻推荐方法及系统，该方法首先从新闻数据中提取新闻标题文本和新闻标题实体文本，并构建用户序列、用户和新闻之间的点击关系网络以及新闻与新闻的顺序关系网络；再进行多视角关联的新闻内容表征计算；之后计算用户内容兴趣表征；接着构建新闻的全局迁移图，卷积用户和新闻间的点击关系以及新闻与新闻间的迁移关系，然后融合得到的两种关系得到用户的迁移兴趣表征；最后，联合用户的内容兴趣表征和迁移兴趣表征，构建最终的用户全局兴趣迁移感知的新闻推荐模型，实现个性化推荐。系统采用web交互技术实现数据分析和推荐结果的可视化展示。本发明专利技术可以有效提高个性化推荐的准确性，鲁棒性强。鲁棒性强。鲁棒性强。

【技术实现步骤摘要】
基于用户全局兴趣迁移感知的个性化新闻推荐方法及系统


[0001]本专利技术涉及个性化新闻推荐方法，特别是涉及基于用户全局兴趣迁移感知的个性化新闻推荐方法及系统。

技术介绍

[0002]在线新闻平台的飞速发展使得用户能够通过在线新闻平台及时分享、搜索及浏览新闻信息，这极大地丰富了人们的信息需求，也带来了信息过载问题。推荐系统利用信息过滤技术向用户推荐其可能感兴趣的信息，成为解决信息过载问题的有效方案。
[0003]新闻推荐系统大致可以分为基于协同过滤的新闻推荐和基于内容的新闻推荐两类方法。在基于协同过滤方式和基于内容方式的基础上，又衍生出很多新的分支，依据其针对的问题，主要分为隐私保护的推荐系统、知识感知的推荐系统、序列感知的推荐系统和可解释的推荐系统。新闻由于具有匿名浏览的特殊性，通常以会话序列的形式存储用户的浏览记录，难以得到用户长期的浏览信息，因此，在新闻推荐中基于序列推荐的重要性尤为显著。Wang等研究者在2019年系统地总结了序列推荐系统的分类，序列推荐系统按照发展的技术路线主要分为三类：传统序列推荐系统、基于隐语义模型的序列推荐系统和基于深度学习的推荐系统。
[0004]传统序列推荐主要分为基于序列模式挖掘的序列推荐模型和基于马尔科夫链模型的序列推荐模型。基于序列模式挖掘的方法主要是从序列数据中挖掘出一些频繁模式，然后利用挖掘出的模式指导后续的推荐。序列模式挖掘虽然简单直接，但通常会产生大量的冗余模式，增加了不必要的时间和空间开销。另一个明显的缺点是，由于频率约束，它经常丢失那些不经常出现的模式和物品，这将导致推荐结果被限制为那些流行的物品。基于马尔可夫链的推荐系统对用户
‑
物品交互之间的转换进行序列建模，以预测下一次交互。由于马尔可夫特性假设当前的交互仅依赖于一个或多个最近的交互，所以它只能捕获短期的依赖，忽略了长期的依赖。此外，它只能捕获点对(point
‑
wise)之间的依赖而忽略集合之间的依赖。传统的序列推荐模型利用了它们在序列中用户
‑
物品交互之间的序列相关性建模方面的自然优势，直观简单，但是存在着众多的缺陷。
[0005]基于隐语义模型的序列推荐其主要使用因子分解机学习每个用户或物品的潜在表示，与协同过滤方法不同的是，需要进行因子分解的矩阵或张量是由交互作用组成的，而不是协同过滤中的评分矩阵。基于隐语义模型的序列推荐容易受到数据的稀疏性的影响，难以得到理想的推荐效果；另一方面，因子分解机本身有限的线性表达能力和包含无用的特征交叉组合对推荐结果会产生较大的影响。近年来，随着深度学习的发展，有研究者将深度学习的方法和因子分解机结合并应用与序列推荐中，提高了其线性表达能力，但是模型设计复杂，计算复杂度较高。
[0006]基于深度学习的序列推荐系统主要通过使用循环神经网络(RNN，Recurrent Neural Network)和图神经网络(GNN，GraphNeural Network)两种代表技术对用户和物品以及之间的交互关系进行建模。循环神经网络在处理序列的长期依赖中具有优势，但对于
过长的序列建模仍然是困难的，另一方面，循环神经网络难以建模序列中的高阶依赖关系且在用户浏览的新闻稀疏时难以准确表征用户偏好。近年来，从图视角考虑用户和新闻之间的交互关系的研究逐渐火热，研究者们通常将用户与物品的交互序列构建成一个有向图，其中，每个物品作为一个节点，每一个序列作为一条路径，然后基于构建的图结构使用图神经网络学习物品的表示，再结合用户的历史信息建模用户。也有研究者根据用户和物品的交互序列的时间信息，以一定的时间片进行划分，将同一时间片内的物品使用超边进行连接构建了超图，并使用超图卷积的方式学习物品的表示，利用已有的物品表示再动态地去表征用户。通过对序列之间的关系进行转换来构建图关系的数据结构，将一阶序列关系提升到高阶图关系可以更容易建模物品上下文之间的复杂依赖关系。对于用户的历史浏览新闻较少的序列，可以通过新闻序列上下文信息进行补充，缓解用户历史浏览新闻稀疏时不易建模用户偏好的问题。但现有的研究通常仅仅考虑用户与新闻的点击关系，而忽视了全局的浏览新闻序列中的内在联系，从而忽视了用户的全局兴趣迁移，导致用户兴趣描述不全面，因而无法满足用户的需求。
[0007]如何实现内容充分挖掘与用户全局兴趣迁移感知结合的推荐算法，是新闻推荐系统中亟待解决的问题。综合上述研究背景，本专利技术针对新闻推荐系统中全局信息聚合和新闻表达不足的问题，提出了一种基于用户全局兴趣迁移感知的个性化新闻推荐系统。其中，本专利技术的用户全局兴趣迁移感知定义为：从全局视角出发，挖掘用户与新闻之间点击行为的交互联系，同时考虑新闻序列之间前后顺序的迁移联系，建模用户和新闻之间的高阶关系。

技术实现思路

[0008]专利技术目的：为解决现有技术的不足，本专利技术提供一种基于用户全局兴趣迁移感知的个性化新闻推荐方法及系统。
[0009]技术方案：为实现上述专利技术目的，本专利技术采用以下技术方案：
[0010]1.一种基于用户全局兴趣迁移感知的个性化新闻推荐方法，该方法包括以下步骤：
[0011](1)对用户历史浏览新闻和候选新闻进行数据预处理，构建全局的新闻与新闻的顺序关系网络以及用户和新闻之间的点击关系网络；
[0012](2)候选新闻内容表征计算
[0013]使用注意力机制分别从文本视角和实体视角两个不同的视角对候选新闻进行标题文本与实体的自注意表征计算，并计算两个视角表征的交叉注意表征，结合两个视角各自的表征和两个视角之间的交叉注意表征，进行多视角融合计算获得候选新闻内容表征；
[0014](3)用户内容兴趣表征计算
[0015]使用注意力机制分别从文本视角和实体视角两个不同的视角对用户历史浏览新闻进行标题文本与实体的自注意表征计算，并计算两个视角表征的交叉注意表征，结合两个视角各自的表征和两个视角之间的交叉注意表征，进行多视角融合计算，获得用户历史浏览新闻内容表征，然后基于注意力机制聚合用户历史浏览新闻内容表征，得到用户内容兴趣的表征；
[0016](4)用户迁移兴趣表征计算
[0017]融合步骤(1)中构建的全局的新闻与新闻的顺序关系网络以及用户和新闻之间的点击关系网络，构建全局新闻迁移图，将全局新闻迁移图中用户节点表征和不同的邻居新闻节点表征作为输入，使用两层迁移感知的图注意网络来进行信息聚合和学习，最后得到用户迁移兴趣表征、新闻表征、迁移表征，所述迁移表征包括传播表征和影响表征；
[0018](5)联合推荐模型
[0019]结合步骤(2)得到的候选新闻内容表征、步骤(3)得到的用户内容兴趣表征、步骤(4)得到的用户迁移兴趣表征、新闻表征、迁移表征，构建联合推荐模块并进行新闻推荐，对步骤(3)得到的用户内容兴趣表征与步骤(2)得到的候选新闻内容表征进行相似度计算，得到用户内容兴趣评分，对用户迁移兴趣表征与候选新闻表征、迁移表征进行相似度计算得到用户迁移兴趣评分；将用户内容兴趣评分和用户迁移兴本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于用户全局兴趣迁移感知的个性化新闻推荐方法，其特征在于，该方法包括以下步骤：(1)对用户历史浏览新闻和候选新闻进行数据预处理，构建全局的新闻与新闻的顺序关系网络以及用户和新闻之间的点击关系网络；(2)候选新闻内容表征计算使用注意力机制分别从文本视角和实体视角两个不同的视角对候选新闻进行标题文本与实体的自注意表征计算，并计算两个视角表征的交叉注意表征，结合两个视角各自的表征和两个视角之间的交叉注意表征，进行多视角融合计算获得候选新闻内容表征；(3)用户内容兴趣表征计算使用注意力机制分别从文本视角和实体视角两个不同的视角对用户历史浏览新闻进行标题文本与实体的自注意表征计算，并计算两个视角表征的交叉注意表征，结合两个视角各自的表征和两个视角之间的交叉注意表征，进行多视角融合计算，获得用户历史浏览新闻内容表征，然后基于注意力机制聚合用户历史浏览新闻内容表征，得到用户内容兴趣的表征；(4)用户迁移兴趣表征计算融合步骤(1)中构建的全局的新闻与新闻的顺序关系网络以及用户和新闻之间的点击关系网络，构建全局新闻迁移图，将全局新闻迁移图中用户节点表征和不同的邻居新闻节点表征作为输入，使用两层迁移感知的图注意网络来进行信息聚合和学习，最后得到用户迁移兴趣表征、新闻表征、迁移表征，所述迁移表征包括传播表征和影响表征；(5)联合推荐模型结合步骤(2)得到的候选新闻内容表征、步骤(3)得到的用户内容兴趣表征、步骤(4)得到的用户迁移兴趣表征、新闻表征、迁移表征，构建联合推荐模块并进行新闻推荐，对步骤(3)得到的用户内容兴趣表征与步骤(2)得到的候选新闻内容表征进行相似度计算，得到用户内容兴趣评分，对用户迁移兴趣表征与候选新闻表征、迁移表征进行相似度计算得到用户迁移兴趣评分；将用户内容兴趣评分和用户迁移兴趣评分进行加权求和，得到最终用户对候选新闻的交互概率，最后依据交互概率的排序返回候选新闻集合中推荐的top
‑
k新闻列表；(6)系统功能展示。2.根据权利要求1所述的基于用户全局兴趣迁移感知的个性化新闻推荐方法，其特征在于，步骤(1)的具体方法是，从用户历史浏览新闻和候选新闻中提取新闻标题文本字段以及标题实体字段，分别通过Glove词向量和维基百科上训练的实体向量获取对应的新闻标题词向量和实体向量作为初始向量表示；按照用户浏览新闻的时间顺序构建每个用户历史浏览新闻序列，同时构建用户和历史浏览新闻之间的点击关系网络，然后根据用户的历史浏览新闻的序列数据，将点击前后的历史浏览新闻之间连边，构建全局的新闻与新闻的顺序关系网络。3.根据权利要求1所述的基于用户全局兴趣迁移感知的个性化新闻推荐方法，其特征在于，步骤(2)包括如下具体步骤：(2
‑
1)对于给定候选新闻n
i
，新闻的标题文本序列表示为其
中T
i
表示第i条新闻的标题文本，w
i,j
即为第i条新闻的标题文本中的第j个单词，|T
i
|为标题文本中单词的总数；新闻的实体序列表示为其中E
i
表示第i条新闻的标题实体，e
i,j
即为第i条新闻的标题中的第j个实体，|E
i
|即为标题中实体的总数；利用自注意力学习新闻的标题文本序列表征矩阵其计算过程如下：程如下：程如下：其中，为单词序列的词向量矩阵，上标T表示矩阵转置操作，d
w
是单词的特征维度，表示单词w
i,j
的向量表示，表示新闻n
i
中第j个单词的自注意力影响权重，exp(
·
)表示以自然常数e为底的指数函数，是新闻n
i
中第j个单词的自注意力表征权重，k是指第k个单词，是单词的自注意力表征，将每个单词依据归一化权重向量进行更新得到文本序列表征矩阵之后，利用自注意力机制计算第i条新闻标题文本自注意表示对于标题中的实体也进行自注意力学习实体序列表示，得到新闻标题的实体序列表征矩阵其中表示第i个新闻的标题中的第j个实体的自注意力表征，以及得到新闻标题中的实体自注意表示(2
‑
2)通过对新闻的标题文本序列表征矩阵和新闻的实体序列表示进行交叉注意得到单词与实体两两之间的关联程度，分别加和行、列作为单词和实体的权重值，再通过加权分别聚合文本集合和实体集合特征得到文本层面交叉学习表示和实体层面交叉学习表示的具体计算过程如下：的具体计算过程如下：的具体计算过程如下：其中表示单词w
i,j
的自注意向量表示，表示实体e
i,k
的自注意向量表
示，表示新闻n
i
中的第j个单词的交叉注意力表征权重，表示新闻n
i
中的第j个单词的交叉注意力影响权重，表示新闻n
i
中的第k个单词的交叉注意力影响权重，表示新闻n
i
中的第k个单词的交叉注意力表征权重，d
w
和d
e
分别是单词和实体特征维度，实体层面交叉学习表示的计算方法同文本层面交叉学习表示(2
‑
3)通过将步骤(2
‑
1)得到的标题文本自注意表示标题实体自注意表示以及步骤(2
‑
2)得到的文本层面交叉学习表示和实体层面交叉学习表示进行相加后进行拼接得到新闻内容表征向量，第i条新闻的多视角表征向量计算如下：其中+表示两个向量对位相加，||表示拼接操作，第i条新闻内容表征向量计算如下：其中是线性层权重，是线性层偏差。4.根据权利要求1所述的基于用户全局兴趣迁移感知的个性化新闻推荐方法，其特征在于，步骤(3)包括如下具体步骤：(3
‑
1)进行用户序列内容自注意力提取，通过对用户历史浏览新闻序列进行新闻内容表征计算得到新闻序列矩阵其中作为用户u
i
浏览的第一条新闻n1的内容表征向量，代表该用户历史浏览序列的长度，将自注意力机制应用在新闻序列向量集合构建的矩阵上更新新闻序列之间的信息得到新闻自注意力矩阵再通过的Softmax函数进行归一化得到权重矩阵然后将这个权重矩阵与对应的新闻向量集合相乘实现每个新闻与其他新闻之间联系，得到用户历史浏览新闻的自注意力向量矩阵其中是用户u
i
对新闻n
j
的自注意力向量；(3
‑
2)从用户层面使用注意力机制去加权聚合新闻的自注意力向量集合以表征用户的内容兴趣偏好计算如下：计算如下：其中表示用户u
i
对历史浏览序列中的新闻n
j
的偏好程度，是第一层线性层的参数，其维数与新闻内容向量的维数的大小一致，通过Tanh激活函数进行非线性变化后送入第二层线性层；则为第二层线性层的参数，用户实现将维数d
n
映射为1，由此每一个新闻向量则对应了一个权值，将所有历史浏览新闻权值进行归一化后即可得到用户对历史浏览新闻序列中的新闻的偏好分布情况，最后通过加权求和新闻自注意力
向量矩阵得到用户内容兴趣表示5.根据权利要求1所述的基于用户全局兴趣迁移感知的个性化新闻推荐方法，其特征在于，步骤(4)包括如下具体步骤：(4
‑
1)进行基于序列全局感知的用户迁移兴趣建模，包括全局新闻迁移图的构建和基于迁移感知的迁移兴趣表征两个部分；首先进行全局新闻迁移图的构建：将用户历史浏览新闻序列中新闻按照用户浏览...

【专利技术属性】
技术研发人员：胡明芮，刘波，严辉，孟青，曹玖新，
申请(专利权)人：东南大学，
类型：发明
国别省市：