基于注意力机制与用户多兴趣建模的新闻推荐方法及系统技术方案

本发明专利技术涉及一种基于注意力机制与用户多兴趣建模的新闻推荐方法及系统，该方法首先将候选新闻与用户历史点击新闻序列中的词汇分别用向量表示；在词汇级别神经网络中连接候选新闻与用户历史阅读新闻的词汇序列，利用注意力机制计算每个词汇权重，得到词汇特征向量o

【技术实现步骤摘要】
基于注意力机制与用户多兴趣建模的新闻推荐方法及系统


[0001]本专利技术涉及机器学习和新闻推荐领域，具体涉及一种基于注意力机制与用户多兴趣建模的新闻推荐方法及系统。

技术介绍

[0002]随着网络技术的发展，传统报纸日渐衰落，而网络新闻的消费则迅速增长，早在2012年，访问新闻门户网站的用户就已经成为了整个网络流量的主要部分。然而，稀疏的用户配置、快速增长的项目数量、加速衰减的项目价值，以及用户偏好的动态转移，使得各类新闻平台的用户越来越难选择自己感兴趣的新闻。新闻推荐可以根据用户历史行为，挖掘用户兴趣，帮助他们找到自己感兴趣的新闻，解决信息过载，以提高用户的阅读体验。
[0003]学习新闻和用户的准确表述是新闻推荐的两项核心任务。早期个性化新闻推荐技术主要可以分为基于内容、基于协同过滤、混合推荐这3个种类，它们分别存在用户配置单一、缺失文本信息、建模困难等问题。相较于传统的推荐技术，深度学习具有非线性变换、表征学习、序列建模等优势，且随着深度学习技术的发展，自然语言处理、图卷积神经网络等技术也被分别引入到个性化新闻推荐领域。
[0004]目前，大多数新闻推荐方法，都使用用户的历史阅读序列学习用户向量，并与候选新闻进行交互，最终得到模型的输出。然而，将新闻作为整体处理可能会忽略用户兴趣与候选新闻之间的一些低维匹配信号，如词汇级别关系等。同时，将不同的新闻表示合并为1个用户向量，可能会产生较大的偏移，阻碍对用户的建模。因此，如何准确地进行新闻的个性化推荐成为一个亟待解决的问题。

技术实现思路
<br/>[0005]为了解决上述技术问题，本专利技术提供一种基于注意力机制与用户多兴趣建模的新闻推荐方法及系统。
[0006]本专利技术技术解决方案为：一种基于注意力机制与用户多兴趣建模的新闻推荐方法，包括：
[0007]步骤S1：采用文本语料预训练完成的词向量来表示新闻标题中的词汇，并使用正态分布随机生成新闻类别向量矩阵E
vert
及其子类别向量矩阵E
sub_vert
；
[0008]步骤S2：构建基于注意力机制的新闻推荐网络，包括：词汇级别神经网络、新闻建模网络、新闻级别神经网络和类别级别神经网络；首先利用候选新闻标题和历史新闻标题构建用户词汇序列w，将所述用户词汇序列输入所述词汇级别神经网络进行特征提取，得到w组成的矩阵以及最终的词汇特征向量o
w
；
[0009]步骤S3：将输入所述新闻建模网络，得到新闻标题向量矩阵将经过注意力机制后得到新闻标题的表示向量矩阵X
t
；将X
t
与E
vert
和E
vert
拼接后得到新闻向量矩阵E
n
；
[0010]步骤S4：将E
n
输入新闻级别神经网络，经过新闻级别注意力机制层和新闻级别特征融合层后，输出新闻特征向量o
n
；
[0011]步骤S5：选择用户最经常浏览的C个新闻类别及其对应的新闻向量矩阵E
v
输入类别级别神经网络，得到用户在每个经常浏览的新闻类别上的最终表示E
o
；将E
o
输入类别级别特征融合层后，输出新闻类别特征向量o
v
；
[0012]步骤S6：将o
w
、o
n
和o
v
进行连接得到向量o，并将o经过激活函数之后，得到最终的预测结果同时，构建损失函数用于所述基于注意力机制的新闻推荐网络的训练。
[0013]本专利技术与现有技术相比，具有以下优点：
[0014]1、本专利技术公开了一种基于注意力机制与用户多兴趣建模的新闻推荐方法，融合了用户在新闻词汇、类别上的选择信息，在新闻级别之外，引入了词汇级别、类别级别神经网络，在不同层面融合用户偏好以及产品特征等信息。在词汇级别神经网络，本专利技术将候选新闻与用户历史新闻序列进行连接，为序列中的每个单词计算权重，得到词汇级别的最终输出；在类别级别神经网络，本专利技术按照用户历史浏览新闻的数量，选取用户最常浏览的几类新闻，添加注意力机制，为每个类别计算权重，进而得到类别级别的最终输出；最终，将他们与新闻级别神经网络的输出相连接，经过激活函数处理后得到最终的分类预测结果；并构建损失函数对模型进行训练。本专利技术与其他基础模型相比，准确率得到了明显的提升。
[0015]2、现有的新闻推荐神经网络模型往往忽视了用户在词汇、类别等领域上的选择信息，本专利技术构建一个融合了用户在词汇级别、类别级别上的选择信息的神经网络模型，从而解决了这个问题。具体而言，本专利技术在新闻级别神经网络以外，还添加了词汇级别、类别级别的神经网络，协同表示用户和新闻信息，以增强其信息的价值程度，并使得本专利技术与传统推荐方法相比准确率得到了明显的提高。
附图说明
[0016]图1为本专利技术实施例中一种基于注意力机制与用户多兴趣建模的新闻推荐方法的流程图；
[0017]图2为本专利技术实施例中词汇级别神经网络的结构示意图；
[0018]图3为本专利技术实施例中新闻级别神经网络的结构示意图；
[0019]图4为本专利技术实施例中类别级别神经网络的结构示意图；
[0020]图5为本专利技术实施例中基于注意力机制的新闻推荐网络的结构示意图；
[0021]图6为本专利技术实施例中一种基于注意力机制与用户多兴趣建模的新闻推荐方法系统的结构框图。
具体实施方式
[0022]本专利技术提供了一种基于注意力机制与用户多兴趣建模的新闻推荐方法，充分利用了用户在词汇、类别级别上的选择信息，并结合注意力机制，提高了新闻的个性化推荐的准确率。
[0023]为了使本专利技术的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本专利技术进一步详细说明。
[0024]实施例一
[0025]如图1所示，本专利技术实施例提供的一种基于注意力机制与用户多兴趣建模的新闻
推荐方法，包括下述步骤：
[0026]步骤S1：采用文本语料预训练完成的词向量来表示新闻标题中的词汇，并使用正态分布随机生成新闻类别向量矩阵E
vert
及其子类别向量矩阵E
sub_vert
；
[0027]步骤S2：构建基于注意力机制的新闻推荐网络，包括：词汇级别神经网络、新闻建模网络、新闻级别神经网络和类别级别神经网络；首先利用候选新闻标题和历史新闻标题构建用户词汇序列w，将用户词汇序列输入词汇级别神经网络进行特征提取，得到w组成的矩阵以及最终的词汇特征向量o
w
；
[0028]步骤S3：将输入新闻建模网络，得到新闻标题向量矩阵将经过注意力机制后得到新闻标题的表示向量矩阵X
t
；将X
t
与E
vert
和E
vert
拼接后得到新闻向量矩阵E
n
；
[0029]步骤S4本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制与用户多兴趣建模的新闻推荐方法，其特征在于，包括：步骤S1：采用文本语料预训练完成的词向量来表示新闻标题中的词汇，并使用正态分布随机生成新闻类别向量矩阵E
vert
及其子类别向量矩阵E
sub_vert
；步骤S2：构建基于注意力机制的新闻推荐网络，包括：词汇级别神经网络、新闻建模网络、新闻级别神经网络和类别级别神经网络；首先利用候选新闻标题和历史新闻标题构建用户词汇序列w，将所述用户词汇序列输入所述词汇级别神经网络进行特征提取，得到w组成的矩阵以及最终的词汇特征向量o
w
；步骤S3：将输入所述新闻建模网络，得到新闻标题向量矩阵将经过注意力机制后得到新闻标题的表示向量矩阵X
t
；将X
t
与E
vert
和E
vert
拼接后得到新闻向量矩阵E
n
；步骤S4：将E
n
输入新闻级别神经网络，经过新闻级别注意力机制层和新闻级别特征融合层后，输出新闻特征向量o
n
；步骤S5：选择用户最经常浏览的C个新闻类别及其对应的新闻向量矩阵E
v
输入类别级别神经网络，得到用户在每个经常浏览的新闻类别上的最终表示E
o
；将E
o
输入类别级别特征融合层后，输出新闻类别特征向量o
v
；步骤S6：将o
w
、o
n
和o
v
进行连接得到向量o，并将o经过激活函数之后，得到最终的预测结果同时，构建损失函数用于所述基于注意力机制的新闻推荐网络的训练。2.根据权利要求1所述的基于注意力机制与用户多兴趣建模的新闻推荐方法，其特征在于，所述步骤S2：构建基于注意力机制的新闻推荐网络，包括：词汇级别神经网络、新闻建模网络、新闻级别神经网络和类别级别神经网络；首先利用候选新闻标题和历史新闻标题构建用户词汇序列w，将所述用户词汇序列输入所述词汇级别神经网络进行特征提取，得到w组成的矩阵以及最终的词汇特征向量o
w
，具体包括：步骤S21：所述词序列连接层根据输入的候选新闻标题和用户曾经浏览的历史新闻标题构建用户词汇序列w，如公式(1)所示：其中，w为用户词汇序列，w
can
和分别代表候选新闻与用户曾经浏览的历史新闻的标题词汇序列，[CLS]代表整个输入词序列的语义表示，[SEP],[NEWS_SEP]为候选新闻与历史新闻序列之间的分割；步骤S22：所述词汇级别注意力机制层和所述特征提取层如公式(2)～(5)所示：步骤S22：所述词汇级别注意力机制层和所述特征提取层如公式(2)～(5)所示：步骤S22：所述词汇级别注意力机制层和所述特征提取层如公式(2)～(5)所示：步骤S22：所述词汇级别注意力机制层和所述特征提取层如公式(2)～(5)所示：
其中，为输入注意力机制层的所述用户词汇序列w所组成的词向量矩阵，为输入注意力机制层的所述用户词汇序列w所组成的词向量矩阵，为所述词汇级别神经网络中待训练的权重矩阵；Q
w
,K
w
,V
w
分别表示与与相乘所产生的查询向量矩阵、键向量矩阵与值向量矩阵；表示Q
w
的维度，为多头自注意力机制中第i个头所产生的输出向量，Z
w
表示将多头自注意力机制中所有头的输出向量拼接后得到的输出向量矩阵；公式(3)中softmax函数的具体计算方式如公式(4)所示；o
w
表示所述词汇级别神经网络输出的词汇特征向量矩阵。3.根据权利要求2所述的基于注意力机制与用户多兴趣建模的新闻推荐方法，其特征在于，所述步骤S3：将输入所述新闻建模网络，得到新闻标题向量矩阵将经过注意力机制后得到新闻标题的表示向量矩阵X
t
；将X
t
与E
vert
和E
vert
拼接后得到新闻向量矩阵E
n
，具体包括：将所述词向量矩阵输入新闻建模网络，提取新闻标题文本特征，并与所述新闻类别向量矩阵E
vert
及其子类别向量矩阵连接E
vert
，得到新闻的向量矩阵E
n
：：：：：其中，为所述词向量矩阵，E
pos
为单词在新闻标题中的位置编码，为输入注意力机制层的新闻标题向量矩阵，为新闻建模网络中待训练的权重矩阵，Q
t
,K
t
,V
t
分别表示与相乘所产生的查询向量矩阵、键向量矩阵与值向量矩阵；表示Q
t
的维度，为多头自注意力机制中第i个头所产生的输出向量，Z
t
表示将多头自注意力机制中所有头的输出向量拼接后得到的输出向量矩阵；X
t
表示新闻标题的表示向量矩阵；E
vert
和E
vert
分别表示新闻类别与子类别的向量构成的新闻类别向量矩阵和新闻子类别向量矩阵，与X
t
拼接后得到新闻向量矩阵E
n
。4.根据权利要求1所述的基于注意力机制与用户多兴趣建模的新闻推荐方法，其特征在于，所述步骤S4：将E
n
输入新闻级别神经网络，经过新闻级别注意力机制层和新闻级别特征融合层后，输出新闻特征向量o
n
，具体包括：将所述新闻向量矩阵E
n
输入所述新闻级别神经网络，所述新闻级别神经网络包括：新闻级别注意力机制层、新闻级别特征融合层，最后输出新闻特征向量o
n
：
F
n
＝X
nT
Z
n
ꢀꢀꢀꢀ
(14)其中，为所述新闻级别神经网络中待训练的权重矩阵，Q
n
,K...

【专利技术属性】
技术研发人员：欧阳元新，侯云，刘壮，荣文戈，熊璋，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：