基于新闻事件和新闻风格联合建模的新闻推荐方法和系统技术方案

本发明专利技术公开了基于新闻事件和新闻风格联合建模的新闻推荐方法和系统

【技术实现步骤摘要】
基于新闻事件和新闻风格联合建模的新闻推荐方法和系统
[0001]技术问题
[0002]本专利技术涉及自然语言处理
及推荐系统领域，具体涉及一种基于新闻事件和新闻风格联合建模的新闻推荐方法和系统
。
[0003]随着当前互联网技术的迅速发展，像今日头条
、
搜狐
、
新浪等新闻网站已经成为大多数人获取新闻信息的主要渠道
。
这些网站每天向全球数百万用户提供大量的新闻报道，涵盖政治
、
娱乐
、
体育等各个主题
。
尽管这些新闻网站给人们带来了便利，但它们也面临着一个巨大的挑战，即如何在海量的新闻报道中帮助用户找到符合他们偏好的文章
。
在这种情况下，新闻推荐作为主要解决方案发挥着越来越重要的作用
。
通过分析用户的阅读历史，新闻推荐系统使用户能够更快速
、
便捷地获取他们感兴趣的新闻内容
。
这种推荐系统不仅能够提高用户体验，还有助于增加新闻网站的用户黏性和阅读量，实现双赢的局面
。
因此，新闻推荐系统在互联网时代的新闻传播中具有广阔的应用前景和重要的意义
。
[0004]用户的阅读偏好由两个基本驱动因素构成：新闻事件和新闻风格
。
一方面，用户阅读新闻的目的通常是为了获取与他们感兴趣的相关事件
。
例如，如果用户对美国选举感兴趣，他们可能会阅读与该事件相关的新闻，以了解最新的发展
、
候选人的观点和选民反应等
。
新闻事件可以触发用户的兴趣和好奇心，因此对事件相关的新闻有较高的阅读倾向
。
另一方面，即使是报道同一事件，不同的新闻来源可能会以不同的风格进行撰写和呈现
。
每个新闻机构都有其独特的写作风格
、
语言风格和报道方式
。
例如，一家新闻机构可能更注重客观中立的报道，而另一家可能更加强调个人评论和观点
。
在这种情况下，用户通常会根据自己的偏好选择阅读符合其风格偏好的新闻
。
[0005]近年来，许多神经网络模型被应用于新闻推荐系统，其中基于循环神经网络和注意力网络等方法表现出良好的性能
。
基于循环神经网络的新闻推荐方法将新闻内容数据视为时间维度上的单向序列，然后将这些新闻序列编码为单一的用户表示
。
然而，由于用户的阅读偏好通常是多样化的，这种单一的用户表示无法准确地建模用户复杂的偏好
。
而基于注意力网络的新闻推荐方法将新闻序列建模为不同的用户表示，从而建模用户的多种阅读偏好
。
但是，其在编码新闻时仅关注新闻的标题
、
摘要
、
类别特征，而忽略了新闻的事件特征和风格特征
。
这使得现有的方法无法准确地建模用户的个性化阅读偏好
。
综上所述，现有的新闻推荐方法无法对用户的个性化偏好准确建模，难以取得令人满意的推荐效果
。

技术实现思路

[0006]本专利技术的技术任务是提供一种基于新闻事件和新闻风格联合建模的新闻推荐方法和系统，来解决新闻推荐系统中的用户个性化推荐以及推荐结果不准确的问题
。
该方法和系统实现了一种新闻事件和新闻风格联合建模的神经网络结构，新闻事件可以帮助用户更容易地了解新闻的主要内容；新闻风格可以帮助用户更好地选择不同风格的新闻
。
本专利技术提出了新闻事件和新闻风格联合建模的神经网络结构：该结构通过用户阅读的新闻内容捕捉新闻的事件特征和风格特征，然后从事件和风格两个不同的角度将候选新闻与用户偏好进行匹配；其核心思想是通过事件
‑
风格解耦器对将每个新闻表示解耦为事件特征和风
格特征，然后通过事件匹配模块建模事件特征，生成基于事件的用户特征，并将其与候选新闻的事件特征进行匹配，得到事件匹配得分；同时，通过风格匹配模块将风格特征建模为基于风格的用户特征，并将其与候选新闻的风格特征进行匹配，得到风格匹配得分
。
本专利技术对新闻事件和新闻风格联合建模，能够更加精准地为用户推荐符合其偏好的新闻
。
[0007]本专利技术的技术任务是按以下方式实现的，一种基于新闻事件和新闻风格联合建模的新闻推荐方法，该方法包括如下步骤：
[0008]S1、
构建新闻推荐模型的训练数据集：首先下载网络上公开的新闻数据集，然后预处理数据集，最后构建正例数据和负例数据，组合生成最终的训练数据集；
[0009]S2、
构建基于新闻事件和新闻风格联合建模的新闻推荐模型：利用神经网络和深度学习方法构建新闻推荐模型，该模型架构如下：新闻编码器
、
事件
‑
风格解耦器
、
事件匹配模块
、
风格匹配模块
、
候选新闻预测模块；
[0010]S3、
训练模型：在步骤
S1
所得到训练数据集中对步骤
S2
构建的新闻推荐模型进行训练
。
[0011]一种基于新闻事件和新闻风格联合建模的新闻推荐系统，该系统包括：
[0012]训练数据集生成单元，用于在线上新闻网站获得用户的浏览记录信息，随后对其进行预处理操作，从而得到符合训练要求的用户浏览记录及其新闻文本内容；
[0013]基于新闻事件和新闻风格联合建模的新闻推荐模型构建单元，用于构建新闻编码器
、
构建事件
‑
风格解耦器
、
构建事件匹配模块
、
构建风格匹配模块
、
构建候选新闻预测模块；
[0014]模型训练单元，用于构建模型训练过程中所需要的损失函数，并完成模型的优化训练
。
[0015]一种存储介质，其中存储有多条指令，所述指令由处理器加载，执行上述的基于新闻事件和新闻风格联合建模的新闻推荐方法的步骤
。
[0016]一种电子设备，所述电子设备包括：上述的存储介质；以及处理器，用于执行所述存储介质中的指令
。
[0017]技术效果
[0018]本专利技术的基于新闻事件和新闻风格联合建模的新闻推荐方法和系统具有以下优点：
[0019](1)、
本专利技术提出的基于新闻事件和新闻风格联合建模的新闻推荐方法，挖掘了新闻中的事件特征和风格特征，能够较全面的建模用户表示，从而提升新闻推荐的准确性；
[0020](2)、
本专利技术通过事件
‑
风格解耦器对新闻表示进行解耦，能够有效地生成新闻事件表示和新闻风格表示，并保证它们之间的独立性和准确性；
[0021](3)、
本专利技术通过事件匹配模块将基于事件的用户表示与候选新闻的新闻事件表示进行匹配，以生成事件匹配得分，从而本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于新闻事件和新闻风格联合建模的新闻推荐方法，其特征在于，该方法包括如下步骤：
S1、
构建新闻推荐模型的训练数据集：首先下载网络上公开的新闻数据集，然后预处理数据集，最后构建正例数据和负例数据，组合生成最终的训练数据集；
S2、
构建基于新闻事件和新闻风格联合建模的新闻推荐模型：利用神经网络和深度学习方法构建新闻推荐模型，该模型架构如下：新闻编码器
、
事件
‑
风格解耦器
、
事件匹配模块
、
风格匹配模块
、
候选新闻预测模块；
S3、
训练模型：在步骤
S1
所得到训练数据集中对步骤
S2
构建的新闻推荐模型进行训练
。2.
根据权利要求1所述的基于新闻事件和新闻风格联合建模的新闻推荐方法，其特征在于，所述步骤
S2
中构建基于新闻事件和新闻风格联合建模的新闻推荐模型新闻编码器的具体步骤如下：以新闻的标题
、
摘要
、
类别和子类别作为输入，新闻编码模器用于构建映射表
、
生成标题表示
、
生成摘要表示
、
生成类别特征表示和子类别特征表示，并根据这些信息得到新闻表示；具体如下：构建映射表：基于数据集中每一个单词构建单词映射表，并将表中每一个单词映射成唯一的数字标识；映射规则为：以数字1为起始，随后按照每个单词被录入单词映射表的顺序依次递增排序，从而形成单词映射转换表；类似地，构建新闻类别映射表和新闻子类别映射表，并分别将类别和子类别转换为对应的数字标识，映射规则与单词映射转换表类似，在此不再赘述；生成标题表示：使用单词嵌入层将新闻的标题编码为标题嵌入表示其中下标
N
代表标题的长度；对于标题嵌入表示，使用卷积神经网络进行编码，生成卷积后的标题表示；卷积神经网络的具体实施见下述公式：其中，
iw
为标题中第
i
个单词；
w
为卷积神经网络滑动窗口的大小，设置为3；为标题嵌入表示中第
(iw
‑
w)
个单词到第
(iw+w)
个单词的嵌入表示；
F
t
和
b
t
是卷积神经网络的参数；
ReLU
为激活函数；为卷积后的标题表示；使用加性注意力网络进一步对卷积后的标题表示进行编码，生成标题表示；具体实施见下述公式：其中，
V
at
、v
at
为可训练的参数；为卷积后的标题表示，来自公式
(1)
；为新闻标题中单词间的相似度；
tanh
为激活函数；为新闻标题中单词间的注意力权重；
r
t
为标题表示；
N
为标题的长度；生成摘要表示：使用单词嵌入层将新闻的摘要转换为摘要嵌入表示其中下标
M
代表摘要的长度；对于摘要嵌入表示，使用与标题嵌入表示类似的操作进行处理，生成摘要表示
r
b
，在此不再赘述；生成类别特征表示和子类别特征表示：使用类别嵌入层和子类别嵌入层将新闻的类别和子类别转换为类别嵌入表示
e
c
和子类别嵌入表示
e
sc
；对于类别嵌入表示和子类别嵌入表示，分别使用全连接神经网络对其进行编码，生成类别特征表示
r
c
和子类别特征表示
r
sc
；具体实施见下述公式：
r
c
＝
ReLU(V
c
×
e
c
+v
c
),r
sc
＝
ReLU(V
sc
×
e
sc
+v
sc
),
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
其中，
V
c
、V
sc
、v
c
和
v
sc
为全连接神经网络的参数；
e
c
、e
sc
分别为类别嵌入表示和子类别嵌入表示；
r
c
、r
sc
分别为类别特征表示和子类别特征表示；生成新闻表示：使用多视角注意力网络融合标题表示
、
摘要表示
、
类别特征表示和子类别特征表示；具体来说，设置上述信息对应的注意力权重分别为
α
t
、
α
b
、
α
c
和
α
sc
，这四个注意力权重计算方法类似；为了方便阐述，在此仅介绍
α
t
的计算方法，其他三项注意力权重的计算与此类似，具体实施方法如下公式所示：其中，
U
v
、u
v
和
q
v
为可训练的参数；
a
t
为标题中单词间的相似度，类似的操作得到摘要
、
类别
、
子类别中单词间的相似度
a
b
、a
c
和
a
sc
；
α
t
为标题的注意力权重，类似的操作得到摘要
、
类别
、
子类别的注意力权重
α
b
、
α
c
和
α
sc
；最后，根据注意力权重加权求和得到新闻表示
n
，具体实施方法如下公式所示：
n
＝
α
c
r
c
+
α
sc
r
sc
+
α
t
r
t
+
α
b
r
b
.
ꢀꢀꢀꢀꢀꢀ
(5)
其中，
α
t
、
α
b
、
α
c
和
α
sc
分别为标题
、
摘要
、
类别
、
子类别的注意力权重，来自公式
(4)
；
n
为新闻表示；此外，由于新闻编码器的输入有两部分：历史新闻序列和候选新闻，因此新闻表示包含历史新闻序列的新闻表示和候选新闻的新闻表示；根据公式
(5)
，可以将其表示为：
[n1,...,n
i
,...,n
N
；
n
C
]
；其中，
n1,...,n
i
,...,n
N
为历史新闻序列的新闻表示；
n
C
为候选新闻的新闻表示
。3.
根据权利要求1所述的基于新闻事件和新闻风格联合建模的新闻推荐方法，其特征在于，所述步骤
S2
中构建基于新闻事件和新闻风格联合建模的新闻推荐模型事件
‑
风格解耦器的具体步骤如下：以新闻表示作为输入，首先通过事件
‑
风格编码器对新闻表示进行编码，得到高阶新闻表示；然后分别使用事件解码器和风格解码器从高阶新闻表示中抽取出新闻事件表示和新闻风格表示；然后使用事件分类器对这两种表示进一步编码，得到基于事件的新闻事件分布和基于风格的新闻事件分布；同时为了优化事件
‑
风格解耦器，设计事件预测损失
、
重构损失和对抗损失以构造最终的辅助损失，以辅助模型训练；
事件
‑
风格编码器：以新闻表示作为输入，历史新闻序列的新闻表示
n1,...,n
i
,...,n
N
传递到事件
‑
风格编码器中进行编码，得到高阶新闻表示；事件
‑
风格编码器由三层全连接神经网络构成，该编码器选用
ReLU
函数作为激活函数；此外，残差网络也加入到事件
‑
风格编码器中，以缓解信息丢失的问题；对于历史新闻序列中浏览新闻的新闻事件表示，新闻编码器的具体实施方法如下述公式所示：码器的具体实施方法如下述公式所示：码器的具体实施方法如下述公式所示：其中，
n
i
为历史新闻序列中第
i
个浏览新闻的新闻表示；
ReLU
为激活函数；
Dense
为全连接神经网络；
[
；
]
为联接操作；为全连接神经网络编码后的新闻表示；
h
i
为历史新闻序列中第
i
个浏览新闻的高阶新闻表示；事件解码器和风格解码器：以高阶新闻表示作为输入，将高阶新闻表示传递到事件解码器和风格解码器中进行解码，得到新闻事件表示和新闻风格表示；事件解码器和风格解码器的构造相似，都是由配备有残差网络的三层全连接神经网络构成；事件解码器的具体实施方法如下述公式所示：实施方法如下述公式所示：实施方法如下述公式所示：其中，
h
i
为历史新闻序列中第
i
个浏览新闻的高阶新闻表示，来自公式
(6)
；均为全连接神经网络编码后的高阶新闻表示；
e
i
为历史新闻序列中第
i
个浏览新闻的新闻事件表示；风格解码器以类似的操作得到新闻风格表示
t
i
，该解码器的代码实施与公式
(7)
的代码实施类似，在此不再赘述；事件分类器：以新闻事件表示和新闻风格表示作为输入，事件分类器对新闻事件表示和新闻风格表示进一步编码，得到基于事件的新闻事件分布和基于风格的新闻事件分布；事件分类器由一层使用
softmax
激活函数的全连接神经网络构成，具体实施方法如下述公式所示：其中，
e
i
为历史新闻序列中第
i
个浏览新闻的新闻事件表示，来自公式
(7)
；
softmax
为激活函数；为历史新闻序列中第
i
个浏览新闻的基于事件的新闻事件分布；类似的操作得到基于风格的新闻事件分布此外，为了更好地辅助模型训练，需要构建基于真实的新闻事件分布，然而数据集中未提供该标签，因此设计一种算法构建真实的新闻事件分布；具体来说，首先使用
TF
‑
IDF
提取每个新闻的关键词，然后使用
BERT
将关键词编码为关键词词向量表示，进一步使用
K
‑
means
将关键词聚类为
K
类，即
K
个事件通道；对于历史新闻序列中第
i
个浏览新闻，它在第
j
个事件通道上的新闻事件分布的计算方法如下述公式所示：其中，
|NK
ij
|
代表历史新闻序列中第
i
个浏览新闻中属于第
j
个事件通道的关键词个数；
|NK|
代表该新闻中所有关键词个数；
p
e,ij
为历史新闻序列中第
i
个浏览新闻在第
j
个事件通道上的真实的新闻事件分布；
p
e,i
＝
[p
e,i1
,p
e,i2
,...,p
e,iK
]
为历史新闻序列中第
i
个浏览新闻的基于事件的真实的新闻事件分布；
K
为事件通道个数，设置为
17
；构造辅助损失：为了优化事件
‑
风格解耦模块，设计三种损失函数：重构损失
、
事件预测损失以及对抗损失；其中，重构损失用于缓解解耦过程中产生的信息丢失问题，具体来说，将新闻事件表示和新闻风格表示进行联接，然后使用一个全连接神经网络对其进行编码，得到重构的新闻表示，最后使用
MSE
函数约束新闻表示和重构的新闻表示；具体实施方法如下述公式所示：其中，
e
i
、t
i
分别为历史新闻序列中第
...

【专利技术属性】
技术研发人员：鹿文鹏，邵珠峰，管红娇，郑超群，赵鹏宇，董祥军，任晓强，乔新晓，张维玉，赵龙，赵忠龙，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：