【技术实现步骤摘要】
本公开属于新闻推荐，尤其涉及一种基于层次粒度语义嵌入和自注意力的新闻推荐方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。
2、个性化新闻推荐分析用户的历史新闻浏览记录和新闻热度，推断用户的偏好，并向用户推荐感兴趣的新闻。用户的兴趣是多样的，候选新闻只与用户一小部分历史点击新闻匹配。因此，现有的新闻方法往往将候选新闻融入用户的兴趣建模中，以实现候选新闻与特定用户兴趣准确匹配。例如wu等人提出了一种候选感知自关注网络，该网络以候选新闻为线索，分别对用户的短期和长期兴趣进行建模。wu等人利用扩张卷积为每个新闻分层构建多级表示，并在细粒度层次上获取每个历史点击新闻和候选新闻的匹配信息。qi等人提出了一种用于新闻推荐的关注多域匹配框架，该框架捕获每个浏览的新闻和候选新闻在标题、摘要、类别之间的匹配表示。然而，现有的方法将候选新闻与每个历史新闻进行交互，这样会使得与候选新闻无关的历史新闻和与候选新闻之间相互作用产生噪声信息被保留，从而对模型的性能产生负面影响。此外，先前基于神经网络学习表示对新闻特征提取，但是随着网络层数的加深、张量的映射次数变多，最后输出只保留了粗粒度信息，丢失了原始的细粒度信息。
3、专利技术人发现，要准确匹配用户的兴趣与候选新闻，通常只需要通常仅需要候选新闻与那些重要的历史点击新闻进行交互。通过图1，我们不难发现：每条候选新闻可能只与用户的部分兴趣相匹配。例如，第一条候选新闻仅与用户的体育兴趣相匹配，并且与用户的其他兴趣(例如，政治和旅游)的相
技术实现思路
1、本公开为了解决上述问题，提供了一种基于层次粒度语义嵌入和自注意力的新闻推荐方法及系统，所述方案基于提出的阈值注意力模块，在候选新闻与历史新闻进行交互之前，通过筛选掉与当前候选新闻不相关的历史新闻，以避免其与候选新闻的交互引入噪声，进而形成更为准确的用户表示；同时，为了更加有效的理解新闻的语义，提出一种新闻特征的编码模块，将新闻特征的粗粒度信息和细粒度信息进行结合，以避免随着神经网络加深丢失新闻细粒度信息，使模型既可以学习到新闻全局语义的粗粒度信息又可以关注到原始的细粒度信息，进而有效保证了新闻推荐的准确性。
2、根据本公开实施例的第一个方面，提供了一种基于层次粒度语义嵌入和自注意力的新闻推荐方法，包括：
3、获取待推荐用户的点击新闻历史数据以及候选新闻数据；
4、对点击新闻历史数据以及候选新闻数据分别进行编码处理，获得对应的新闻特征表示；其中，所述编码处理具体为：对于每条新闻数据，基于串联的双向长短时记忆网络模型获取新闻数据不同粒度下的语义张量并进行拼接；对于拼接的语义张量采用层次粒度注意力机制进行去噪，获得新闻数据的向量表示；
5、基于点击新闻历史数据的新闻特征表示，采用基于阈值的缩放点积注意力机制获取新的特征表示，并基于新的特征表示通过加权处理获得待推荐用户向量表示；
6、基于候选新闻数据的新闻特征表示以及待推荐用户向量表示的内积，获得候选新闻数据的预测点击概率，基于所述预测点击概率进行新闻推荐。
7、进一步的，所述对于每条新闻数据，基于串联的双向长短时记忆网络模型获取新闻数据不同粒度下的语义张量并进行拼接，具体为：所述基于串联的双向长短时记忆网络模型包括串联的第一双向长短时记忆网络和第二双向长短时记忆网络，以每条新闻数据作为第一双向长短时记忆网络的输入，第一双向长短时记忆网络的输出为细粒度的语义张量；以细粒度的语义张量作为第二双向长短时记忆网络的输入，第二双向长短时记忆网络的输出为粗粒度的语义张量，并将细粒度的语义张量和粗粒度的语义张量进行拼接。
8、进一步的，所述对于拼接的语义张量采用层次粒度注意力机制进行去噪，获得新闻数据的向量表示，具体为：基于拼接的语义张量，采用注意力机制计算新闻数据在每个时间步的向量表示对应的权重值；基于获得的权重值，对拼接的语义张量中各个时间步的向量表示进行加权求和，获得新闻数据的向量表示。
9、进一步的，每条新闻数据包括新闻标题、类别以及子类别，每条新闻数据的向量表示由新闻标题、类别和子类别的编码结果加权拼接得到。
10、进一步的，基于点击新闻历史数据的新闻特征表示，采用基于阈值的缩放点积注意力机制获取新的特征表示，具体为：基于点击新闻历史数据的新闻特征表示，计算其对应的初始注意力得分矩阵和初始注意力权重，当初始注意力权重小于预设阈值时，对初始注意力得分矩阵中的元素赋值为负无穷，得到新的注意力得分矩阵，并基于新的注意力得分矩阵获得新的注意力权重；基于新的注意力权重与注意力机制中内容向量的乘积，获得新的特征表示。
11、进一步的，所述基于阈值的缩放点积注意力机制，采用多头注意力机制，其中，通过，将每个注意力头的输出结果进行拼接，获得新的特征表示。
12、进一步的，所述基于新的特征表示通过加权处理获得待推荐用户向量表示，具体为：基于点击新闻历史数据以及候选新闻的新闻特征表示，采用基于候选新闻引导的阈值注意力机制，根据候选新闻计算点击新闻历史数据中每条新闻数据对应的权值，再与预设阈值对比获得新的注意力权重；并基于点击新闻历史数据的新闻特征表示及所述权值，加权计算得到待推荐用户的向量表示。
13、根据本公开实施例的第二个方面，提供了一种基于层次粒度语义嵌入和自注意力的新闻推荐系统，包括：
14、数据获取模块，其用于获取待推荐用户的点击新闻历史数据以及候选新闻数据；
15、新闻编码模块，其用于对点击新闻历史数据以及候选新闻数据分别进行编码处理，获得对应的新闻特征表示；其中，所述编码处理具体为：对于每条新闻数据，基于串联的双向长短时记忆网络模型获取新闻数据不同粒度下的语义张量并进行拼接；对于拼接的语义张量采用层次粒度注意力机制进行去噪，获得新闻数据的向量表示；
16、用户编码模块，其用于基于点击新闻历史数据的新闻特征表示，采用基于阈值的缩放点积注意力机制获取新的特征表示，并基于新的特征表示通过加权处理获得待推荐用户向量表示；
17、点击预测模块，其用于基于候选新闻数据的新闻特征表示以及待推荐用户向量表示的内积，获得候选新闻数据的预测点击概率，基于所述预测点击概率进行新闻推荐。
18、根据本公开实施例的第三个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种基于层次粒度语义嵌入和自注意力的新闻推荐方法。
19、根据本公开实施例的第四个方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的一种基于层次粒度语义嵌入本文档来自技高网...
【技术保护点】
1.一种基于层次粒度语义嵌入和自注意力的新闻推荐方法，其特征在于，包括：
2.如权利要求1所述的一种基于层次粒度语义嵌入和自注意力的新闻推荐方法，其特征在于，所述对于每条新闻数据，基于串联的双向长短时记忆网络模型获取新闻数据不同粒度下的语义张量并进行拼接，具体为：所述基于串联的双向长短时记忆网络模型包括串联的第一双向长短时记忆网络和第二双向长短时记忆网络，以每条新闻数据作为第一双向长短时记忆网络的输入，第一双向长短时记忆网络的输出为细粒度的语义张量；以细粒度的语义张量作为第二双向长短时记忆网络的输入，第二双向长短时记忆网络的输出为粗粒度的语义张量，并将细粒度的语义张量和粗粒度的语义张量进行拼接。
3.如权利要求1所述的一种基于层次粒度语义嵌入和自注意力的新闻推荐方法，其特征在于，所述对于拼接的语义张量采用层次粒度注意力机制进行去噪，获得新闻数据的向量表示，具体为：基于拼接的语义张量，采用注意力机制计算新闻数据在每个时间步的向量表示对应的权重值；基于获得的权重值，对拼接的语义张量中各个时间步的向量表示进行加权求和，获得新闻数据的向量表示。
4.如
5.如权利要求1所述的一种基于层次粒度语义嵌入和自注意力的新闻推荐方法，其特征在于，基于点击新闻历史数据的新闻特征表示，采用基于阈值的缩放点积注意力机制获取新的特征表示，具体为：基于点击新闻历史数据的新闻特征表示，计算其对应的初始注意力得分矩阵和初始注意力权重，当初始注意力权重小于预设阈值时，对初始注意力得分矩阵中的元素赋值为负无穷，得到新的注意力得分矩阵，并基于新的注意力得分矩阵获得新的注意力权重；基于新的注意力权重与注意力机制中内容向量的乘积，获得新的特征表示。
6.如权利要求5所述的一种基于层次粒度语义嵌入和自注意力的新闻推荐方法，其特征在于，所述基于阈值的缩放点积注意力机制，采用多头注意力机制，其中，通过，将每个注意力头的输出结果进行拼接，获得新的特征表示。
7.如权利要求1所述的一种基于层次粒度语义嵌入和自注意力的新闻推荐方法，其特征在于，所述基于新的特征表示通过加权处理获得待推荐用户向量表示，具体为：基于点击新闻历史数据以及候选新闻的新闻特征表示，采用基于候选新闻引导的阈值注意力机制，根据候选新闻计算点击新闻历史数据中每条新闻数据对应的权值，再与预设阈值对比获得新的注意力权重；并基于点击新闻历史数据的新闻特征表示及所述权值，加权计算得到待推荐用户的向量表示。
8.一种基于层次粒度语义嵌入和自注意力的新闻推荐系统，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的一种基于层次粒度语义嵌入和自注意力的新闻推荐方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的一种基于层次粒度语义嵌入和自注意力的新闻推荐方法。
...【技术特征摘要】
1.一种基于层次粒度语义嵌入和自注意力的新闻推荐方法，其特征在于，包括：
2.如权利要求1所述的一种基于层次粒度语义嵌入和自注意力的新闻推荐方法，其特征在于，所述对于每条新闻数据，基于串联的双向长短时记忆网络模型获取新闻数据不同粒度下的语义张量并进行拼接，具体为：所述基于串联的双向长短时记忆网络模型包括串联的第一双向长短时记忆网络和第二双向长短时记忆网络，以每条新闻数据作为第一双向长短时记忆网络的输入，第一双向长短时记忆网络的输出为细粒度的语义张量；以细粒度的语义张量作为第二双向长短时记忆网络的输入，第二双向长短时记忆网络的输出为粗粒度的语义张量，并将细粒度的语义张量和粗粒度的语义张量进行拼接。
3.如权利要求1所述的一种基于层次粒度语义嵌入和自注意力的新闻推荐方法，其特征在于，所述对于拼接的语义张量采用层次粒度注意力机制进行去噪，获得新闻数据的向量表示，具体为：基于拼接的语义张量，采用注意力机制计算新闻数据在每个时间步的向量表示对应的权重值；基于获得的权重值，对拼接的语义张量中各个时间步的向量表示进行加权求和，获得新闻数据的向量表示。
4.如权利要求1所述的一种基于层次粒度语义嵌入和自注意力的新闻推荐方法，其特征在于，每条新闻数据包括新闻标题、类别以及子类别，每条新闻数据的向量表示由新闻标题、类别和子类别的编码结果加权拼接得到。
5.如权利要求1所述的一种基于层次粒度语义嵌入和自注意力的新闻推荐方法，其特征在于，基于点击新闻历史数据的新闻特征表示，采用基于阈值的缩放点积注意力机制获取新的特征表示，具体为：基于点击新闻历史...
【专利技术属性】
技术研发人员：杨振宇，李怡雯，徐保杰，张志博，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。