基于卷积注意力网络深度会话序列的点击率预测方法及系统技术方案

本申请涉及一种基于卷积注意力网络深度会话序列的点击率预测方法及系统。所述方法包括：获取用户历史行为产生的点击数据，将点击数据输入预先训练的卷积神经网络，提取用户的长期交互特征，根据点击数据的时间信息，将点击数据转化为会话序列，将会话序列输入预先训练的双向长短时记忆网络，提取用户的短期交互特征，将长期交互特征和短期交互特征进行融合，得到融合特征，将融合特征输入预先训练的全连接神经网络模型，得到用户当前的兴趣类型，根据所述兴趣类型进行点击率预测。采用本方法能够提高点击预测的准确率。

【技术实现步骤摘要】
基于卷积注意力网络深度会话序列的点击率预测方法及系统
本申请涉及计算机
，特别是涉及一种基于卷积注意力网络深度会话序列的点击率预测方法及系统。
技术介绍
推荐系统(RS)在协助用户在Web规模的应用程序(例如Amazon和Taobao)中找到他们喜欢的物品时变得越来越不可缺少。推荐系统就是系统根据用户的属性(如性别、年龄、学历、地域、职业)，用户在系统里过去的行为(例如浏览、点击、搜索、购买、收藏等)，以及当前上下文环境(如网络、手机设备、时间等)，从而给用户推荐用户可能感兴趣的物品(如电商的商品、feeds推荐的新闻、应用商店推荐的app等)，从这个过程来看，推荐系统就是一个给用户匹配(match)感兴趣的项目的过程。通常，推荐系统包括两个阶段：候选者生成和候选者排名。候选生成阶段采用一些幼稚但高效的推荐算法(例如，基于项目的协作过滤。从庞大的整个项目集中提供相对较小的一组项目进行排名。在候选排名阶段，复杂但功能强大的模型对候选者进行排名，以选择推荐的前k个项目。我们主要关注候选者的排名阶段和点击率(CTR)预测任务，这意味着假设一个相对较小的项目集已提供排名，将根据其CTR得分预测对项目进行排名。虽然有了比较成熟的框架，但是推荐系统还是面临着比较繁多的问题，比如新用户的冷启动问题，用户的数据的噪声问题，许多用户的历史行为数据大量稀疏缺小问题和用户个人兴趣不同的问题都会导致对用户推荐的效率下降。基于目前对用户推荐的准确度不高的问题。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够解决目前用户推荐的准确率不高问题的基于卷积注意力网络深度会话序列的点击率预测方法及系统。一种基于卷积注意力网络深度会话序列的点击率预测方法，所述方法包括：获取用户历史行为产生的点击数据；将所述点击数据输入预先训练的卷积神经网络，提取用户的长期交互特征；根据所述点击数据的时间信息，将所述点击数据转化为会话序列，将所述会话序列输入预先训练的双向长短时记忆网络，提取用户的短期交互特征；将所述长期交互特征和所述短期交互特征进行融合，得到融合特征；将所述融合特征输入预先训练的全连接神经网络模型，得到用户当前的兴趣类型，根据所述兴趣类型进行点击率预测。在其中一个实施例中，还包括：获取用户会话产生的稀疏数据；对所述稀疏数据向量化，得到低维密度矢量的点击数据。在其中一个实施例中，还包括：通过自注意力池化层对所述点击数据进行处理如下：其中，αi表示自注意力系数，表示自注意力的得分向量，Wj和bj分别表示权重矩阵和偏置；对所述自注意力系数进行归一化为：其中，α′i表示归一化结果，x′i∈Xj表示所述点击数据中的会话子数据；根据所述归一化结果对所述点击数据进行池化，得到自注意力点击数据。在其中一个实施例中，还包括：根据自注意力点击数据之间的外积，构建二维交互特征；根据由所述点击数据中所有所述二维交互特征，构建三维张量；将所述三维张量输入预先训练的卷积神经网络，提取得到用户的长期交互特征。在其中一个实施例中，还包括：根据时间信息，将所述点击数据转化为会话序列；根据预先设置的时间间隔，将所述会话序列转化为短期点击数据。在其中一个实施例中，还包括：根据所述会话序列中点击数据的位置信息，设置偏编码；根据所述偏编码对所述短期点击数据进行更新，得到偏置短期点击数据；采用多头自注意力机制对所述偏置短期点击数据进行池化，并将池化后的结果输入预先训练的双向长短时记忆网络，提取用户的短期交互特征。在其中一个实施例中，还包括：采用串联和平滑方式，将所述长期交互特征和所述短期交互特征进行融合，得到融合特征。一种基于卷积注意力网络深度会话序列的点击率预测系统，所述系统包括：数据获取模块，用于获取用户历史行为产生的点击数据；长期特征提取模块，用于将所述点击数据输入预先训练的卷积神经网络，提取用户的长期交互特征；短期特征提取模块，用于根据所述点击数据的时间信息，将所述点击数据转化为会话序列，将所述会话序列输入预先训练的双向长短时记忆网络，提取用户的短期交互特征；特征融合模块，用于将所述长期交互特征和所述短期交互特征进行融合，得到融合特征；点击预测模块，用于将所述融合特征输入预先训练的全连接神经网络模型，得到用户当前的兴趣类型，根据所述兴趣类型进行点击率预测。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取用户历史行为产生的点击数据；将所述点击数据输入预先训练的卷积神经网络，提取用户的长期交互特征；根据所述点击数据的时间信息，将所述点击数据转化为会话序列，将所述会话序列输入预先训练的双向长短时记忆网络，提取用户的短期交互特征；将所述长期交互特征和所述短期交互特征进行融合，得到融合特征；将所述融合特征输入预先训练的全连接神经网络模型，得到用户当前的兴趣类型，根据所述兴趣类型进行点击率预测。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取用户历史行为产生的点击数据；将所述点击数据输入预先训练的卷积神经网络，提取用户的长期交互特征；根据所述点击数据的时间信息，将所述点击数据转化为会话序列，将所述会话序列输入预先训练的双向长短时记忆网络，提取用户的短期交互特征；将所述长期交互特征和所述短期交互特征进行融合，得到融合特征；将所述融合特征输入预先训练的全连接神经网络模型，得到用户当前的兴趣类型，根据所述兴趣类型进行点击率预测。上述基于卷积注意力网络深度会话序列的点击率预测方法、系统、计算机设备和存储介质，一方面通过卷积神经网络从点击数据中提取用户的长期交互特征，另一方面，构建了会话序列，通过双向长短时记忆网络从会话序列中提取用户的短期交互特征，从而更加有效的提取用户短期的动态兴趣和用户长期的隐藏兴趣，从而在进行预测时，可以显著的提高预测的准确率。附图说明图1为一个实施例中基于卷积注意力网络深度会话序列的点击率预测方法的流程示意图；图2为一个实施例中提取长期交互特征步骤的流程示意图；图3为一个实施例中卷积神经网络的示意性结构图；图4为一个实施例中卷积层处理步骤的流程示意图；图5为一个实施例中提取短期交互特征步骤的流程示意图；图6为一个实施例中基于卷积注意力网络深度会话序列的点击率预测系统的结构框图；图7为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。在一个实施例中，如图1所示，提供了一种基于卷积注意力网络深度会话序列的点击率预测方法，包本文档来自技高网...

【技术保护点】
1.一种基于卷积注意力网络深度会话序列的点击率预测方法，其特征在于，所述方法包括：/n获取用户历史行为产生的点击数据；/n将所述点击数据输入预先训练的卷积神经网络，提取用户的长期交互特征；/n根据所述点击数据的时间信息，将所述点击数据转化为会话序列，将所述会话序列输入预先训练的双向长短时记忆网络，提取用户的短期交互特征；/n将所述长期交互特征和所述短期交互特征进行融合，得到融合特征；/n将所述融合特征输入预先训练的全连接神经网络模型，得到用户当前的兴趣类型，根据所述兴趣类型进行点击率预测。/n

【技术特征摘要】
1.一种基于卷积注意力网络深度会话序列的点击率预测方法，其特征在于，所述方法包括：
获取用户历史行为产生的点击数据；
将所述点击数据输入预先训练的卷积神经网络，提取用户的长期交互特征；
根据所述点击数据的时间信息，将所述点击数据转化为会话序列，将所述会话序列输入预先训练的双向长短时记忆网络，提取用户的短期交互特征；
将所述长期交互特征和所述短期交互特征进行融合，得到融合特征；
将所述融合特征输入预先训练的全连接神经网络模型，得到用户当前的兴趣类型，根据所述兴趣类型进行点击率预测。


2.根据权利要求1所述的方法，其特征在于，所述获取用户历史行为产生的点击数据，包括：
获取用户会话产生的稀疏数据；
对所述稀疏数据向量化，得到低维密度矢量的点击数据。


3.根据权利要求2所述的方法，其特征在于，在将所述点击数据输入预先训练的卷积神经网络，提取用户的长期交互特征之前，所述方法还包括：
通过自注意力池化层对所述点击数据进行处理如下：



其中，αi表示自注意力系数，表示自注意力的得分向量，Wj和bj分别表示权重矩阵和偏置；
对所述自注意力系数进行归一化为：



其中，α′i表示归一化结果，x′i∈Xj表示所述点击数据中的会话子数据；
根据所述归一化结果对所述点击数据进行池化，得到自注意力点击数据。


4.根据权利要求3所述的方法，其特征在于，将所述点击数据输入预先训练的卷积神经网络，提取用户的长期交互特征，包括：
根据自注意力点击数据之间的外积，构建二维交互特征；
根据由所述点击数据中所有所述二维交互特征，构建三维张量；
将所述三维张量输入预先训练的卷积神经网络，提取得到用户的长期交互特征。


5.根据权利要求1所述的方法，其特征在于，根据所述点击数据的时间信息，将所述点击数据转化为会话序列，包括...

【专利技术属性】
技术研发人员：李平，雷晓华，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：湖南;43