一种融合域特征交互的基于注意力网络学习的点击率预测方法技术

一种融合域特征交互的基于注意力网络学习的点击率预测方法，属于互联网广告点击率预测领域。本发明专利技术首先利用特征与标记之间的相关性大小，将特征进行重排序并划分在不同的域中。然后在特征二阶交互过程中，提出域内和域间的独立交互，降低模型时间复杂度。在域内特征交互过程中，提出新的交互方法并且使用注意力网络自动学习域内特征交互的重要性，提高特征交互深度。在特征高阶交互过程中，使用多层感知机网络结构学习特征高阶交互。最后结合特征二阶交互和高阶交互结果，预测用户点击目标物品的概率。本发明专利技术适用于广告点击通过率预测、用户行为预测、用户兴趣预测等二分类预测问题领域。问题领域。问题领域。

【技术实现步骤摘要】
一种融合域特征交互的基于注意力网络学习的点击率预测方法


[0001]本专利技术属于互联网广告点击率预测领域。提出一种融合域特征交互的基于注意力网络学习的点击率预测方法。

技术介绍

[0002]在线广告是随着互联网的诞生与发展而衍生出的一种广告形式，即有广告发布需求的广告主通过具备广告发布能力的在线广告发布商，将具有宣传其产品或服务的广告向互联网用户发布。点击率(Click
‑
Through
‑
Rate,CTR)预测是根据给定的用户点击广告的历史数据以及其它辅助信息，预测出用户点击广告的概率。但是互联网中积累的大多数广告日志具有数据稀疏、特征维度大等特征，这给如何使用模型高效地从数据中提取出有效信息以提高点击率预测地准确度带来巨大的挑战。
[0003]随着数据挖掘、自然语言处理等技术的发展,在广告点击率预测方面已经有了不少成熟的研究。因子分解机(FM)模型为每个特征学习隐向量，然后在用户特征、广告特征和辅助信息特征之间进行交互，不但实现效率高，而且模型对数据中的噪声具有很好的鲁棒性,是工业界最常使用的在线广告点击率预测模型。但是FM方法仅对输入的特征之间的线性相互作用进行建模，不足以捕获现实世间数据复杂的非线性关系。深度学习能够自动探索数据间的局部依赖关系并且可建立特征之间的密集表示,使得神经网络能够在原始数据中提取出高阶特征,这种有效学习高阶隐含信息的能力也被应用到了CTR预测中。基于FM的CTR预测神经网络(DeepFM)模型由集成在并行结构中的FM部分和神经网络部分组成。FM部分用于对特征的一阶信息和特征之间的二阶交互信息进行建模，神经网络部分用于捕获非线性的高阶特征交互信息。这两部分共享相同的嵌入空间，并且将它们的输出汇总为最终预测。DeepFM模型可以有效的提高CTR预测的准确率，并且不会产生巨大的模型参数，具有很好的扩展性，被广泛应用于工业界中。
[0004]但是DeepFM忽略了特征交互的深度，在FM部分，使用简单的内积操作作为特征交互规则，不能很好的挖掘出特征之间的深层联系，同时随着用户历史数据量的急剧增加，DeepFM在特征交互部分所花费的时间也在急剧加大，导致模型整体的时间复杂度越来越大。因此建立更加有效的交互规则，捕获特征之间的深层联系是至关重要性。同时，在建立预测模型的过程中，考虑模型的时间复杂度，保证在低时间复杂度的情况下，还能够得到更好的预测结果，对工业上的实际应用是十分重要的。

技术实现思路

[0005]本专利技术的目的是在降低模型复杂度的情况下还可以得到更好的CTR预测结果，提出一种融合域特征交互的基于注意力网络学习的点击率预测方法。
[0006]本专利技术提供的融合域特征交互的基于注意力网络学习的点击率预测方法，方法包括：
[0007]1)利用特征与标记之间的相关性，将特征划分在不同的域中。在点击率预测领域，输入空间中的特征多数是非数值型的离散数据，本专利技术使用信息增益率探索用户特征、物品特征和其它辅助信息特征与标记之间的相关性。根据相关性将输入空间中的特征进行分组化，把特征平均划分在若干个不同的域中，每个特征都有唯一的所属域。本专利技术随机初始化域的个数，通过模型的学习能力，不断优化域的大小和个数。
[0008]2)特征嵌入向量表达。独热编码(one
‑
hot)可以提高模型的运算效率，并且更加适用于非数值型的离散数据。模型输入过程中，每个输入样本的特征经过one
‑
hot编码后，得到对应的输入向量。但是因为巨大的数据量，导致特征输入向量会变得高维且高稀疏，不利于实际应用。本专利技术采用嵌入技术，将高维且高稀疏的特征输入向量转变为低维且稠密的特征嵌入向量。
[0009]3)特征二阶交互。在得到域的划分结果和每个特征的嵌入向量表达之后，本专利技术提出特征域内和域间的独立交互过程。对于域间交互，某个域包含若干个特征，每个特征有唯一的所属域，将属于该域的特征嵌入向量进行加和，作为该域的嵌入向量表达，然后使用哈达玛积(Hadamard)作为域间交互的方法。对于域内交互，本专利技术提出一个新的交互方法，从特征嵌入向量维度的层次进行内积操作，增加域内特征交互深度，并且使用注意力网络自动学习域内特征交互的重要性，提高域内特征交互效果。通过实验对比，本专利技术提出的新的交互方法优于目前常用的Hadamard积交互。
[0010]4)特征高阶交互。本专利技术利用多层感知机(MLP)网络结构捕获所有特征嵌入向量之间的高阶交互信息。
[0011]5)预测层。本专利技术结合特征二阶交互和高阶交互，作为输入特征的交互结果，同时保留输入特征的线性关系，增加特征交互的宽度，最后利用Sigmoid函数，得到预测结果。
[0012]本专利技术的优点和积极效果：本专利技术提出一种融合域特征交互的基于注意力网络学习的点击率预测方法，在传统深度学习模型的框架上引入域的划分。在此基础上，本专利技术提出特征域内和域间的独立交互，并且设计新的交互方法来探究域内特征交互的深层联系，同时利用注意力网络自动学习域内特征交互的重要性，提高域内特征交互效果。本专利技术与现有技术相比，具有以下优点：
[0013](1)引入域的划分，特征域内和域间的独立交互，可以有效降低特征在二阶交互过程中的时间消耗，从而降低模型整体的时间复杂度。
[0014](2)提出新的交互方法，从特征嵌入向量维度的层次进行交互，增加特征交互的深度，交互过程更加细微，对比常用的Hadamard积交互方法，本专利技术提出的新方法可以得到更好的交互结果。
[0015](3)使用注意力网络自动学习特征交互的重要性。通过注意力网络自动学习出特征交互的重要性，从而得到不同特征交互结果对模型预测的影响程度，提高特征交互的效果。
附图说明
[0016]图1是本专利技术的整体框架图。
具体实施方式
[0017]实施例1
[0018]本专利技术提供的融合域特征交互的基于注意力网络学习的点击率预测方法，在传统的基于深度学习的点击率预测基础上，提出域的划分，进行特征域间和域内的独立交互，同时提出新的交互方法，并利用注意力网络自动学习域内特征交互的重要性。参见附图1，本专利技术具体的构建过程如下。
[0019]用DFILAN表示本专利技术提出的融合域特征交互的基于注意力网络学习的点击率预测方法。DFILAN模型中使用到的数学符号定义如下表所示。
[0020]表1.本专利技术所使用到的数学符号定义
[0021][0022][0023]步骤一：
[0024]域的划分。首先计算出数据集中每个特征与标记之间的相关性。以电影数据集(MovieLens)为例，本专利技术选择其中7个特征，将数据集中的评分特征定义为样本的标记，并且将评分是1
‑
2的定为0，3
‑
5的定位1。通过信息增益率计算每个特征与标记之间的相关性。信息增益率的公式定义为：
[0025][0026]Gain
‑
rate(标记,特征)代表特征与标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合域特征交互的基于注意力网络学习的点击率预测方法，其特征是该方法包括：1)利用特征与标记之间的相关性，将特征划分在不同的域中；2)使用嵌入技术，将高维且稀疏的特征输入向量转变为低维且稠密的特征嵌入向量；3)在特征二阶交互过程中，提出特征域内和域间独立交互，并且使用注意力网络自动学习域内特征交互的重要性；4)在特征高阶交互过程中，使用多层感知机(MLP)网络结构学习所有特征之间的高阶交互结果；5)结合特征二阶交互和特征高阶交互结果，预测用户对广告的点击概率。2.根据权利要求1所述的融合域特征交互的基于注意力网络学习的点击率预测方法，其特征是：步骤1)中的域的划分方法如下：(1)在广告点击通过率(Click
‑
Through
‑
Rate,CTR)领域，输入空间中的特征多数是非数值型的离散数据，针对非数值型的离散数据，使用信息增益率衡量数据集中每个特征与标记之间的相关性；(2)在得到输入空间中每个特征与标记之间的相关性后，将特征按照相关性大小进行降序排列，然后随机初始化域的个数，将特征划分在不同的域中，每个特征有唯一的所属域，通过模型的学习能力，不断优化域的大小和个数。3.根据权利要求1所述的融合域特征交互的基于注意力网络学习的点击率预测方法，其特征是：步骤2)中的特征表达方法如下：(1)独热编码(one
‑
hot)输入特征：为了能够更好的使用神经网络结构，本发明使用one<...

【专利技术属性】
技术研发人员：肖迎元，韩永亮，
申请(专利权)人：天津理工大学，
类型：发明
国别省市：