【技术实现步骤摘要】
一种基于特征选择与交互模型的点击率预测方法
[0001]本专利技术涉及点击率预测的
，尤其是指一种基于特征选择与交互模型的点击率预测方法。
技术介绍
[0002]目前CTR领域提出了许多模型，如逻辑回归(LR)、多项式
‑
2(Poly2)、基于树的模型、基于张量的模型、贝叶斯模型和基于因子分解机的模型。随着深度学习在计算机视觉和自然语言处理等许多研究领域的巨大成功，近年来提出了许多基于深度学习的CTR模型。因此，对CTR预测的深度学习也成为该领域的研究趋势，一些基于神经网络的模型已经被提出并取得了成功，如因子分解机支持的神经网络(FNN)、注意力因子分解机(AFM)、deepFM、XDeepFM等。同时，不同的特征对目标任务具有不同的重要性，但许多相关工作以简单的方式计算特征交互，如哈达玛积和内积，该种方式并不能使特征进行充分的交互，因此特征交互是CTR预测领域的一个关键挑战。
技术实现思路
[0003]本专利技术的目的在于为解决现有技术中的不足，提供了一种基于特征选择与交互模型的点击...
【技术保护点】
【技术特征摘要】
1.一种基于特征选择与交互模型的点击率预测方法，其特征在于，包括以下步骤：1)构建特征选择与交互模型，所述特征选择与交互模型包括：稀疏输入层，用于对所输入的特征向量采用稀疏表示；嵌入层，用于将特征向量嵌入到稠密向量中，得到嵌入向量；SENET层，用于将嵌入向量转换为类SENET嵌入向量；双线性交互层，用于对嵌入向量和类SENET嵌入向量上的二阶特征交互进行建模；组合层，用于合并双线性交互层的输出，得到交叉特征；多隐藏层，用于将交叉特征输入到深度网络中，生成密集实值特征向量；输出层，用于将密集实值特征向量输入到点击率预测函数中，最终输出点击率预测得分；2)将特征向量输入到特征选择与交互模型中，特征选择与交互模型最终输出点击率预测得分。2.根据权利要求1所述的一种基于特征选择与交互模型的点击率预测方法，其特征在于：所述嵌入层输出的嵌入向量为E＝[e1，e2，
…
，e
i
，
··
e
f
]，其中f表示特征个数，e
i
表示第i个特征的嵌入，且e
i
∈R
k
，R
k
代表k维空间上所有的点，k表示嵌入层的维数。3.根据权利要求1所述的一种基于特征选择与交互模型的点击率预测方法，其特征在于，所述SENET层包括以下步骤：1.1)压缩将嵌入向量E＝[e1，
…
，e
f
]压缩为统计向量Z＝[z1，
…
，z
i
，
…
，z
f
]，其中i∈[1，
…
，f]，z
i
为标量值，表示关于第i个特征所表示的全局信息，z
i
的计算公式如公式(1)所示：其中，Fsq表示压缩函数，k表示嵌入层的维数，e
i(t)
表示第i个向量中的第t个值，t表示e
i
向量一列值的第t个值；1.2)激励用于基于统计向量Z学习每个特征嵌入的权重，使用两个完全连接层来学习权重，第一个连接层是具有参数W1的维度缩减层，参数W1具有缩减比r，第二个连接层通过参数W2增加维数，计算公式如公式(2)所示：A＝F
ex
(Z)＝σ2(W2σ1(W1Z))
ꢀꢀꢀ
(2)；其中，A为权重向量，且A∈R
f
，σ1和σ2均为激活函数，学习参数为r为还原比，f为特征个数；1.3)重新加权将嵌入向量E和权重向量A中对应的值相乘，输出类SENET嵌入向量V＝{v1，
…
，v
i
，
…
，v
f
}，类SENET嵌入向量V如公式(3)所示：V＝F
ReWeight
(A,E)＝[a1·
e1,...,a
f
·
e
f
]＝[v1,...,v
f
]
ꢀꢀꢀꢀ
(3)；其中a
i
∈R，e
i
∈R
k
，v
i
∈R
k
，k表示嵌入层的维数，SENET层使用了两个完全连接层动态学习特征的重要性。
4.根据权利要求1所述的一种基于特征选择与交互模型的点击率预测方法，其特征在于：所述双线性交互层包括共用域、独享域和交互域；所述共用域对特征交互p
ij
的结果计算如公式(4)：p
ij
＝v
i
·
W
·
v
j
ꢀꢀꢀ
(4)；其中，W∈R
k
×
k
，v
i
和v
j
为第i个和第j个类SENET嵌入向量，且v
i
∈R
k
，v
j
∈R
k
，1≤i≤f，i≤j≤f，参数矩阵W在所有(v
i
，v
j
)域相互作用对之间共享，并且在双线性交互层中有k
×
k个参数；所述独享域对特征交互p
ij
的结果计算如公式(5)：p
ij
＝v
i
·
W
i
·
v
j
ꢀꢀꢀꢀꢀ
(5)；其中Wi∈R
k
×
【专利技术属性】
技术研发人员：何浩明，古万荣，毛宜军，柯海萍，卢泽伦，陈梓明，何亦琛，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。