一种注意力机制下基于特征表征的点击率预估模型制造技术

为了根据待测对象的对象特征完成点击率预估，可作为数据精排环节应用于企业级推荐系统、搜索系统和在线广告系统等领域。本发明专利技术提供一种注意力机制下基于特征表征的点击率预估模型，该模型包括：特征嵌入层，用于将连续型特征和离散型特征进行矢量化处理进而形成堆叠特征、显式特征交叉网络，通过注意力交叉网络将堆叠特征进行显式特征组合、隐式特征交叉网络，通过多层感知机将堆叠特征进行隐式特征组合以及预估概率输出层，根据接收到的组合特征对点击率进行预估。其中，注意力交叉网络消除了预估模型对人工特征工程的依赖，同时注意力机制的引入，区分了各组合特征对模型预估的重要性，消除了无用、冗余特征对模型的影响。冗余特征对模型的影响。冗余特征对模型的影响。

【技术实现步骤摘要】
一种注意力机制下基于特征表征的点击率预估模型


[0001]本专利技术属于数据挖掘
，具体为一种端到端点击预测技术，利用深度学习模型自动完成特征表征进而预测点击率的模型。

技术介绍

[0002]点击率预估作为直接影响用户平台体验和广告营收的关键技术，一直是业界最核心的研究课题之一。目前国内外的研究工作主要在特征表征层面，现有方法主要分为机器学习点击率模型和深度学习点击率模型两类。
[0003]早期阶段，工业界受限于计算力、在线学习和模型部署，主要是通过搭建轻量级机器学习模型，最经典模型当属逻辑回归模型(Logistic Regression)。LR以其数学含义好、可解释性强和便于工程化部署等优点迅速成为业界CTR预估主流模型。2010年Brendan McMahan等提出针对LR的在线学习算法FTRL(Follow The Regularized Leader)，进一步促进了LR在工业界的应用，但LR模型本质是线性模型，模型学习能力有限，其预测效果通常取决于数据科学家的特征工程能力。因此，业界开始探索使用二项式模型(Polynomi本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种注意力机制下基于特征表征的点击率预估模型，用于根据待测对象的对象特征完成点击率预估，所述对象特征分为连续型特征和离散型特征，其特征在于，包括：特征嵌入层，将所述连续型特征和所述离散型特征进行矢量化处理后堆叠嵌入处理形成堆叠特征；显式特征交叉网络，通过将所述堆叠特征输入到注意力交叉网络进行显式特征组合，形成显式输出矢量；隐式特征交叉网络，通过将所述堆叠特征输入到多层感知机进行隐式特征组合，形成隐式输出矢量；预估概率输出层，将所述显式输出矢量和所述隐式输出矢量组合形成高阶非线性的组合特征，同时将该组合特征传递给Sigmoid激活函数进行点击率预测，得到所述点击率；其中，所述注意力交叉网络包括：交叉层，通过交叉算法对所述堆叠特征进行处理并生成多维矢量；以及注意力层，通过全连接神经网络对所述多维矢量进行处理并生成注意力得分，并对所述注意力得分进行规范化处理生成特征系数，进一步基于所述特征系数通过输出计算式生成所述显式输出矢量。2.根据权利要求1所述的一种注意力机制下基于特征表征的点击率预估模型，其特征在于：其中，所述矢量化处理为：对所述离散型特征进行独热编码转换，将编码后的所述离散型特征作为嵌入向量；对所述连续型特征进行依据数据分布特点的数据标准化，形成稠密特征；将所述嵌入向量和稠密特征进行所述堆叠嵌入处理作为堆叠特征，所述独热编码转化的矩阵计算公式为：x
embed，i
＝W
embed，i
x
i
#(1)式中，x
embed，i
是嵌入向量，x
i
是第i类的二进制输入，而是将与网络中的其他参数一起进行优化的嵌入矩阵，而n
e
和n
v
分别是输入维度和嵌入矢量维度。3.根据权利要求1所述的一种注意力机制下基于特征表征的点击率预估模型，其特征在于：其中，所述交叉算法的计算公式为：式中，是列向量，分别表示来自第I层和第I+1层交叉层输出；是第I层的权重和偏差，函数f表示各层特征矢量交叉公式。4.根据权利要求1所述的一种注意力机制下基于特征表征的点击率预估模型，其特征在于：其中，所述注意力层中的所述规范化处理的计算逻辑为：a
i
′
...

【专利技术属性】
技术研发人员：杨卫东，杜博亚，
申请(专利权)人：珠海复旦创新研究院，
类型：发明
国别省市：