一种基于深度特征融合的点击率预估方法技术

一种基于深度特征融合的点击率预估方法，包括如下步骤：拿到历史数据，将数据经过热编码后变成由0和1组成的高维稀疏特征，得到基础特征；对基础特征经过嵌入层进行特征向量构建，构建后的向量作为模型训练输入；经过浅层模型FmFM和深层模型DenseDNN，同时学习显式和隐式特征交互；将FmFM模型和DenseDNN网络的结果拼接后，经过Sigmoid函数得到输出结果，用AUC和LogLoss两个指标来判断模型预测的准确率。本发明专利技术用特征融合的方式提升模型性能，使得点击率预估的结果更准确，提高广告媒介的利益。益。益。

A hit rate estimation method based on depth feature fusion

【技术实现步骤摘要】
一种基于深度特征融合的点击率预估方法


[0001]本专利技术涉及深度学习领域，是一种基于深度特征融合的点击率预估方法。

技术介绍

[0002]电商平台、搜索引擎平台等互联网平台根据广告的点击率和点击价值来确定在线广告的价格，假如这些互联网平台可以准确地预估用户对于某一广告的喜好程度，再将广告精准地投放给喜好程度较高的那一部分用户，使得用户点击广告的概率大大增加，那么互联网平台得到的广告收益也会随之变高，而表现用户对某广告喜好程度的指标为点击率(Click Through Rate，CTR)，代表广告点击数量与广告展现数量的比率。
[0003]传统的CTR预估模型如因子分解机(Factorization Machine,FM)模型，它通过两个特征对应的嵌入向量之间的点积来模拟两个特征之间的相互作用，降低了开销，但忽略了不同域特征进行交互时的差异；FFM(Field
‑
aware Factorization Machines)模型，在FM 模型的基础上引入了特征域感知的概念，使模型的表达能力变强，但其参数量过大，在实际生产系统中不可取；FwFM(Field
‑
weighted Factorization Machines)模型，对不同的域相互作用进行了有效的建模，仅用FFM4％左右的参数，但只用一个标量来表达域交互的强度，自由度不够，表达能力有限；FmFM(Field
‑
matrixed Factorization Machines)模型，在两个特征向量之间使用一个域矩阵来模拟它们的相互作用，自由度较高，表达能力较强。
[0004]近年来，深度神经网络(DNN)凭借其强大的特征表征学习能力，在计算机视觉、语音识别和自然语言处理等领域取得了成功。目前有许多基于深度学习的点击率预估模型，这些模型一般使用浅层模型和深层模型相结合的方法学习特征交互，可以有效捕获高阶特征交互，显著提高模型性能。如谷歌2016年提出的Wide&Deep模型，它混合了一个线性模型和Deep模型，但线性部分的输入依赖人工特征工程；华为2017年提出 DeepFM模型，在Wide&Deep模型的基础上将Wide部分换成FM模型，不需要人工特征工程且训练效率高，但其准确度仍然不够；谷歌2017年提出DCN模型，使用crossnetwork，无需人工特征工程，网络结构简单高效，但特征交互在元素级；微软2018年提出xDeepFM模型，其CIN部分能自动学习显式的高阶特征交互，且交互在向量级，但复杂度较高，应用困难；谷歌2020年提出DCN
‑
v2模型，其核心是交叉层，继承了DCN 中简单的跨网络结构，但在学习显式和有界度交叉特征方面表现得非常好；普渡大学和雅虎研究等2021年提出DeepLight模型，使用高质量、低消耗、低延迟的模型，在不损失预测精度的情况下，将模型的推断速度提高了数十倍。
[0005]现有的点击率预估模型通常是浅层模型和深层模型并行结合，且深层模型通常使用深度学习中的深度神经网络。基于深度学习的点击率预估模型能有效捕捉高阶特征交互，显著提高模型的性能。工业界已提出许多结合深度神经网络的点击率预估模型，其中大多并行模型通过改进学习显式特征交互的浅层模型部分来提升模型效果，如DeepFM模型将Wide&Deep的Wide部分换成FM模型、xDeepFM模型设计CIN网络、DeepLight 模型将DeepFM模型的FM部分换成FwFM模型等，而对于深度神经网络部分却缺乏研究，为提升深度神经网络的性能，理论上可以通过提升DNN网络的层数或增加神经元参数的方式，但在实际应用中会
导致梯度消失、梯度爆炸和参数量过大等问题，DNN的性能会随着层数的增加达到饱和之后迅速下降。

技术实现思路

[0006]本专利技术公开了一种基于深度特征融合的点击率预估方法，该技术用特征融合的方式提升模型性能，使得点击率预估的结果更准确，提高广告媒介的利益。
[0007]一种基于深度特征融合的点击率预估方法，包括如下步骤：
[0008]S1、拿到历史数据，将数据经过热编码后变成由0和1组成的高维稀疏特征，得到基础特征；
[0009]S2、对基础特征经过嵌入层进行特征向量构建，构建后的向量作为模型训练输入；
[0010]S3、经过浅层模型FmFM和深层模型DenseDNN，同时学习显式和隐式特征交互；
[0011]S4、将FmFM模型和DenseDNN网络的结果拼接后，经过Sigmoid函数得到输出结果，用AUC和LogLoss两个指标来判断模型预测的准确率。
[0012]本专利技术的目的在于解决现有点击率预估模型对深层模型研究的缺乏问题，提出 DenseDNN网络，将DNN网络的每一层的输入变成前面所有层的输出之和，加强特征传播，达到特征融合。为进一步提高模型准确率，选取目前研究中效果最好的浅层模型 FmFM与深层模型DenseDNN结合，并将二者结合后的模型命名为DDNNFMFM。相比于现有的点击率预估模型方法，本专利技术的优点有：
[0013]1)提出DenseDNN网络，将DNN网络前面每一层的输出之和作为下一层的输入，加强特征传播，达到特征融合。
[0014]2)提出DDNNFMFM模型，将浅层模型FmFM与深层模型DenseDNN并行结合，同时学习高阶和低阶特征交互，进一步提升预估准确率。
[0015]3)将DDNNFMFM模型在Criteo和Avazu两个经典数据集做了充分的对比实验，由于在数据量庞大的广告推荐系统的实际应用中，预估准确率的一点小提升就可能使得在线点击率的显著提高，验证了DDNNFMFM模型的有效性。
附图说明
[0016]为更清楚地说明本专利技术的实施方案，以下对所需附图进行简单的介绍：
[0017]图1为本专利技术某一实施案例的技术方案流程图，展现了基于深度特征融合的点击率预估方法的大概技术方案。
[0018]图2为本专利技术的DDNNFMFM模型图，以一种直观的方式展现了实施过程中的计算步骤。
[0019]图3为本专利技术所使用的浅层模型FmFM的一个相互作用运算实例。
[0020]图4为本专利技术创新的深层模型DenseDNN的结构。
具体实施方式
[0021]本专利技术提出了一个新的点击率预估模型DDNNFMFM，该模型能够同时学习显式和隐式特征交互，且以特征融合的方式更高效地学习隐式特征交互。如图1所示为技术方案流程图，如图2所示是DDNNFMFM模型图，结合本专利技术的附图，以下是对本专利技术技术方案的具体阐
述：
[0022]一种基于深度特征融合的点击率预估方法，包括如下步骤：
[0023]S1、拿到历史数据，将数据进行预处理后得到基础特征。从用户的历史点击数据中提取用户数据，由于在实际生产活动中，产生的的数据会有缺失、异常等情况，若直接使用易产生不良结果。故对数据集中缺失的部分进行填本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度特征融合的点击率预估方法，其特征在于包括如下步骤：S1、拿到历史数据，将数据经过热编码后变成由0和1组成的高维稀疏特征，得到基础特征；S2、对基础特征经过嵌入层进行特征向量构建，构建后的向量作为模型训练输入；S3、经过浅层模型FmFM和深层模型DenseDNN，同时学习显式和隐式特征交互；S4、将FmFM模型和DenseDNN网络的结果拼接后，经过Sigmoid函数得到输出结果，用AUC和LogLoss两个指标来判断模型预测的准确率。2.根据权利要求1所述的基于深度特征融合的点击率预估方法，其特征在于上述步骤S1的具体过程为：拿到历史数据，将数据进行预处理后得到基础特征；从用户的历史点击数据中提取用户数据，并对数据集中缺失的部分进行填充，并对数值特征做归一化处理。3.根据权利要求2所述的基于深度特征融合的点击率预估方法，其特征在于上述步骤S2的具体过程为：特征向量构建，作为模型训练输入；将基础特征经过one
‑
hot编码后变成稀疏矩阵，通过线性变换，成为一个密集矩阵，用嵌入层学习的参数表征密集矩阵的内在关系；特征向量构建即把独立的向量关联起来，且将数据从高维稀疏变成低维稠密的特征向量。4.根据权利要求3所述的基于深度特征融合的点击率预估方法，其特征在于上述步骤S3的具体过程为：经过浅层模型FmFM和深层模型DenseDNN，同时学习显式和隐式特征交互得到更多隐含特征；基于低维稠密特征向量，作为模型中特征交互层的输入，得到多元交叉特征，所述特征交互分为两部分：S31、嵌入向量经过FmFM模型，利用域矩阵的思想来高效地学习显式特征交互；FmFM模型由FwFM模型发展而来，将后者中描述不同域特征之间交互强度的标量替换为一个二维矩阵M，提高了模型的自由度和表达能力，其公式为：其中，x
i
，x
j
为第i个特征和第j个特征，v
i
，v
j
是特征i和特征j的嵌入向量，F(i)，F(j)是特征i和特征j所属的域，M
F(i),F(j)
即为特征i和特征j所在域有关的权重矩阵，w
i
为权重参数，w0为偏置项；FmFM相互作用项的过程，通过交互对(v
i
，v
j
)和(v
i
，v
k
)进行计算，且特征i，j，k分别来自3个不同域；分为三个步骤：1)Embedding Lookup：从嵌入表中查找v
i

【专利技术属性】
技术研发人员：石秀金，龚园，夏小玲，
申请(专利权)人：东华大学，
类型：发明
国别省市：