【技术实现步骤摘要】
本专利技术涉及互联网，具体涉及互联网界面点击率测定。
技术介绍
1、随着互联网行业的不断发展，传统的广告行业已经大规模被线上广告所替代。线上广告具有低成本、易维护、覆盖面广等特点，同时相比于传统广告，线上广告可以进行个性化推荐。根据用户点击、浏览、购买等一系列历史行为信息，给用户推送喜欢点击的广告信息，以达到广告主盈利等目的。当前广告平台中大部分以广告点击次数（cpc）方式进行计费，模型中主要使用点击率（click through rate，ctr）来评估，点击率预估结果越高，表明用户点击广告的可能性越大。对广告点击率预估的准确程度会影响到用户对广告的态度，最终影响到广告商的宣传效果、广告平台的利益及用户的体验感。
2、现有的点击率预估模型主要如下：
3、单模型：
4、（1）逻辑回归模型（logistic regression，简称lr）
5、逻辑回归模型（logistic regression，lr）虽有回归二字，但其属于分类模型，是一种广义的线性模型。该模型是互联网点击率预估中最早使用的机器学习模型之一，在早期点击率预估研究上产生了重要影响。由于逻辑回归模型直观易用、易于部署、可解释性强等原因，被多个领域广泛使用。但逻辑回归模型也有不可忽略的缺点，就是该模型不能处理非线性特征与连续型特征，针对连续型数据需要做离散化操作。同时逻辑回归模型只能考虑一阶特征信息，不能考虑多阶特征信息，这就需要依赖于工程师根据经验选取特征并进行特征组合，给工程师带来额外的工作。
6、（2）
7、该模型由steffen rendle等人在2010年提出，主要为解决样本稀疏数据情况下，特征组合难以计算的问题。虽然fm模型添加特征域概念能够有助于提升模型准确性，但实际应用中，考虑到fm的参数个数较多，训练过程难以收敛，训练资源要求多，训练时间较长，因此在工业应用上较少。
8、集成模型：
9、在广告点击率预估问题上，集成模型也被众多学者和公司广泛研究。集成学习方法主要分为四种，分别为boosting方法、bagging方法、voting方法和stacking方法。最常用的boosting方法的集成学习模型有xgb模型、gbdt模型、adaboost模型等；常见的bagging方法有随机森林模型等；voting方法译为投票法，将多个基学习器模型预测的结果进行投票表决，投票结果中多者取胜，并作为最终结果；stacking方法主要原理是通过组合的方法，学习多个基学习器模型的预测结果与真实结果之间的内在关系，得到一个组合模型，将多个基学习器结果进行组合作为最终预测结果。
10、集成模型在点击率预估中常用树模型，虽易于解释且能处理有缺失的数据，但树模型结构存在天生易过拟合、不同判别准则偏向不同属性特征等缺点。要实现千人千面的点击率预估，用户id信息非常重要，树模型较难处理id类特征，因此模型泛化能力和表达能力上仍有较大欠缺。
11、深度模型
12、（1）深度神经网络（deep neural network，简称dnn）
13、dnn模型的基础就是多层感知机（mlp），模型的中间部分通过多层感知机联合，构成全连接的深度神经网络模型。考虑到在线广告数据在embedding之后会比较稀疏，如果直接喂入神经网络模型，在梯度下降过程中只有非零特征值对参数更新产生影响，会使得神经网络参数收敛非常缓慢，造成模型训练难、精度低等特点。
14、（2）因子分解机神经网络模型（factorization machine supported neuralnetwork，简称fnn）
15、fnn模型是将fm模型和dnn模型进行组合，虽然fnn模型在fm模型基础之上引入dnn部分，增强了模型的学习高阶特征信息的能力，但fnn模型过度依赖于fm部分的预训练结果。同时两部分模型在应用时难以部署，fnn模型更关注于高阶特征部分，对低阶特征学习有所欠缺。
16、（3）wide&deep模型
17、2016年google公司提出wide&deep模型，该模型由浅层的wide部分和深层的deep部分组成。浅层wide部分使用广义线性模型直接参与最终结果的预测，使得相似特征向量输入模型之后能够快速得到过往数据的结果。深层deep部分使用深度神经网络模型，dnn善于学习高阶数据特征，让模型具有更强的泛化能力。但是wide&deep模型中wide部分输入的是稀疏数据，deep部分输入的是稠密特征，两部分输入不同。
18、wide&deep模型中，wide部分需要自行设定，通常使用logistic作为wide部分模型，由于logistic模型是一个广义线性模型，只能使用特征一阶信息，而不能学习特征高阶信息，容易造成特征信息学习不充分和浪费。考虑到线性模型的局限性，wide部分模型的表达能力和学习能力有所不足。
19、（4）deepfm模型
20、2017年华为诺亚方舟实验室提出deepfm模型，该模型基于wide&deep模型，原始wide&deep模型的浅层wide部分使用逻辑回归模型，在deepfm模型中将其替换为fm模型。相比于lr模型，fm模型考虑了二阶交叉特征信息，可以一定程度上提升模型wide部分的信息提取能力，不需要人工筛选和构造特征，就可以进行端到端地学习。该模型的deep部分是多个全连接层堆叠，每个特征都可进行等权重的交叉。而现实情况下，不同特征之间组合对结果的影响程度是不同的，要区分不同特征组合对应权重，可以更好提升模型学习能力。
21、（5）神经因子分解机器模型（neural factorization machine，简称nfm）
22、2017年，新加坡国立大学提出nfm模型，该模型为了增强fm模型挖掘高阶特征数据的能力，将embedding之后的特征向量进行两两交叉之后，输入到深度神经网络中，学习更高阶的特征信息。nfm模型中仍使用了fm对特征进行二阶交叉，使用线性模型学习出的隐向量，使得模型的表达能力有所受限，处理特征稀疏性方面相对较弱，需要进行大量特征工程且不断调整模型超参数才能取得较好效果。
技术实现思路
1、针对基于现有模型实现点击率预估存在的局限性，本专利技术提供一种点击率预估方法，所述方法使用自主设计的基于注意力机制模型对点击率进行预估，所述自主设计的基于注意力机制模型包括输入层、集成模型、因子分解机、深度模型、拼接层以及输出层；
2、数据通过输入层分别输出到集成模型和深度模型，集成模型分别输出数据到拼接层以及因子分解机，因子分解机输出数据到拼接层，深度模型输出数据到拼接层，拼接层输出数据到输出层，输出层输出点击率的预估结果；
3、所述深度模型中，数据依次经过嵌入层、神经网本文档来自技高网...
【技术保护点】
1.一种点击率预估方法，所述方法使用自主设计的基于注意力机制模型对点击率进行预估，其特征在于，所述自主设计的基于注意力机制模型包括输入层、集成模型、因子分解机、深度模型、拼接层以及输出层；
2.根据权利要求1所述的点击率预估方法，其特征在于，所述集成模型采用XGBoost模型。
3.根据权利要求2所述的点击率预估方法，其特征在于，所述因子分解机采用AFM模型。
4.根据权利要求3所述的点击率预估方法，其特征在于，在XGBoost模型中，叶子节点的输出结果输入因子分解机，XGBoost模型的最终输出结果输入拼接层。
5.根据权利要求4所述的点击率预估方法，其特征在于，所述深度模型中：
6.根据权利要求5所述的点击率预估方法，其特征在于，所述拼接层中将XGBoost模型、AFM模型以及深度模型的输出进行拼接，输入输出层，输出层中使用Sigmoid激活函数映射得到目标广告的点击率预估结果。
【技术特征摘要】
1.一种点击率预估方法，所述方法使用自主设计的基于注意力机制模型对点击率进行预估，其特征在于，所述自主设计的基于注意力机制模型包括输入层、集成模型、因子分解机、深度模型、拼接层以及输出层；
2.根据权利要求1所述的点击率预估方法，其特征在于，所述集成模型采用xgboost模型。
3.根据权利要求2所述的点击率预估方法，其特征在于，所述因子分解机采用afm模型。
4.根据权利要求3所述的点击...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。