一种基于联合学习模型的展示广告点击率预测方法技术

本发明专利技术公开一种基于联合学习模型的展示广告点击率预测方法，目的是利用两个不同的残差网络子结构来分别学习高阶特征的信息，以提升模型的预测准确性。首先，基于已有的广告投放记录建立样本并对特征进行预处理，从而得到训练数据集；其次，建立融合结构，包括一阶特征嵌入层、混合嵌入层、ResNet‑Left子结构、ResNet‑Right子结构、表示向量层和输出节点；第三，利用训练数据集对融合结构的参数进行学习，得到最终的预测模型参数；最后，对于一个新的广告展示机会，基于训练好的点击率预测模型计算预测点击率。

【技术实现步骤摘要】
一种基于联合学习模型的展示广告点击率预测方法
本专利技术属于互联网应用
，特别涉及一种用于展示广告点击率预测的机器学习模型。
技术介绍
随着移动互联网的广泛普及以及大数据技术的快速发展，使得广告商利用互联网平台进行广告精准营销成为可能。与传统广告相比，在线广告在覆盖范围、灵活性、针对性、成本和效果评估等方面拥有得天独厚的优势，已经发展成为具有数百亿美元的产业。展示广告属于在线广告的一种投放形式，指的是当一个用户浏览网页时，网站通过在网页上嵌入的广告位，动态地向用户展示广告，如附图1所示。在展示广告的投放中，每当用户浏览一个嵌入广告位的网页时就会触发一个广告展示机会，网站的广告投放系统会根据在网站上投放的各种广告与这个广告展示机会的匹配程度，选择与这个广告展示机会匹配程度最高的广告进行投放。为了提升广告投放效果和用户体验，广告投放系统通常利用一个用户点击率指标来衡量广告与广告展示机会的匹配程度，这里用户点击率是指的当广告投放到这个广告展示机会后，用户点击这个广告的概率。预测点击率越高，则广告与这个广告展示机会的匹配程度越高，因此点击率预测对于广告投放系统是一个至关重要的功能。业界广泛采用的点击率预测方法包括基于逻辑回归模型的预测方法、基于因子分解机模型的预测方法、基于深度神经网络的预测方法等，这些已有的点击率预测方法通常都是基于单一的机器学习模型结构，预测能力有限。例如，基于逻辑回归模型和基于因子分解机模型的预测方法，只利用了低阶特征信息来进行点击率预测；基于深度神经网络的预测方法，则只利用了高阶特征信息来进行点击率预测。目前，最新的点击率预测方法是将两种不同的点击率预测模型结构进行融合，通过联合学习得到最优的融合结构的模型参数，从而提升预测性能。本专利技术延续了采用融合结构的机器学习模型进行点击率预测的思路，提出建立一个包含两个异构残差网络的新的融合结构来进行点击率预测。与已有的基于融合结构的点击率预测方法相比，本专利技术提出的方法能够利用更丰富的高阶特征组合信息。大量基于真实场景数据集的实验表明，本专利技术提出的基于联合学习模型的展示广告点击率预测方法能够比目前最新的基于融合结构的点击率预测方法获得更好的预测性能。
技术实现思路
本专利技术的目的是提供一种基于联合学习模型的展示广告点击率预测方法，该方法融合两个异构的残差网络来分别学习广告展示机会特征和广告特征的高阶组合表示，从而实现更为准确的点击率预测。为实现上述专利技术目的，本专利技术提供的基于联合学习模型的展示广告点击率预测方法，其特征在于，包括以下步骤：步骤1：基于真实广告的投放和点击记录建立样本，对每个广告展示机会和广告本身的属性进行预处理，建立训练数据集，具体如下：步骤1.1：广告投放系统会对已经发生的广告投放和点击行为进行记录，每条记录包括：广告展示机会的属性、广告的属性、是否发生点击行为；这里广告展示机会的属性又进一步分为用户属性和上下文场景属性，用户属性可以是用户的年龄、性别、所在城市、使用的浏览器类型等，上下文场景属性可以是浏览网页的类型、广告位的大小、广告位的可见度等；投放广告的属性可以是广告创意的类型、广告商等；当广告投放到广告展示机会后用户发生点击行为，则点击行为记录为1，否则记录为0；在本专利技术中将每条广告投放记录作为一个数据样本；步骤1.2：对每个样本的属性进行预处理，首先对于分类属性，将其进行独热编码，分类属性c在整个记录中有M种取值可能，则独热编码后的表示如公式(1)所示，属性c编码为一个由二值元素组成的向量，每个元素bi∈{0,1}，即整个向量中只有取值的元素值为1，其余元素值为0；对于数值属性，首先利用分箱技术将其转化为分类属性后，再按照分类属性的预处理方法完成独热编码；在本专利技术中将独热编码后的每个元素bi称为一个特征，属于相同物理属性c的M个特征组成一个特征域，c＝(b1,b2,...,bM)；步骤1.3：将所有样本按照发生的时间顺序排列，建立点击率预测模型的训练数据集；步骤2：构建点击率预测模型的融合结构，如附图2所示，融合结构包含两个异构残差网络，具体如下：步骤2.1：建立融合结构的一阶特征嵌入层，它是将每个样本中包含的值为1的特征分别映射为对应的嵌入向量，然后将若干个嵌入向量拼接起来构成，嵌入向量中的每个元素对应一阶特征嵌入层中的每个节点，一阶特征嵌入层中节点的总数为n×N，这里n表示每个样本中包含的值为1的特征个数，N表示每个特征映射的嵌入向量的维度，每个一阶特征嵌入向量的初始值是[0,1)范围内随机初始化的，通过基于训练数据集的联合学习进行优化；在本步骤中，每个值为1的特征bi到嵌入向量ei的映射如公式(2)所示，因此一阶特征嵌入层的向量可记为步骤2.2：建立融合结构的混合嵌入层，得到混合嵌入层的向量x0，并将x0分别输入到ResNet-Left子结构ResNet-Right子结构的第1个隐层节点中；混合嵌入层的节点是由两类节点拼接的：一类是一阶特征嵌入层的节点，一类是二阶特征组合对应的节点；这里二阶特征组合节点的值是任意两个一阶特征嵌入向量ei和ej进行Hadamardproduct运算后，再采用averagepooling方法得到的；Hadamardproduct运算的定义如公式(3)所示，n个一阶特征嵌入向量两两进行Hadamardproduct运算，可以得到n(n-1)/2个向量，记为公式(4)；averagepooling方法的计算公式如(5)所示，最终可以得到一个n(n-1)/2维的二阶特征组合的表示向量，记为s；因此在步骤2.2中，得到的混合嵌入层的向量记为：步骤2.3：建立左边的残差网络ResNet-Left子结构，如附图2所示；ResNet-Left子结构中包含6个隐层，每个隐层的节点数相同，记为nL，隐层节点的激活函数f(x)采用ReLU，即f(x)＝max(0,x)，从混合嵌入层到第1个隐层，以及各个隐层之间，节点均采用全连接的方式，附图3是混合嵌入层节点到第1个隐层节点采用全连接方式连接的示意图，即每层的每个节点均与上一层的每个节点相连，因此可以得到每个隐层的输出向量如下：第1个隐层节点的输出向量：第2个隐层节点的输出向量：第3个隐层节点的输出向量：第4个隐层的输入向量，同时考虑了第1个和第3个隐层的输出向量，将两个输出向量采用公式(6)进行叠加合并，记为h3′；第4个隐层节点的输出向量：第5个隐层节点的输出向量：第6个隐层节点的输出向量：在ResNet-Left子结构中，输出向量ILeft是第4个和第6个隐层节点的输出向量的叠加合并，如公式(7)所示；在步骤2.3的计算，参数的定义如下：hi(i＝1,2,3,4,5,6)是第i个隐层节点的输出向量，W0表示混合嵌入层节点到第1个隐层节点的连接权重矩阵，这里n0表示混合嵌入层节点的个数，nL表示每个隐层的节点个数；类似，Wi(i＝1,2,3,4,5)表本文档来自技高网...

【技术保护点】
1.一种基于联合学习模型的展示广告点击率预测方法，其特征在于，包括以下步骤：/n步骤1：基于真实广告的投放和点击记录建立样本，对每个广告展示机会和广告本身的属性进行预处理，建立训练数据集，具体如下：/n步骤1.1：广告投放系统会对已经发生的广告投放和点击行为进行记录，每条记录包括：广告展示机会的属性、广告的属性、是否发生点击行为；这里广告展示机会的属性又进一步分为用户属性和上下文场景属性，用户属性可以是用户的年龄、性别、所在城市、使用的浏览器类型等，上下文场景属性可以是浏览网页的类型、广告位的大小、广告位的可见度等；投放广告的属性可以是广告创意的类型、广告商等；当广告投放到广告展示机会后用户发生点击行为，则点击行为记录为1，否则记录为0；在本专利技术中将每条广告投放记录作为一个数据样本；/n步骤1.2：对每个样本的属性进行预处理，首先对于分类属性，将其进行独热编码，分类属性c在整个记录中有M种取值可能，则独热编码后的表示如公式(1)所示，属性c编码为一个由二值元素组成的向量，每个元素b

【技术特征摘要】
1.一种基于联合学习模型的展示广告点击率预测方法，其特征在于，包括以下步骤：
步骤1：基于真实广告的投放和点击记录建立样本，对每个广告展示机会和广告本身的属性进行预处理，建立训练数据集，具体如下：
步骤1.1：广告投放系统会对已经发生的广告投放和点击行为进行记录，每条记录包括：广告展示机会的属性、广告的属性、是否发生点击行为；这里广告展示机会的属性又进一步分为用户属性和上下文场景属性，用户属性可以是用户的年龄、性别、所在城市、使用的浏览器类型等，上下文场景属性可以是浏览网页的类型、广告位的大小、广告位的可见度等；投放广告的属性可以是广告创意的类型、广告商等；当广告投放到广告展示机会后用户发生点击行为，则点击行为记录为1，否则记录为0；在本发明中将每条广告投放记录作为一个数据样本；
步骤1.2：对每个样本的属性进行预处理，首先对于分类属性，将其进行独热编码，分类属性c在整个记录中有M种取值可能，则独热编码后的表示如公式(1)所示，属性c编码为一个由二值元素组成的向量，每个元素bi∈{0,1}，即整个向量中只有取值的元素值为1，其余元素值为0；对于数值属性，首先利用分箱技术将其转化为分类属性后，再按照分类属性的预处理方法完成独热编码；在本发明中将独热编码后的每个元素bi称为一个特征，属于相同物理属性c的M个特征组成一个特征域，c＝(b1,b2,...,bM)；



步骤1.3：将所有样本按照发生的时间顺序排列，建立点击率预测模型的训练数据集；
步骤2：构建点击率预测模型的融合结构，如附图2所示，融合结构包含两个异构残差网络，具体如下：
步骤2.1：建立融合结构的一阶特征嵌入层，它是将每个样本中包含的值为1的特征分别映射为对应的嵌入向量，然后将若干个嵌入向量拼接起来构成，嵌入向量中的每个元素对应一阶特征嵌入层中的每个节点，一阶特征嵌入层中节点的总数为n×N，这里n表示每个样本中包含的值为1的特征个数，N表示每个特征映射的嵌入向量的维度，每个一阶特征嵌入向量的初始值是[0,1)范围内随机初始化的，通过基于训练数据集的联合学习进行优化；在本步骤中，每个值为1的特征bi到嵌入向量ei的映射如公式(2)所示，因此一阶特征嵌入层的向量可记为



步骤2.2：建立融合结构的混合嵌入层，得到混合嵌入层的向量x0，并将x0分别输入到ResNet-Left子结构ResNet-Right子结构的第1个隐层节点中；混合嵌入层的节点是由两类节点拼接的：一类是一阶特征嵌入层的节点，一类是二阶特征组合对应的节点；这里二阶特征组合节点的值是任意两个一阶特征嵌入向量ei和ej进行Hadamardproduct运算后，再采用averagepooling方法得到的；
Hadamardproduct运算的定义如公式(3)所示，n个一阶特征嵌入向量两两进行Hadamardproduct运算，可以得到n(n-1)/2个向量，记为公式(4)；averagepooling方法的计算公式如(5)所示，最终可以得到一个n(n-1)/2维的二阶特征组合的表示向量，记为s；









因此在步骤2.2中，得到的混合嵌入层的向量记为：



步骤2.3：建立左边的残差网络ResNet-Left子结构，如附图2所示；ResNet-Left子结构中包含6个隐层，每个隐层的节点数相同，记为nL，隐层节点的激活函数f(x)采用ReLU，即f(x)＝max(0,x)，从混合嵌入层到第1个隐层，以及各个隐层之间，节点均采用全连接的方式，附图3是混合嵌入层节点到第1个隐层节点采用全连接方式连接的示意图，即每层的每个节点均与上一层的每个节点相连，因此可以得到每个隐层的输出向量如下：
第1个隐层节点的输出向量：
第2个隐层节点的输出向量：
第3个隐层节点的输出向量：
第4个隐层的输入向量，同时考虑了第1个和第3个隐层的输出向量，将两个输出向量采用公式(6)进行叠加合并，记为h...

【专利技术属性】
技术研发人员：刘梦娟，仇笠舟，蔡师嘉，刘津宇，李家兴，赖跖，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51