转化率预估模型的训练方法、预测方法、装置和设备制造方法及图纸

本申请公开了一种转化率预估模型的训练方法、预测方法、装置和设备，属于人工智能领域。该方法包括：接收样本广告播放请求，样本广告播放请求携带多任务场景下的样本特征，样本特征包括标签信息；将样本特征输入第一分支，基于第一特征提取网络进行转化率预估，得到第一预测信息；将样本特征输入第二分支，基于第二特征提取网络对样本特征进行特征交叉，得到底层特征；基于专家网络对底层特征进行特征映射，得到专家特征；基于深层网络对专家特征以及门控网络传递的底层映射特征进行转化率预估，得到第二预测信息；基于标签信息、第一预测信息和第二预测信息确定的训练损失对模型参数进行训练。上述方案可以提高广告转化率预估的准确性。的准确性。的准确性。

【技术实现步骤摘要】
转化率预估模型的训练方法、预测方法、装置和设备


[0001]本申请涉及人工智能领域，特别涉及一种转化率预估模型的训练方法、预测方法、装置和设备。

技术介绍

[0002]广告是现代生活中不可或缺的一种宣传载体。不同的广告会存在不同的价值，对于一个广告请求，转化率预估模型针对每个广告都预估该广告请求在该广告上的转化率，转化率预估的准确性是进行广告推荐的最重要的环节之一。
[0003]相关技术中，深度学习模型的建模方式主要采用线性&深度(Wide&Deep)模型并在其上叠加全连接层，通过深度学习模型的方法来预测转化率。
[0004]然而，相关技术中的深度学习模型的特征学习能力不足，容易导致转化率预估偏差问题。

技术实现思路

[0005]本申请提供了一种转化率预估模型的训练方法、预测方法、装置和设备。所述技术方案如下：
[0006]根据本申请的一方面，提供了一种转化率预估模型的训练方法，所述转化率预估模型包括第一分支和第二分支；所述第一分支包括第一特征提取网络，所述第二分支包括依次级联的第二特征提取网络、专家网络和深层网络，以及连接所述第二特征提取网络的输出端与所述深层网络的输入端的门控网络；
[0007]所述方法包括：
[0008]接收样本广告播放请求，所述样本广告播放请求携带多任务场景下的样本特征，所述样本特征包括标签信息；
[0009]将所述样本特征输入所述第一分支，基于所述第一特征提取网络进行转化率预估，得到第一预测信息；
[0010]以及，将所述样本特征输入所述第二分支，基于所述第二特征提取网络对所述样本特征进行特征交叉，得到底层特征；基于所述专家网络对所述底层特征进行特征映射，得到专家特征；基于所述深层网络对所述专家特征以及所述门控网络传递的底层映射特征进行转化率预估，得到第二预测信息；所述底层映射特征是所述门控网络对所述底层特征进行映射处理得到的；
[0011]基于所述标签信息、所述第一预测信息和所述第二预测信息，确定训练损失；基于所述训练损失，对所述转化率预估模型的模型参数进行训练。
[0012]根据本申请的另一方面，提供了一种转化率预估模型的预测方法，所述转化率预估模型包括第一分支和第二分支；所述第一分支包括第一特征提取网络，所述第二分支包括依次级联的第二特征提取网络、专家网络和深层网络，以及连接所述第二特征提取网络的输出端与所述深层网络的输入端的门控网络；所述转化率预估是采用如上所述的转化率
预估模型的训练方法训练得到的；
[0013]所述方法包括：
[0014]接收广告播放请求，所述广告播放请求携带有目标任务场景下的目标特征；
[0015]将所述目标特征输入所述第一分支，基于所述第一特征提取网络进行转化率预估，得到第一预测信息；
[0016]以及，将所述目标特征输入所述第二分支，基于所述第二特征提取网络对所述目标特征进行特征交叉，得到底层特征；基于所述专家网络对所述底层特征进行特征映射，得到专家特征；基于所述深层网络对所述专家特征以及所述门控网络传递的底层映射特征进行转化率预估，得到第二预测信息；所述底层映射特征是所述门控网络对所述底层特征进行映射处理得到的；
[0017]基于所述第一预测信息和所述第二预测信息，预测所述广告播放请求对应的转化率。
[0018]根据本申请的另一方面，提供了一种转化率预估模型的预测装置，所述转化率预估模型包括第一分支和第二分支；所述第一分支包括第一特征提取网络，所述第二分支包括依次级联的第二特征提取网络、专家网络和深层网络，以及连接所述第二特征提取网络的输出端与所述深层网络的输入端的门控网络；所述转化率预估模型是所述转化率预估模型的训练装置训练得到的；
[0019]所述装置包括：
[0020]接收模块，用于接收广告播放请求，所述广告播放请求携带有目标任务场景下的目标特征；
[0021]输入模块，用于将所述目标特征输入所述第一分支，基于所述第一特征提取网络进行转化率预估，得到第一预测信息；
[0022]所述输入模块，用于将所述目标特征输入所述第二分支，基于所述第二特征提取网络对所述目标特征进行特征交叉，得到底层特征；基于所述专家网络对所述底层特征进行特征映射，得到专家特征；基于所述深层网络对所述专家特征以及所述门控网络传递的底层映射特征进行转化率预估，得到第二预测信息；所述底层映射特征是所述门控网络对所述底层特征进行映射处理得到的；
[0023]预测模块，用于基于所述第一预测信息和所述第二预测信息，预测所述广告播放请求对应的转化率。
[0024]根据本申请的另一方面，提供了一种计算机设备，所述计算机设备包括：处理器和存储器，所述存储器存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如上所述的转化率预估模型的训练方法和/或转化率预估模型的预测方法。
[0025]根据本申请的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上所述的转化率预估模型的训练方法和/或转化率预估模型的预测方法。
[0026]根据本申请的另一方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中，处理器从所述计算机可读存储介质中获取所述计算机指令，使得所述处理器加载并执行以实现如上所述的转化率预估模型的训练方法和/或转化率预估模型的预测方法。
[0027]本申请实施例提供的技术方案带来的有益效果至少包括：
[0028]本申请实施例提供了一种转化率预估模型，通过在转化率预估模型中引入专家网络，可以基于一个转化率预估模型学习到不同场景、不同任务的特征，能够解决实际应用场景中不同场景下模型样本分布不均匀的问题。通过在转化率预估模型中引入门控网络，可以向深层网络传递底层特征的相关信息，并控制深层网络的权重学习，使得该转化率预估模型的深层网络能够学习到底层特征的相关信息，解决实际应用场景中对广告播放请求对应的转化率预估偏差较大的问题，有效提高了转化率预估模型的特征学习能力和转化率预估的准确性。
附图说明
[0029]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0030]图1示出了一个示例性实施例提供的计算机系统的结构框图；
[0031]图2示出了一个示例性实施例提供的转化率预估模型的示意图；
[0032]图3示出了一个示例性实施例提供的转化率预估模型的训练方法的流程图；
[0033]图4示出了一个示例性实施例提供的转化率预估模型的训练方法的流程图；
[0034]图5示出了一个示例性实施例提供的转化率预估模型的训练方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种转化率预估模型的训练方法，其特征在于，所述转化率预估模型包括第一分支和第二分支；所述第一分支包括第一特征提取网络，所述第二分支包括依次级联的第二特征提取网络、专家网络和深层网络，以及连接所述第二特征提取网络的输出端与所述深层网络的输入端的门控网络；所述方法包括：接收样本广告播放请求，所述样本广告播放请求携带多任务场景下的样本特征，所述样本特征包括标签信息；将所述样本特征输入所述第一分支，基于所述第一特征提取网络进行转化率预估，得到第一预测信息；以及，将所述样本特征输入所述第二分支，基于所述第二特征提取网络对所述样本特征进行特征交叉，得到底层特征；基于所述专家网络对所述底层特征进行特征映射，得到专家特征；基于所述深层网络对所述专家特征以及所述门控网络传递的底层映射特征进行转化率预估，得到第二预测信息；所述底层映射特征是所述门控网络对所述底层特征进行映射处理得到的；基于所述标签信息、所述第一预测信息和所述第二预测信息，确定训练损失；基于所述训练损失，对所述转化率预估模型的模型参数进行训练。2.根据权利要求1所述的方法，其特征在于，所述深层网络包括依次级联的至少两层正则化层；所述门控网络包括专家门控网络和深度门控网络，所述深度门控网络包括至少两个子门控网络；所述第二特征提取网络的输出端通过所述专家门控网络与所述深层网络的输入端连接，所述第二特征提取网络的输出端还通过所述至少两个子门控网络与所述至少两层正则化层的输入端分别连接；所述基于所述深层网络对所述专家特征以及所述门控网络传递的底层映射特征进行转化率预估，得到第二预测信息，包括：将所述专家特征以及所述专家门控网络传递的第一底层映射特征进行点乘，得到专家映射特征；基于所述深层网络的所述至少两层正则化层，对所述专家映射特征以及所述至少两个子门控网络传递的第二底层映射特征进行转化率预估，得到所述第二预测信息。3.根据权利要求2所述的方法，其特征在于，所述深层网络的所述至少两层正则化层包括依次级联的第一正则化层和第二正则化层；所述深度门控网络的所述至少两个子门控网络包括第一子门控网络和第二子门控网络；所述第二特征提取网络的输出端通过所述专家门控网络与所述第一正则化层的输入端连接；所述第二特征提取网络的输出端通过所述深度门控网络的所述第一子门控网络与所述第一正则化层的输入端连接，所述第二特征提取网络的输出端还通过所述深度门控网络的所述第二子门控网络与所述第二正则化层的输入端连接；所述基于所述深层网络的所述至少两层正则化层，对所述专家映射特征以及所述至少两个子门控网络传递的第二底层映射特征进行转化率预估，得到所述第二预测信息，包括：将所述专家映射特征以及所述第一子门控网络传递的第一子底层映射特征进行点乘，得到专家门控特征；
基于所述深层网络的所述第一正则化层，对所述专家门控特征进行映射处理，得到第一深度特征；将所述第一深度特征以及所述第二子门控网络传递的第二子底层映射特征进行点乘，得到深度门控特征；基于所述深层网络的所述第二正则化层，对所述深度门控特征进行转化率预估，得到所述第二预测信息。4.根据权利要求3所述的方法，其特征在于，所述深层网络还包括与所述第二正则化层的输出端连接的全连接层；所述基于所述深层网络的所述第二正则化层，对所述深度门控特征进行转化率预估，得到所述第二预测信息，包括：基于所述深层网络的所述第二正则化层，对所述深度门控特征进行映射处理，得到第二深度特征；基于所述深层网络的所述全连接层，对所述第二深度特征进行转化率预估，得到所述第二预测信息。5.根据权利要求1至4任一所述的方法，其特征在于，所述专家门控网络包括依次级联的第三正则化层和第一全连接层；所述方法还包括：基于所述专家门控网络的所述第三正则化层，对所述底层特征进行正则化处理，得到第一底层特征；基于所述专家门控网络的所述全连接层，对所述第一底层特征进行映射处理，得到所述第一底层映射特征。6.根据权利要求1至4任一所述的方法，其特征在于，所述深度门控网络中的所述至少两个子门控网络中的第一子门控网络包括依次级联的第四正则化层、第二全连接层和第一非线性函数；所述方法还包括：基于所述第一子门控网络的所述第四正则化层，对所述底层特征进行正则化处理，得到第一子底层特征；基于所述第一子门控网络的所述第二全连接层，对所述第一子底层特征进行映射处理，得到所述第一子底层连接特征；基于所述第一子门控网络的所述第一非线性函数，对所述第一子底层连接特征进行非线性映射，得到所述第一子底层映射特征。7.根据权利要求1至4任一所述的方法，其特征在于，所述深度门控网络中的所述至少两个子门控网络中的第二子门控网络包括依次级联的第五正则化层、第三全连接层和第二非线性函数；所述方法还包括：基于所述第二子门控网络的所述第五正则化层，对所述底层特征进行正则化处理，得到第二子底层特征；基于所述第二子门控网络的所述第三全连接层，对所述第二子底层特征进行映射处理，得到所述第二子底层连接特征；
基于所述第二子门控网络的所述第二非线性函数，对所述第二子底层连接特征进行非线性映射，得到所述第二子底层映射特征。8.根据权利要求1至7任一所述的方法，其特征在于，所述专家网络包括并行的至少两个子专家网络...

【专利技术属性】
技术研发人员：吴航，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：