多任务模型训练方法、推广内容处理方法及相关装置制造方法及图纸

本公开提供了一种多任务模型训练方法、推广内容处理方法及相关装置，该多任务模型包括辅助网络、核心网络和前看梯度网络，该方法包括：获取样本特征向量，样本特征向量用于表征用户对推广内容的行为；将样本特征向量输入到辅助独占网络，得到辅助特征向量；将辅助特征向量输入到前看梯度网络得到梯度特征向量，梯度特征向量表征辅助特征向量对于核心网络的优化目标的贡献度；将梯度特征向量与辅助特征向量进行融合后，输入辅助输出网络，得到辅助输出网络的输出；根据辅助输出网络的输出以及辅助网络的优化目标和核心网络的优化目标更新辅助网络的权重，直至辅助网络满足第一训练停止条件。能够使多任务模型中的辅助任务有偏向性地优化核心任务。向性地优化核心任务。向性地优化核心任务。

【技术实现步骤摘要】
多任务模型训练方法、推广内容处理方法及相关装置


[0001]本公开涉及人工智能
，尤其涉及多任务模型训练方法、推广内容处理方法及相关装置。

技术介绍

[0002]随着计算机技术尤其是人工智能技术的发展，人工智能技术的应用场景越来越广泛。例如，在推广内容(例如广告)推送的场景中，可以基于人工智能技术预测推广内容的转化率，进而基于该转化率向用户推送该推广内容。
[0003]为了提高模型的泛化能力，提高预测的转化率的准确性，通常采用多任务学习(muti task learning，MTL)的方式构建多任务模型。目前，基于人工主观经验选择多个任务(推广内容的转化率、观看推广内容的时长)，进行多任务学习，以提高多任务模型的学习效率以及泛化能力。
[0004]然而，对于推广内容而言，多任务模型通常会优化一个核心任务，例如优化预测转化率这一核心任务，如何在多任务场景下，使多任务模型中的辅助任务有偏向性地优化核心任务，是业界亟需解决的技术问题。

技术实现思路

[0005]本公开的目的在于：提供了多任务模型训练方法、推广内容本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多任务模型训练方法，其特征在于，所述多任务模型包括辅助网络、核心网络和前看梯度网络，所述辅助网络包括辅助独占网络和辅助输出网络；所述方法包括：获取样本特征向量，所述样本特征向量用于表征用户对推广内容的行为；将所述样本特征向量输入到辅助独占网络，得到辅助特征向量；将所述辅助特征向量输入到所述前看梯度网络得到梯度特征向量，所述梯度特征向量表征所述辅助特征向量对于所述核心网络的优化目标的贡献度；将所述梯度特征向量与所述辅助特征向量进行融合后，输入所述辅助输出网络，得到所述辅助输出网络的输出；根据所述辅助输出网络的输出以及所述辅助网络的优化目标和所述核心网络的优化目标更新所述辅助网络的权重，直至所述辅助网络满足第一训练停止条件。2.根据权利要求1所述的方法，其特征在于，所述前看梯度网络基于所述核心网络的优化目标进行更新。3.根据权利要求1或2所述的方法，其特征在于，所述核心网络包括核心独占网络和核心输出网络；所述方法还包括：将所述样本特征向量输入到所述核心独占网络，得到核心特征向量；将所述核心特征向量输入到所述核心输出网络，得到所述核心输出网络的输出；根据所述核心输出网络的输出以及所述核心网络的优化目标，更新所述核心网络的权重，直至所述核心网络满足第二训练停止条件。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：将所述样本特征向量输入到共享网络，获得共享特征向量；所述将所述样本特征向量输入到辅助独占网络，得到辅助特征向量，包括：将所述共享特征向量输入到辅助独占网络，得到辅助特征向量；所述将所述样本特征向量输入到所述核心独占网络，得到核心特征向量，包括：将所述共享特征向量输入到所述核心独占网络，得到核心特征向量。5.根据权利要求1所述的方法，其特征在于，所述辅助输出网络的输出满足所述辅助网络的优化目标或所述核心网络的优化目标时，所述样本特征向量为正样本对应的特征向量；所述辅助输出网络的输出不满足所述辅助网络的优化目标以及所述核心网络的优化目标时，所述样本特征向量为负样本对应的特征向量。6.根据权利要求1所述的方法，其特征在于，所述辅助独占网络包括深度神经网络、卷积神经网络或自注意力网络；所述共享网络包括深度神经网络、卷积神经网络或自注意力网络。7.根据权利要求...

【专利技术属性】
技术研发人员：吴寅初，佘琪，赵修影，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：