多任务学习模型的预测方法及装置制造方法及图纸

本公开提供了一种多任务学习模型的预测方法及装置，所述方法包括：利用掩码对嵌入向量进行加权，得到加权后的嵌入向量；将加权后的嵌入向量输入第一子网络层和第三子网络层，得到第一子网络层的第一输出向量和第三子网络层的第二输出向量；将第一输出向量和第二输出向量输入第二子网络层进行处理，得到第三输出向量，处理包括利用第二子网络层的中的第一编码变量对第一输出向量进行计算，利用第二子网络层的中的第二编码变量对第二输出向量进行计算，其中第一编码变量指示第一子网络层中神经元与第三子网络层中神经元之间的连接关系，第二编码变量指示第二子网络层中神经元与第三子网络层中神经元之间的连接关系。第三子网络层中神经元之间的连接关系。第三子网络层中神经元之间的连接关系。

【技术实现步骤摘要】
多任务学习模型的预测方法及装置


[0001]本公开涉及机器学习
，尤其涉及一种多任务学习模型的预测方法、使用方法及装置。

技术介绍

[0002]多任务学习模型可以在机器学习过程中实现多个任务的参数共享，从而实现了多个任务共同学习。当任务之间的相关性较弱时，多任务学习的学习效果较差。针对该问题，基于子网络路由的多任务学习模型包括编码变量，编码变量用于对多任务学习模型中的子网络层之间的连接关系进行编码，实现了子网络层间的稀疏连接，从而减小相关性较低的任务之间的参数共享，进而提高了相关性较弱的多任务学习效果。

技术实现思路

[0003]有鉴于此，本公开提供了一种多任务学习模型的预测方法及装置，以进一步改善多任务学习的学习效果。
[0004]第一方面，本公开提供了一种多任务学习模型的预测方法，所述多任务学习模型包括嵌入层、第一任务子网络、第二任务子网络以及任务共享子网络，所述第一任务子网络包括第一子网络层和第二子网络层，所述任务共享子网络包括第三子网络层；所述方法包括：将待处理的任务数据输入所述嵌入层，得到所述嵌入层的嵌入向量；利用掩码对所述嵌入向量进行加权，得到加权后的嵌入向量；将所述加权后的嵌入向量输入所述第一子网络层和所述第三子网络层，得到所述第一子网络层的第一输出向量和所述第三子网络层的第二输出向量；将所述第一输出向量和所述第二输出向量输入第二子网络层进行处理，得到第三输出向量，所述处理包括利用第二子网络层的中的第一编码变量对所述第一输出向量进行计算，利用第二子网络层的中的第二编码变量对所述第二输出向量进行计算，其中所述第一编码变量指示第一子网络层中神经元与第三子网络层中神经元之间的连接关系，所述第二编码变量指示第二子网络层中神经元与第三子网络层中神经元之间的连接关系。
[0005]第二方面，本公开提供了一种基于多任务学习模型的预测装置，所述多任务学习模型包括嵌入层、第一任务子网络、第二任务子网络以及任务共享子网络，所述第一任务子网络包括第一子网络层和第二子网络层，所述任务共享子网络包括第三子网络层；所述装置包括：嵌入模块，用于将待处理的任务数据输入所述嵌入层，得到所述嵌入层的嵌入向量；特征筛选模块，用于利用掩码对所述嵌入向量进行加权，得到加权后的嵌入向量；嵌入向量处理模块，用于将所述加权后的嵌入向量输入所述第一子网络层和所述第三子网络层，得到所述第一子网络层的第一输出向量和所述第三子网络层的第二输出向量；神经元级稀疏共享模块，用于将所述第一输出向量和所述第二输出向量输入第二子网络层进行处理，得到第三输出向量，所述处理包括利用第二子网络层的中的第一编码变量对所述第一输出向量进行计算，利用第二子网络层的中的第二编码变量对所述第二输出向量进行计算，其中所述第一编码变量指示第一子网络层中神经元与第三子网络层中神经元之间的连
接关系，所述第二编码变量指示第二子网络层中神经元与第三子网络层中神经元之间的连接关系。
[0006]第三方面，本公开提供了一种多任务学习模型的训练方法，所述多任务学习模型包括嵌入层、第一任务子网络、第二任务子网络以及任务共享子网络，所述第一任务子网络包括第一子网络层和第二子网络层，所述任务共享子网络包括第三子网络层；所述方法包括：将训练数据输入所述嵌入层，得到所述嵌入层的嵌入向量；利用掩码对所述嵌入向量进行加权，得到加权后的嵌入向量；将所述加权后的嵌入向量输入所述第一子网络层和所述第三子网络层，得到所述第一子网络层的第一输出向量和所述第三子网络层的第二输出向量；将所述第一输出向量和所述第二输出向量输入第二子网络层进行处理，得到第三输出向量，所述处理包括利用第二子网络层的中的第一编码变量对所述第一输出向量进行计算，利用第二子网络层的中的第二编码变量对所述第二输出向量进行计算，其中所述第一编码变量指示第一子网络层中神经元与第三子网络层中神经元之间的连接关系，所述第二编码变量指示第二子网络层中神经元与第三子网络层中神经元之间的连接关系。
[0007]第四方面，本公开提供了一种多任务学习模型的训练装置，所述多任务学习模型包括嵌入层、第一任务子网络、第二任务子网络以及任务共享子网络，所述第一任务子网络包括第一子网络层和第二子网络层，所述任务共享子网络包括第三子网络层；所述装置包括：嵌入模块，用于将训练数据输入所述嵌入层，得到所述嵌入层的嵌入向量；特征筛选模块，用于利用掩码对所述嵌入向量进行加权，得到加权后的嵌入向量；嵌入向量处理模块，用于将所述加权后的嵌入向量输入所述第一子网络层和所述第三子网络层，得到所述第一子网络层的第一输出向量和所述第三子网络层的第二输出向量；神经元级稀疏共享模块，用于将所述第一输出向量和所述第二输出向量输入第二子网络层进行处理，得到第三输出向量，所述处理包括利用第二子网络层的中的第一编码变量对所述第一输出向量进行计算，利用第二子网络层的中的第二编码变量对所述第二输出向量进行计算，其中所述第一编码变量指示第一子网络层中神经元与第三子网络层中神经元之间的连接关系，所述第二编码变量指示第二子网络层中神经元与第三子网络层中神经元之间的连接关系。
[0008]第五方面，提供一种基于多任务学习模型的装置，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器被配置为执行所述可执行代码，以实现如第一方面或第三方面所述的方法。
[0009]第六方面，提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被执行时，能够实现如第一方面或第三方面所述的方法。
[0010]第七方面，提供一种计算机程序产品，包括可执行代码，当所述可执行代码被执行时，能够实现如第一方面或第三方面所述的方法。
[0011]本公开多任务学习模型，提出通过子网络层之间的编码变量设置为向量，通过使用编码变量指示子网络层之间相互连接的神经元的连接关系，从而实现了子网络层之间神经元级别的细粒度稀疏连接，进一步改善了多任务学习的学习效果。
附图说明
[0012]图1为一种多任务学习模型的示例图。
[0013]图2为另一多任务学习模型的示例图。
[0014]图3为本公开实施例提供的一多任务学习模型的示例图。
[0015]图4为本公开实施例提供的一实现CSSM共享模块的示例图。
[0016]图5为本公开实施例提供的一实现FSCM特征筛选模块的示例图。
[0017]图6为本公开实施例提供的一多任务学习模型的训练方法的示意图。
[0018]图7为本公开实施例提供的一多任务学习模型的预测方法的示意图。
[0019]图8为本公开实施例提供的一针对不同子网络使用掩码对特征进行加权的对照示例图。
[0020]图9为本公开实施例提供的一装置的结构示意图。
[0021]图10为本公开实施例提供的另一装置的结构示意图。
[0022]图11为本公开实施例提供的又一装置的结构示意图。
具体实施方式
[0023]下面将结合本公开实施例的附图，对本公开实施例中的技术方案进行清楚、完整地描本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多任务学习模型的预测方法，所述多任务学习模型包括嵌入层、第一任务子网络、第二任务子网络以及任务共享子网络，所述第一任务子网络包括第一子网络层和第二子网络层，所述任务共享子网络包括第三子网络层；所述方法包括：将待处理的任务数据输入所述嵌入层，得到所述嵌入层的嵌入向量；利用掩码对所述嵌入向量进行加权，得到加权后的嵌入向量；将所述加权后的嵌入向量输入所述第一子网络层和所述第三子网络层，得到所述第一子网络层的第一输出向量和所述第三子网络层的第二输出向量；将所述第一输出向量和所述第二输出向量输入所述第二子网络层进行处理，得到第三输出向量，所述处理包括利用所述第二子网络层的中的第一编码变量对所述第一输出向量进行计算，利用所述第二子网络层的中的第二编码变量对所述第二输出向量进行计算，其中所述第一编码变量指示所述第一子网络层中神经元与所述第三子网络层中神经元之间的连接关系，所述第二编码变量指示所述第二子网络层中神经元与所述第三子网络层中神经元之间的连接关系。2.根据权利要求1所述的方法，所述掩码为软掩码。3.根据权利要求1所述的方法，所述第一编码变量或所述第二编码变量包括多个元素，所述元素的值为0或1。4.根据权利要求1所述的方法，所述任务数据为图像数据或文本数据。5.根据权利要求4所述的方法，所述文本数据包括以下信息中的一种或多种：用户的身份信息，用户点击的商品信息以及用户购买的商品信息。6.一种基于多任务学习模型的预测装置，所述多任务学习模型包括嵌入层、第一任务子网络、第二任务子网络以及任务共享子网络，所述第一任务子网络包括第一子网络层...

【专利技术属性】
技术研发人员：丁珂，董鑫，何勇，程磊，李海，严坦，张亮，莫林剑，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：