多任务模型的参数更新方法、装置和存储介质制造方法及图纸

本公开提供了一种多任务模型的参数更新方法、装置和存储介质，涉及人工智能技术领域，具体涉及深度学习等技术领域。具体实现方案为：从多任务模型中获取训练数据所属目标任务所对应的私有网络层，根据训练数据对从第一图形处理器中读取到的共享网络层的第一网络参数和从处理器中读取到的私有网络层的第二网络参数进行计算，以得到第一网络参数和私有网络层的网络参数的计算结果，并控制第一图形处理器根据第一网络参数的计算结果第一网络参数进行更新，并控制处理器根据第二网络参数的计算结果对第二网络参数进行更新。由此，将多个任务所共享的网络层的网络参数和目标任务所的网络层的网络参数分开存储的同时，实现多任务模型的局部参数更新。任务模型的局部参数更新。任务模型的局部参数更新。

【技术实现步骤摘要】
多任务模型的参数更新方法、装置和存储介质


[0001]本公开涉及计算机
，具体涉及人工智能
，具体涉及深度学习等
，尤其涉及多任务模型的参数更新方法、装置和存储介质。

技术介绍

[0002]所谓多任务模型，是指能够针对对象同时实现多个分类任务的模型。例如，在图像分类时，通过多任务模型，可以针对一张图像同时实现多种图像分类。
[0003]相关技术中，如何对具有很多模型参数的多任务模型进行训练，对于多任务模型的应用是十分重要的。

技术实现思路

[0004]本公开提供了一种用于多任务模型的参数更新方法、装置和存储介质。
[0005]根据本公开的一方面，提供了一种多任务模型的参数更新方法，所述方法包括：获取训练数据，其中，所述多任务模型包括：多个任务所共享的多层共享网络层，以及每个所述任务各自对应的多层私有网络层，所述多层共享网络层和所述多层私有网络层均是依次连接的；确定所述训练数据所属的目标任务，其中，所述目标任务为所述多个任务中的一个；针对第i层共享网络层，从第一图形处理器中读取第i层共享网络层的第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多任务模型的参数更新方法，包括：获取训练数据，其中，所述多任务模型包括：多个任务所共享的多层共享网络层，以及每个所述任务各自对应的多层私有网络层，所述多层共享网络层和所述多层私有网络层均是依次连接的；确定所述训练数据所属的目标任务，其中，所述目标任务为所述多个任务中的一个；针对第i层共享网络层，从第一图形处理器中读取第i层共享网络层的第一网络参数，并根据所述训练数据和所述第一网络参数进行计算，其中，i为不大于N的正整数，所述N的取值为所述共享网络层的总数；在处理器中存在所述目标任务的各私有网络层的网络参数情况下，针对所述目标任务的第j层私有网络层，从所述处理器中读取第j层私有网络层的第二网络参数，并根据所述训练数据和所述第二网络参数进行计算，其中，j为不大于M的正整数，所述M的取值为所述私有网络层的总数；控制所述第一图形处理器根据所述第一网络参数的计算结果对所述第一网络参数进行更新，并控制所述处理器根据所述第二网络参数的计算结果对所述第二网络参数进行更新。2.根据权利要求1所述的方法，其中，所述方法还包括：在所述处理器中不存在所述目标任务的各私有网络层的网络参数的情况下，从固态硬盘中读取所述目标任务的第j层私有网络层的第二网络参数。3.根据权利要求1所述的方法，其中，在根据所述训练数据和所述第一网络参数进行计算的计算方式为前向计算且i大于1的情况下，从所述第一图形处理器中读取第i层共享网络层的第一网络参数的过程与第i
‑
1层共享网络层的计算过程同步。4.根据权利要求1所述的方法，其中，在根据所述训练数据和所述第一网络参数进行计算的计算方式为反向计算且i大于1的情况下，从所述第一图形处理器中读取第i
‑
1层共享网络层的第一网络参数的过程与第i层共享网络层的计算过程同步。5.根据权利要求1所述的方法，其中，在根据所述训练数据和所述第二网络参数进行计算的计算方式为前向计算且j大于1的情况下，从所述处理器中读取第j层私有网络层的第二网络参数的过程与第j
‑
1层私有网络层的计算过程同步。6.根据权利要求1所述的方法，其中，在根据所述训练数据和所述第二网络参数进行计算的计算方式为反向计算且j大于1的情况下，从所述处理器中读取第j
‑
1层私有网络层的第二网络参数的过程与第j层私有网络层的计算过程同步。7.根据权利要求2所述的方法，其中，在根据所述训练数据和所述第二网络参数进行计算的计算方式为前向计算且j大于1的情况下，从所述固体硬盘中读取第j层私有网络层的第二网络参数的过程与第j
‑
1层私有网络层的计算过程同步。8.根据权利要求2所述的方法，其中，在根据所述训练数据和所述第二网络参数进行计算的计算方式为反向计算且j大于1的情况下，从所述固体硬盘中读取第j
‑
1层私有网络层的第二网络参数的过程与第j层私有网络层的计算过程同步。9.根据权利要求2
‑
8任一项所述的方法，其中，在所述从第一图形处理器中读取第i层共享网络层的第一网络参数之前，所述方法还包括：获取与所述第i层共享网络层对应的多个第二图形处理器，从多个所述第二图形处理
器中并行获取所述第i层共享网络层的参数切片；对所述参数切片进行聚合，以得到所述第i层共享网络层的第一网络参数；将所述第一网络参数缓存到所述第一图形处理器上。10.根据权利要求1或2所述的方法，其中，所述方法还包括：从固态硬盘中获取所述目标任务的各私有网络层的第二网络参数；将所述第二网络参数缓存到所述处理器上。11.根据权利要求2所述的方法，其中，所述方法还包括：将所述处理器中的更新后的第二网络参数同步保存到所述固体硬盘中。12.根据权利要求11所述的方法，其中，采用优化器对所述第二网络参数进行更新时，所述方法还包括：将所述处理器中的所述优化器的参数信息同步保存到所述固体硬盘上。13.一种多任务模型的参数更新装置，包括：第一获取模块，用于获取训练数据，其中，所述多任务模型包括：多个任务所共享的多层共享网络层，以及每个所述任务各自对应的多层私有网络层，所述多层共享网络层和所述多层私有网络层均是依次连接的；确定模块，用于确定所述训练数据所属的目标任务，其中，所述目标任务为所述多个任务中的一个；第一处理模块，用于针对第i层共享网络层，从第一图形处理器中读取第i层...

【专利技术属性】
技术研发人员：白扬帆，沈亮，巩伟宝，吴鑫烜，吴志华，于佃海，姚雪峰，冯丹蕾，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：