多任务模型训练方法、装置及计算机可读存储介质制造方法及图纸

公开了一种多任务模型训练方法、装置及计算机可读存储介质。该方法包括：确定多个数据源对应的多组样本图像，其中，每一数据源对应一组样本图像；确定待训练的多任务模型的目标BN参数、目标权重参数和目标偏置参数；通过多组样本图像，对目标BN参数、目标权重参数和目标偏置参数进行第一阶段训练；将目标BN参数置于推理状态；在目标BN参数的推理状态下，通过多组样本图像对目标权重参数和目标偏置参数进行第二阶段训练。本公开实施例可以提升训练得到的多任务模型的性能。得到的多任务模型的性能。得到的多任务模型的性能。

【技术实现步骤摘要】
多任务模型训练方法、装置及计算机可读存储介质


[0001]本公开涉及人工智能技术，尤其是一种多任务模型训练方法、装置及计算机可读存储介质。

技术介绍

[0002]多任务模型中可以设置批量归一化(Batch Normalization，BN)层，以利用BN收敛速度快、泛化性能好的优势，然而，目前设置有BN层的多任务模型的性能较差，难以满足实际需求。

技术实现思路

[0003]为了解决目前设置有BN层的多任务模型的性能差的技术问题，提出了本公开。本公开的实施例提供了一种多任务模型训练方法、装置及计算机可读存储介质。
[0004]根据本公开实施例的一个方面，提供了一种多任务模型训练方法，包括：
[0005]确定多个数据源对应的多组样本图像，其中，每一数据源对应一组样本图像；
[0006]确定待训练的多任务模型的目标BN参数、目标权重参数和目标偏置参数；
[0007]通过所述多组样本图像，对所述目标BN参数、所述目标权重参数和所述目标偏置参数进行第一阶段训练；
[0008]将所述目标BN参数置于推理状态；
[0009]在所述目标BN参数的推理状态下，通过所述多组样本图像对所述目标权重参数和所述目标偏置参数进行第二阶段训练。
[0010]根据本公开实施例的另一个方面，提供了一种多任务模型训练装置，包括：
[0011]第一确定模块，用于确定多个数据源对应的多组样本图像，其中，每一数据源对应一组样本图像；
[0012]第二确定模块，用于确定待训练的多任务模型的目标BN参数、目标权重参数和目标偏置参数；
[0013]第一训练模块，用于通过所述第一确定模块确定的所述多组样本图像，对所述第二确定模块确定的所述目标BN参数、所述目标权重参数和所述目标偏置参数进行第一阶段训练；
[0014]第一状态设置模块，用于将所述第二确定模块确定的所述目标BN参数置于推理状态；
[0015]第二训练模块，用于在所述第二确定模块确定的所述目标BN参数的推理状态下，通过所述第一确定模块确定的所述多组样本图像对所述第二确定模块确定的所述目标权重参数和所述目标偏置参数进行第二阶段训练。
[0016]根据本公开实施例的再一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述多任务模型训练方法。
[0017]根据本公开实施例的又一个方面，提供了一种电子设备，所述电子设备包括：
[0018]处理器；
[0019]用于存储所述处理器可执行指令的存储器；
[0020]所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述多任务模型训练方法。
[0021]基于本公开上述实施例提供的多任务模型训练方法、装置、计算机可读存储介质及电子设备，可以先通过多个数据源对应的多组样本图像，对多任务模型的目标BN参数(亦可称为目标批量归一化BN参数)、目标权重参数和目标偏置参数进行第一阶段训练，然后将目标BN参数置于推理状态，以使目标BN参数不再更新，即目标BN参数固定，并在此情况下通过多组样本图像对目标权重参数和目标偏置参数进行第二阶段训练，这样，即便第一阶段训练的BN统计结果不准确，也能够通过第二阶段训练，使多任务模型中的其余参数有效地适配不准确的BN统计结果，从而提升训练得到的多任务模型的性能。
[0022]下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
[0023]通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0024]图1是本公开的实施例中多任务模型的模型结构图。
[0025]图2是本公开一示例性实施例提供的模型训练方法的流程示意图。
[0026]图3是本公开另一示例性实施例提供的模型训练方法的流程示意图。
[0027]图4是本公开再一示例性实施例提供的模型训练方法的流程示意图。
[0028]图5是本公开又一示例性实施例提供的模型训练方法的流程示意图。
[0029]图6是本公开又一示例性实施例提供的模型训练方法的流程示意图。
[0030]图7是本公开又一示例性实施例提供的模型训练方法的流程示意图。
[0031]图8是本公开一示例性实施例提供的模型训练装置的结构示意图。
[0032]图9是本公开另一示例性实施例提供的模型训练装置的结构示意图。
[0033]图10是本公开再一示例性实施例提供的模型训练装置的结构示意图。
[0034]图11是本公开又一示例性实施例提供的模型训练装置的结构示意图。
[0035]图12是本公开又一示例性实施例提供的模型训练装置的结构示意图。
[0036]图13是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
[0037]下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
[0038]应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
[0039]本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别
不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
[0040]还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
[0041]还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
[0042]另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0043]还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
[0044]同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
[0045]以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
[0046]对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
[0047]应注意到：相似的标号和字本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多任务模型训练方法，包括：确定多个数据源对应的多组样本图像，其中，每一数据源对应一组样本图像；确定待训练的多任务模型的目标BN参数、目标权重参数和目标偏置参数；通过所述多组样本图像，对所述目标BN参数、所述目标权重参数和所述目标偏置参数进行第一阶段训练；将所述目标BN参数置于推理状态；在所述目标BN参数的推理状态下，通过所述多组样本图像对所述目标权重参数和所述目标偏置参数进行第二阶段训练。2.根据权利要求1所述的方法，其中，所述目标BN参数包括所述多任务模型的BN均值、BN方差、BN权重和BN偏置，所述目标权重参数包括所述多任务模型的除了BN权重之外的权重，所述目标偏置参数包括所述多任务模型的除了BN偏置之外的偏置；或者，所述目标BN参数包括所述多任务模型的BN均值和BN方差，所述目标权重参数包括所述多任务模型的BN权重和所述多任务模型的除了BN权重之外的权重，所述目标偏置参数包括所述多任务模型的BN偏置和所述多任务模型的除了BN偏置之外的偏置。3.根据权利要求2所述的方法，其中，若所述目标BN参数包括所述多任务模型的BN均值、BN方差、BN权重和BN偏置，所述将所述目标BN参数置于推理状态，包括：将所述多任务模型中BN层的层状态值设置为第一预设值；将所述多任务模型中BN权重和BN偏置各自的参数状态值均设置为第二预设值；或者，若所述目标BN参数包括所述多任务模型的BN均值和BN方差，所述将所述目标BN参数置于推理状态，包括：将所述多任务模型中BN层的层状态值设置为第一预设值。4.根据权利要求1所述的方法，其中，所述将所述目标BN参数置于推理状态，包括：将所述多任务模型中的特征提取网络的第一BN参数置于推理状态，所述第一BN参数至少包括所述特征提取网络的BN均值和BN方差；将所述多任务模型中的特征融合网络的第二BN参数置于推理状态，所述第二BN参数至少包括所述特征融合网络的BN均值和BN方差；所述方法还包括：在所述第一BN参数的推理状态下，通过所述多组样本图像对所述特征提取网络的除了所述第一BN参数之外的权重和偏置，所述第二BN参数，所述特征融合网络的除了所述第二BN参数之外的权重和偏置，以及所述多任务模型中的非共享网络的权重和偏置进行第三阶段训练。5....

【专利技术属性】
技术研发人员：周恩慈，张骞，黄畅，
申请(专利权)人：北京地平线信息技术有限公司，
类型：发明
国别省市：