模型的参数值更新方法、装置、设备及介质制造方法及图纸

本发明专利技术实施例提供了一种模型的参数值更新方法、装置、设备及介质，包括：获得携带标签的样本图像，并将样本图像输入到待训练的预设模型，预设模型中包括多个子模型，每个子模型用于对样本图像进行识别；获得由多个子模型各自对样本图像进行识别后输出的识别结果；按照多个子模型各自对应的权重，对多个子模型各自输出的识别结果进行加权处理，得到处理后识别结果；确定处理后识别结果分别与多个子模型各自输出的识别结果之间的损失差异；根据各个损失差异、处理后识别结果、标签以及多个子模型各自输出的识别结果，确定预设模型的整体损失值；根据整体损失值，对多个子模型的参数值分别进行更新。

【技术实现步骤摘要】
模型的参数值更新方法、装置、设备及介质
本专利技术涉及机器学习
，特别是涉及一种模型的参数值更新方法、装置、设备及介质。
技术介绍
神经网络的学习方式有多种。竞争学习是指网络单元群体中所有单元相互竞争对外界刺激模式响应的权利。竞争取胜的单元的连接权向着对这一刺激模式竞争更有利的方向变化。对于图像识别问题，通常可以采用竞争学习建立模型。此种情况下，竞争学习包括模型参数学习过程中的类间竞争，多模型共同学习时各子模型输出结果的性能竞争等。相关技术中，在竞争学习过程中，一个待训练的模型会包括n个子模型，n个子模型之间存在竞争学习，一般为了提高Inference(推理，即用没有训练过的图像输入训练好的模型进行测试的过程)的实时性，最终落地时通常只选择n个子模型中性能最优的子模型，而其他子模型会被丢弃。通过此种方式，虽然能较高效地提高Inference的实时性，但是，选出的最优的子模型实际性能并不佳，导致利用所选出的最优子模型对图像识别的准确性和效率不符合预期。
技术实现思路
鉴于上述问题，提出了本专利技术本文档来自技高网...

【技术保护点】
1.一种模型的参数值更新方法，其特征在于，包括：/n获得携带标签的样本图像，并将所述样本图像输入到待训练的预设模型，所述预设模型中包括多个子模型，其中，每个子模型用于对所述样本图像进行识别；/n获得由所述多个子模型各自对所述样本图像进行识别后输出的识别结果；/n按照所述多个子模型各自对应的权重，对所述多个子模型各自输出的识别结果进行加权处理，得到处理后识别结果；/n确定所述处理后识别结果分别与所述多个子模型各自输出的识别结果之间的损失差异；/n根据各个损失差异、所述处理后识别结果、所述标签以及所述多个子模型各自输出的识别结果，确定所述预设模型的整体损失值；/n根据所述整体损失值，对所述多个子模...

【技术特征摘要】
1.一种模型的参数值更新方法，其特征在于，包括：
获得携带标签的样本图像，并将所述样本图像输入到待训练的预设模型，所述预设模型中包括多个子模型，其中，每个子模型用于对所述样本图像进行识别；
获得由所述多个子模型各自对所述样本图像进行识别后输出的识别结果；
按照所述多个子模型各自对应的权重，对所述多个子模型各自输出的识别结果进行加权处理，得到处理后识别结果；
确定所述处理后识别结果分别与所述多个子模型各自输出的识别结果之间的损失差异；
根据各个损失差异、所述处理后识别结果、所述标签以及所述多个子模型各自输出的识别结果，确定所述预设模型的整体损失值；
根据所述整体损失值，对所述多个子模型的参数值分别进行更新。


2.根据权利要求1所述的方法，其特征在于，在根据所述整体损失值，对所述多个子模型的参数值分别进行更新之后，所述方法还包括：
确定所述多个子模型在该轮训练之前的多轮训练中各自的参数平均值；
根据预设系数、所述多个子模型被更新后各自的参数值、所述多个子模型在该轮训练之前的多轮训练中各自的参数平均值，对所述多个子模型被更新后各自的参数值进行再次更新，得到所述多个子模型在该轮训练结束后各自的新的参数值。


3.根据权利要求1所述的方法，其特征在于，确定所述处理后识别结果分别与所述多个子模型各自输出的识别结果之间的损失差异，包括：
确定所述处理后识别结果分别与所述多个子模型各自输出的识别结果之间的余弦距离，将所述余弦距离作为所述损失差异；
或者，确定所述处理后识别结果分别与所述多个子模型各自输出的识别结果之间的相对熵，将所述相对熵作为所述损失差异。


4.根据权利要求1所述的方法，其特征在于，根据各个损失差异、所述处理后识别结果、所述标签以及所述多个子模型各自输出的识别结果，确定所述预设模型的整体损失值，包括：
根据所述标签以及所述多个子模型各自输出的识别结果，确定所述多个子模型各自对应的第一损失值；
根据所述标签以及所述处理后识别结果，确定所述处理后识别结果对应的第二损失值；
将所述第二损失值、各个损失差异以及所述多个子模型各自对应的第一损失值之和，确定为所述预设模型的整体损失值。


5.根据权利要求1所述的方法，其特征在于，每张样本图像携带多个属性标签，每个子模型用于对所述样本图像的多个属性进行识别；根据各个损失差异、所述权重后处理得到的识别结果、所述标签以及所述多个子模型各自输出的识别结果，确定所述预设模型的整体损失值，包括；
针对每个属性，根据该属性对应的各个损失差异，与该属性对应的处理后识别结果，该属性的属性标签、以及所述多个子模型各自输出的与该属性对应的识别结果，确定该属性对应的整体损失值；
将所述多个属性分别对应的整体损失值之和，确定为所述预设模型的整体损失值。


6.根据权利要求1所述的方法，其特征在于，所述预设模型还包括权重处理分支；所述方法还包...

【专利技术属性】
技术研发人员：姜慧明，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11