增量学习方法、装置、电子设备及机器可读存储介质制造方法及图纸

本申请提供一种增量学习方法、装置、电子设备及机器可读存储介质，该方法包括：在增量训练的过程中，依据所述初始模型初始化增量模型，得到初始化后的增量模型；依据增量训练数据以及所述初始训练数据，对所述初始化后的增量模型进行训练，得到训练后的增量模型；其中，在增量训练过程中，依据正则策略对所述初始模型和所述增量模型进行正则约束；所述正则约束包括特征层面的正则约束和/或参数层面的正则约束。该方法可以缓解增量学习过程中旧知识的遗忘。遗忘。遗忘。

【技术实现步骤摘要】
增量学习方法、装置、电子设备及机器可读存储介质


[0001]本申请涉及计算机视觉
，尤其涉及一种增量学习方法、装置、电子设备及机器可读存储介质。

技术介绍

[0002]深度学习增量应用中，通常需要模型能够在学习新知识的同时保持旧场景上的表现。
[0003]现有技术中，一般会使用之前的全部旧数据和新数据一起联合训练，这会带来较大的存储空间需求且不利于数据隐私保护。

技术实现思路

[0004]有鉴于此，本申请提供一种增量学习方法、装置、电子设备及机器可读存储介质，以降低增量训练对存储空间的需求，并提高数据安全性。
[0005]具体地，本申请是通过如下技术方案实现的：
[0006]根据本申请实施例的第一方面，提供一种增量学习方法，包括：
[0007]在增量训练的过程中，依据所述初始模型初始化增量模型，得到初始化后的增量模型；其中，所述初始模型依据初始训练数据进行模型训练得到；
[0008]依据增量训练数据以及所述初始训练数据，对所述初始化后的增量模型进行训练，得到训练后的增量模型；其中，在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增量学习方法，其特征在于，包括：在增量训练的过程中，依据初始模型初始化增量模型，得到初始化后的增量模型；其中，所述初始模型依据初始训练数据进行模型训练得到；依据增量训练数据以及所述初始训练数据，对所述初始化后的增量模型进行训练，得到训练后的增量模型；其中，在增量训练过程中，依据正则策略对所述初始模型和所述增量模型进行正则约束；所述正则约束包括特征层面的正则约束和/或参数层面的正则约束。2.根据权利要求1所述的方法，其特征在于，当所述正则约束包括特征层面的正则约束时，所述依据正则策略对所述初始模型和所述增量模型进行正则约束，包括：依据所述初始训练数据经过所述初始模型的输出与所述初始训练数据经过所述增量模型的输出的差异，对所述增量模型进行参数优化；和/或，当所述正则约束包括参数层面的正则约束时，所述依据正则策略对所述初始模型和所述增量模型进行正则约束，包括：依据所述初始模型以及所述增量模型中，各层的参数之间的差异，对所述增量模型的深层网络和预测层进行参数优化。3.根据权利要求1所述的方法，其特征在于，所述依据增量训练数据以及所述初始训练数据，对所述初始化后的增量模型进行训练，包括：对所述初始训练数据以及所述增量训练数据进行均衡采样，得到采样初始训练数据以及采样增量训练数据；依据所述采样初始训练数据以及采样增量训练数据，对所述初始化后的增量模型进行训练。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：依据所述增量训练数据进行模型训练，得到新增模型；依据正则策略对所述新增模型和所述增量模型进行正则约束；依据所述初始模型和所述增量模型对应的第一正则损失、所述新增模型和所述增量模型对应的第二正则损失，以及所述增量模型的任务损失，确定所述增量模型的最终损失；依据所述增量模型的最终损失，对所述增量模型的训练进行反馈。5.根据权利要求4所述的方法，其特征在于，所述依据所述初始模型和所述增量模型对应的第一正则损失、所述新增模型和所述增量模型对应的第二正则损失，以及所述增量模型的任务损失，确定所述增量模型的最终损失，包括：依据所述第一正则损失、所述第二正则损失，以及所述任务损失，以及第一正则损失权重、第二正则损失权重、任务损失权重，确定所述增量模型的最终损失；其中，所述第一正则损失权重依据所述初始模型针对第一验证集的性能与所述增量模型针对所述第一验证集的性能确定；所述第二正则损失权重依据所述新增模型针对第二验证集的性能与所述增量模型针对所述第二验证集的性能确定。6.根据权利要求1所述的方法，其特征在于，所述依据增量训练数据以及所述初始训练数据，对所述初始化后的增量模型进行训练之前，还包括：对第一输出特征进行特征压缩，并对得到的压缩特征进行存储；其中，所述第一输出特征为所述初始训练数据经过所述初始模型的浅层网络处理后的输出特征；
所述依据增量训练数据以及所述初始训练数据，对所述初始化后的增量模型进行训练，包括：依据初始化后的增量模型的浅层网络对增量训练数据进行处理，得到第二输出特征；以及，对所述压缩特征进行解压缩，得到第三输出特征；依据所述第二输出特征以及所述第三输出特征，对所述初始化后的增量模型的深层网络和预测层进行训练。7.根据权利要求6所述的方法，其特征在于，所述对第一输出特征进行特征压缩，包括：依据所述第一输出特征对自编码器进行训练，所述自编码器包括编码网络和解码网络；依据训练后的自编码器中的编码网络对所述第一输出特征进行编码处理；所述对所述压缩特征进行解压缩，包括：依据所述训练后的自编码器中的解码网络对所述压缩特征进行解码处理。8.根据权利要求7所述的方法，其特征在于，所述自编码器的训练过程中，依据第一输出特征与第三输出特征之间的差异，以及，所述初始模型的深层网络和预测层对所述第三输出特征的处理结果与预设标签信息之间的差异，对所述自编码器进行参数优化。9.一种增量学习装置，其特征在于，包括：初始化单元，用于在增量训练的过程中，依据所述初始模型初始化增量模型，得到初始...

【专利技术属性】
技术研发人员：吴长虹，程战战，钮毅，
申请(专利权)人：上海高德威智能交通系统有限公司，
类型：发明
国别省市：