一种基于增量学习和联邦学习的模型训练及部署方法技术

本发明专利技术为解决目前常见的计算机视觉算法模型，基于用户现场的数据进行训练，训练学习过程中，存在训练速度效率低、遗忘已经过学习的旧数据以及数据量和多样性均有限，致使所得模型的准确率和泛化性低的技术问题，而提供一种基于增量学习和联邦学习的模型训练及部署方法。本发明专利技术基于增量学习进行模型训练和部署，每次只用保存新到达的数据和少量旧数据，并可以基于少量数据完成模型的训练和部署，通过加密处理获得权重文件，在保护用户数据隐私的前提下充分利用多用户的数据资源优势。的前提下充分利用多用户的数据资源优势。的前提下充分利用多用户的数据资源优势。

【技术实现步骤摘要】
一种基于增量学习和联邦学习的模型训练及部署方法


[0001]本专利技术属于计算机视觉算法
，具体涉及一种基于增量学习和联邦学习的模型训练及部署方法。

技术介绍

[0002]计算机视觉算法在安全生产智能监管领域应用较为广泛，例如人体检测、人员穿戴检测等。在这些算法模型的训练和部署过程中，往往涉及大量的用户隐私场景，且训练数据是以数据流的形式分批次到达，这就对算法模型的训练范式提出了新的要求。
[0003]在实际项目部署过程中，通常基于用户现场的数据进行模型的训练，以满足用户场景的要求。对每一个用户现场来说，常用的算法模型训练和部署方式有两种：一种是全量学习方式，即基于所有已知的数据重新进行模型训练并部署；另一种是采用迁移学习方法，利用旧数据训练得到的模型作为预训练模型，在新数据上训练得到新模型并部署。
[0004]对于数据分批次到达的任务，如果采用全量学习的方式，每次需要在所有数据上训练，训练速度较慢，效率很低，不利于模型的快速迭代和部署；如果采用迁移学习方法，模型倾向于在新数据上有好的表现，但会丢弃掉旧数据上已学习到的知识。此外，以上训练方式只利用了单个用户现场的数据，数据量和多样性均有限，由此训练得到的模型的准确率和泛化性不高。

技术实现思路

[0005]本专利技术的目的是解决目前常见的计算机视觉算法模型，基于用户现场的数据进行训练，训练学习过程中，存在训练速度效率低、遗忘已经过学习的旧数据以及数据量和多样性均有限，致使所得模型的准确率和泛化性低的技术问题，而提供一种基于增量学习和联邦学习的模型训练及部署方法。
[0006]为达到上述目的，本专利技术采用的技术方案为：
[0007]一种基于增量学习和联邦学习的模型训练及部署方法，其特殊之处在于，包括以下步骤：
[0008]步骤1：根据安全生产智能监管系统中用户的具体需求，确定算法类别和模型选型；
[0009]步骤2：在M个用户各自的现场，定时分批次采集并标注用户数据，建立每个用户现场的N批次的数据流；其中，M≥1，N≥1，且均为正整数；
[0010]步骤3：在每个用户现场基于其前N批次全部数据流进行训练，得到每个用户的原始模型权重；
[0011]步骤4：结合每个用户的现场情况，采用同态加密技术对每个用户的原始模型权重进行加密，并将加密后的模型权重发送回中央服务器；
[0012]步骤5：中央服务器对接收到的模型权重进行解密，基于解密后的M个用户的原始模型权重进行安全聚合，获得更新权重后的统一模型权重，将更新后的模型权重加密后下
发至每个用户各自的现场；
[0013]步骤6：每个用户各自对更新后的模型权重进行解密，结合更新后的模型权重、选取的前N批次和第N+1批次数据中的部分数据，采用增量学习方法进行训练，得到微调后的新模型权重并部署到现场；
[0014]步骤7：将前N+1批次的数据作为旧数据，采集第N+2批次的数据作为新数据，按照步骤4
‑
步骤6的方法进行学习训练，直至达到用户的具体需求精度，得到最终的部署模型并部署到现场。
[0015]进一步地，步骤6中，所述增量学习方法基于回放方式，即在前N批次数据与第N+1批次中的数据中选取部分具有代表性的数据共同进行训练。
[0016]进一步地，步骤6中，所述选取前N批次和第N+1批次数据中的部分数据，具体为：
[0017]1)基于获取数据的时间序列对前N批次数据进行排序；
[0018]2)设定前N批次和第N+1批次数据样本数量的总数为num，前N批次和第N+1批次数据样本数量的比例为x：y，则选取后用于训练的前N批次数据样本数量为选取后用于训练的第N+1批次数据样本数量为
[0019]3)、采用基于时序的线性递增概率值的方法，在排序后的前N批次数据样本中按照每批次对应的概率共选取个数据作为具有代表性的数据，在第N+1批次数据样本中随机选取个数据作为具有代表性的新数据。
[0020]进一步地，步骤1中，所述算法类别为目标检测或图像分类；
[0021]所述模型选型为YOLO v3、YOLO v4、YOLO v5、SSD、Faster
‑
RCNN、VGG、ResNet、MobileNet或者EfficientNet。
[0022]进一步地，步骤5中，所述安全聚合采用样本量加权平均方法，即根据各个用户的样本占比分配权重，进行加权平均。
[0023]进一步地，步骤1中，所述算法类别为目标检测；所述模型选型为YOLO v5。
[0024]与现有技术相比，本专利技术具有的有益技术效果如下：
[0025]1、本专利技术提出的基于增量学习和联邦学习的模型训练及部署方法，基于增量学习进行模型训练和部署，每次只用保存新到达的数据和少量旧数据，在学习新知识的同时，保持对旧知识的掌握，可以基于少量数据完成模型的训练和部署，解决一般的机器学习模型在新任务上训练时经常出现的灾难性遗忘问题。
[0026]2、本专利技术提出的基于增量学习和联邦学习的模型训练及部署方法，将联邦学习算法引入模型的训练和部署过程，通过加密处理获得权重文件，能够在保护用户数据隐私的前提下充分利用多用户的数据资源优势，提高模型的准确率和泛化性。
[0027]3、本专利技术提出的基于增量学习和联邦学习的模型训练及部署方法，能够在确保用户数据隐私的前提下，提高模型对新数据的适应能力和识别准确率；同时无需保留大量训练数据，减小存储和计算开销，提高模型迭代的响应速度。
[0028]4、本专利技术提出的基于增量学习和联邦学习的模型训练及部署方法，应用范围更
广，例如应用到安全生产智能监管领域中的目标检测、图像分类等。
附图说明
[0029]图1为本专利技术基于增量学习和联邦学习的模型训练及部署方法流程图；
[0030]图2为本专利技术实施例中增量学习模型训练及部署过程示意图；
[0031]图3为本专利技术实施例中旧数据选取概率的示意图。
具体实施方式
[0032]为使本专利技术的目的、优点和特征更加清楚，以下结合附图和具体实施例对本专利技术提出的一种基于增量学习和联邦学习的模型训练及部署方法作进一步详细说明。本领域技术人员应当理解的是，这些实施方式仅仅用来解释本专利技术的技术原理，目的并不是用来限制本专利技术的保护范围。
[0033]如图1所示，本专利技术提出的基于增量学习和联邦学习的模型训练及部署方法，包括以下步骤：
[0034]步骤1：根据安全生产智能监管系统中用户的具体需求，确定算法类别和模型选型(如目标检测算法中的YOLOv5模型)；
[0035]算法类别包括目标检测或图像分类等。模型选型可以为YOLO v3、YOLO v4、YOLO v5、SSD、Faster
‑
RCNN、VGG、ResNet、MobileNet、EfficientNet。
[0036]步骤2：在M个用户各自的现场，定时分批次采集并标注用户数据，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于增量学习和联邦学习的模型训练及部署方法，其特征在于，包括以下步骤：步骤1：根据安全生产智能监管系统中用户的具体需求，确定算法类别和模型选型；步骤2：在M个用户各自的现场，定时分批次采集并标注用户数据，建立每个用户现场的N批次数据流；其中，M≥1，N≥1，且均为正整数；步骤3：在每个用户现场基于其前N批次全部数据流进行训练，得到每个用户的原始模型权重；步骤4：结合每个用户的现场情况，采用同态加密技术对每个用户的原始模型权重进行加密，并将加密后的模型权重发送回中央服务器；步骤5：中央服务器对接收到的模型权重进行解密，基于解密后的M个用户的原始模型权重进行安全聚合，获得更新权重后的统一模型权重，将更新后的模型权重加密后下发至每个用户各自的现场；步骤6：每个用户各自对更新后的模型权重进行解密，结合更新后的模型权重、选取的前N批次和第N+1批次数据中的部分数据，采用增量学习方法进行训练，得到微调后的新模型权重并部署到现场；步骤7：将前N+1批次的数据作为旧数据，采集第N+2批次的数据作为新数据，按照步骤4
‑
步骤6的方法进行学习训练，直至达到用户的具体需求精度，得到最终的部署模型并部署到现场。2.根据权利要求1所述的基于增量学习和联邦学习的模型训练及部署方法，其特征在于：步骤6中，所述增量学习方法基于回放方式，即在前N批次数据与第N+1批次中的数据中选取部分具有代表性的数据共同进行训练。...

【专利技术属性】
技术研发人员：李刚，符惠桐，王乐，梅建刚，
申请(专利权)人：西安翔迅科技有限责任公司，
类型：发明
国别省市：