基于剪枝的联邦学习模型聚合整理方法和系统技术方案

技术编号:42655859 阅读:34 留言:0更新日期:2024-09-10 12:15
本发明专利技术提供基于剪枝的联邦学习模型聚合整理方法和系统,从参与联邦学习的所有模型训练端监测得到模型训练日志,并对模型训练日志进行分析,得到模型训练端对应训练的模型下属所有权重层的训练状态特征信息,准确识别权重层的训练进程;还基于训练状态特征信息,筛选满足预设学习状态条件的权重层,并将其区分为第一类权重层和第二类权重层,从中识别学习效果较差和良好的权重层,为后续进行权重层的剪枝和聚合提供可靠思路;还对第一类权重层进行剪枝,以及对第二类权重层进行聚合,从而得到完成聚合的模型,避免将学习效果较差的权重进行聚合而影响聚合的可靠性,还能够减少模型传输数据量以及加密资源与通信资源消耗,降低联邦学习的成本。

【技术实现步骤摘要】

本专利技术涉及神经网络的领域,尤其涉及基于剪枝的联邦学习模型聚合整理方法和系统


技术介绍

1、联邦学习技术通过分布式训练、权重上传聚合等操作步骤,使得联邦学习的各参与方在不共享数据的基础上使用各自的数据进行联合建模,实现对神经网络模型的协作训练,打破数据孤岛。由于训练是分布式的,并且每个联邦学习的参与方都存在数据保密的需求,在传输过程中需要对模型进行复杂的加密和解密处理,模型在聚合过程中需要消耗大量通信资源,以及需要处理模型一致性的问题,这对联邦学习的硬件性能提出较高的要求,使得联邦学习需要大量加密运算资源和通信资源作为支持,无法降低联邦学习的资源成本。


技术实现思路

1、本专利技术的目的在于提供基于剪枝的联邦学习模型聚合整理方法和系统,其从参与联邦学习的所有模型训练端监测得到模型训练日志,并对模型训练日志进行分析,得到模型训练端对应训练的模型下属所有权重层的训练状态特征信息,准确识别权重层的训练进程;还基于训练状态特征信息,筛选满足预设学习状态条件的权重层,并将其区分为第一类权重层和第二类权重层,从中识别本文档来自技高网...

【技术保护点】

1.基于剪枝的联邦学习模型聚合整理方法,其特征在于,包括:

2.如权利要求1所述的基于剪枝的联邦学习模型聚合整理方法,其特征在于:

3.如权利要求1所述的基于剪枝的联邦学习模型聚合整理方法,其特征在于:

4.如权利要求2或3所述的基于剪枝的联邦学习模型聚合整理方法,其特征在于:

5.如权利要求4所述的基于剪枝的联邦学习模型聚合整理方法,其特征在于:

6.基于剪枝的联邦学习模型聚合整理系统,其特征在于,包括:

7.如权利要求6所述的基于剪枝的联邦学习模型聚合整理系统,其特征在于:

8.如权利要求7所述的基于...

【技术特征摘要】

1.基于剪枝的联邦学习模型聚合整理方法,其特征在于,包括:

2.如权利要求1所述的基于剪枝的联邦学习模型聚合整理方法,其特征在于:

3.如权利要求1所述的基于剪枝的联邦学习模型聚合整理方法,其特征在于:

4.如权利要求2或3所述的基于剪枝的联邦学习模型聚合整理方法,其特征在于:

5.如权利要求4所述的基于剪枝的联...

【专利技术属性】
技术研发人员:问好兰雨晴邢智涣
申请(专利权)人:中安非传统安全科技湖北院个人独资
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1