【技术实现步骤摘要】
本专利技术涉及神经网络的领域，尤其涉及基于剪枝的联邦学习模型聚合整理方法和系统。
技术介绍
1、联邦学习技术通过分布式训练、权重上传聚合等操作步骤，使得联邦学习的各参与方在不共享数据的基础上使用各自的数据进行联合建模，实现对神经网络模型的协作训练，打破数据孤岛。由于训练是分布式的，并且每个联邦学习的参与方都存在数据保密的需求，在传输过程中需要对模型进行复杂的加密和解密处理，模型在聚合过程中需要消耗大量通信资源，以及需要处理模型一致性的问题，这对联邦学习的硬件性能提出较高的要求，使得联邦学习需要大量加密运算资源和通信资源作为支持，无法降低联邦学习的资源成本。
技术实现思路
1、本专利技术的目的在于提供基于剪枝的联邦学习模型聚合整理方法和系统，其从参与联邦学习的所有模型训练端监测得到模型训练日志，并对模型训练日志进行分析，得到模型训练端对应训练的模型下属所有权重层的训练状态特征信息，准确识别权重层的训练进程；还基于训练状态特征信息，筛选满足预设学习状态条件的权重层，并将其区分为第一类权重层和第二类权重层，从中识别学习效果较差和良好的权重层，为后续进行权重层的剪枝和聚合提供可靠思路；还对第一类权重层进行剪枝，以及对第二类权重层进行提取，从而得到完成聚合整理的模型，准确筛选进行聚合的权重层，避免将学习效果较差的权重进行聚合而影响聚合的可靠性，还能够减少模型传输数据量以及加密资源与通信资源消耗，降低联邦学习的成本。
2、本专利技术是通过以下技术方案实现：
3、基于剪枝
4、对参与联邦学习的所有模型训练端进行监测，得到所有模型训练端各自的模型训练日志；对所述模型训练日志进行分析，得到所述模型训练端对应训练的模型下属所有权重层各自的训练状态特征信息；
5、基于所述训练状态特征信息，筛选满足预设学习状态条件的所有权重层；对满足预设学习状态条件的所有权重层进行参数更新状态识别，以此区分得到若干第一类权重层和若干第二类权重层；
6、对所述模型内部的所有第一类权重层进行剪枝，以及对所述模型内部所有第二类权重层进行提取，从而得到完成聚合整理的模型；基于所述联邦学习的运行信息，对所有模型训练端完成聚合整理的模型进行聚合。
7、可选地，对参与联邦学习的所有模型训练端进行监测，得到所有模型训练端各自的模型训练日志；对所述模型训练日志进行分析，得到所述模型训练端对应训练的模型下属所有权重层各自的训练状态特征信息，包括：
8、基于参与联邦学习的所有模型训练端各自的网络地址信息，对所述模型训练端进行训练进程监听，得到所有模型训练端各自已经执行的模型训练操作对应的模型训练日志；
9、对所述模型训练日志进行分析，得到所述模型训练端对应训练的模型下属所有权重层各自在训练过程中已完成训练操作进程状态信息，以此作为所述训练状态特征信息。
10、可选地，对参与联邦学习的所有模型训练端进行监测，得到所有模型训练端各自的模型训练日志，包括：
11、步骤s1，利用下面公式(1)，根据对参与联邦学习的所有模型训练端进行监测的情况，控制所有普通模型训练日志的普通生成周期，
12、
13、在上述公式(1)中，tp表示所有模型训练日志的普通生成周期，即每个模型训练端均按照经过tp时间长度后生成一个普通模型训练日志，其中tp的单位为小时；t(a)表示第a个模型训练端进行监测时的每个数据从输入到输出的时长，其中t(a)单位为秒；n表示模型训练端的总个数；表示求取所有模型训练端进行监测时的每个数据从输入到输出的时长中的最大值；int*+表示对括号内的数值进行向下取整；
14、步骤s2，利用下面公式(2)，根据参与联邦学习的每个模型训练端的特殊事件的时间节点情况，生成每个模型训练端的节点模型训练日志生成周期，
15、
16、在上述公式(2)中，tj(a)表示第a个模型训练端的节点模型训练日志生成周期；tk(a)表示第a个模型训练端的第k个特殊事件的时间节点；tk+1(a)表示第a个模型训练端的第k+1个特殊事件的时间节点；m表示第a个模型训练端直到当前时刻以生成的特殊事件总个数；表示将k的值从1取值到m-1代入tk+1(a)-tk(a)中得到代入后的所有数值中的最小值；
17、步骤s3，利用下面公式(3)，根据每个模型训练端的节点模型训练日志生成周期以及所有普通模型训练日志的普通生成周期，对重复生成的每个模型训练日志进行剔除，
18、y(a)＝{(x∈z)&&(y∈z)&&[x×tp＝y×tj(a)]}|y(3)
19、在上述公式(3)中，y(a)表示将第a个模型训练端在第y(a)个周期生成的节点日志进行控制剔除；z表示正整数集合；x,y均表示变量；{(x∈z)&&(y∈z)&&[x×tp＝y×tj(a)]}|y表示计算出满足x×tp＝y×tj(a)算式且x,y均为正整数情况下的y值；&&表示逻辑关系与。
20、可选地，基于所述训练状态特征信息，筛选满足预设学习状态条件的所有权重层；对满足预设学习状态条件的所有权重层进行参数更新状态识别，以此区分得到若干第一类权重层和若干第二类权重层，包括：
21、基于所述已完成训练操作进程状态信息，得到所述权重层在训练过程成已完成训练操作的类型信息和数量信息；基于所述类型信息和所述数量信息，判断所述权重层是否已经完成一个模型学习周期内的所有训练操作，若是，则确定所述权重层满足预设学习状态条件；若否，则确定所述权重层不满足预设学习状态条件；
22、基于满足预设学习状态条件的所有权重层各自的参数更新记录，确定满足预设学习状态条件的所有权重层各自的参数更新速度状态信息；再基于所述参数更新速度状态信息，确定满足预设学习状态条件的所有权重层各自的平均参数更新速度；将所述平均参数更新速度与预设更新速度阈值进行对比，若所述平均参数更新速度小于预设更新速度阈值，则确定相应权重层属于第一类权重层；否则，确定相应权重层属于第二类权重层。
23、可选地，对所述模型内部的所有第一类权重层进行剪枝，以及对所述模型内部所有第二类权重层进行提取，从而得到完成聚合整理的模型；基于所述联邦学习的运行信息，对所有模型训练端完成聚合整理的模型进行聚合，包括：
24、基于所有第一类权重层各自在所述模型内部接入的网络位置信息，确定所有第一类权重层各自在所述模型内部对应的连接神经元节点位置；再基于所述连接神经元节点位置，对所述模型内部的所有第一类权重层进行剪枝；以及基于所述模型内部所有第二类权重层各自的权重信息，对所有第二类权重层进行提取，从而得到完成聚合整理的模型；
25、对所述联邦学习的学习日志进行分析，判断参与所述联邦学习的所有模型训练端是否均已经完成相应的学习训练任务；若是，则所有模型训练端完成本文档来自技高网...
【技术保护点】
1.基于剪枝的联邦学习模型聚合整理方法，其特征在于，包括：
2.如权利要求1所述的基于剪枝的联邦学习模型聚合整理方法，其特征在于：
3.如权利要求1所述的基于剪枝的联邦学习模型聚合整理方法，其特征在于：
4.如权利要求2或3所述的基于剪枝的联邦学习模型聚合整理方法，其特征在于：
5.如权利要求4所述的基于剪枝的联邦学习模型聚合整理方法，其特征在于：
6.基于剪枝的联邦学习模型聚合整理系统，其特征在于，包括：
7.如权利要求6所述的基于剪枝的联邦学习模型聚合整理系统，其特征在于：
8.如权利要求7所述的基于剪枝的联邦学习模型聚合整理系统，其特征在于：
9.如权利要求8所述的基于剪枝的联邦学习模型聚合整理系统，其特征在于：
【技术特征摘要】
1.基于剪枝的联邦学习模型聚合整理方法，其特征在于，包括：
2.如权利要求1所述的基于剪枝的联邦学习模型聚合整理方法，其特征在于：
3.如权利要求1所述的基于剪枝的联邦学习模型聚合整理方法，其特征在于：
4.如权利要求2或3所述的基于剪枝的联邦学习模型聚合整理方法，其特征在于：
5.如权利要求4所述的基于剪枝的联...
【专利技术属性】
技术研发人员：问好，兰雨晴，邢智涣，
申请(专利权)人：中安非传统安全科技湖北院个人独资，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。