【技术实现步骤摘要】
本专利技术涉及联邦预测，特别涉及一种基于模型分层聚合的退化趋势个性化联邦预测方法及系统。
技术介绍
1、对于包含不同退化程度个体的群体产品性能退化趋势预测任务而言，如何高效地从退化轨迹相似的产品中学习可用的退化规律是提升预测准确度的关键环节，在传统的数据集中式迁移预测中，可以通过多种距离度量手段从群体产品中挑选出与目标产品退化过程最接近的一个或一组拥有完整退化数据的产品，作为指导目标预测模型训练的基础，从而获得更为准确的趋势预测结果。在群体产品退化趋势联邦预测系统中，直接衡量不同客户端退化轨迹之间的相似程度难以实现，取而代之的通常是衡量不同客户端预测模型之间的相似程度，进而利用相似模型对目标客户端预测模型的训练加以指导。
2、现有的个性化联邦学习方法通常对模型中的部分层或整个模型进行个性化，尤其是部分层个性化方法，这类个性化方法需要建立在对于模型各层的作用拥有较为清晰的理解的基础之上。而整个模型的个性化往往基于对客户端模型与全局模型或其他客户端模型之间距离的度量，通过对相近模型参数进行加权聚合生成新一轮目标客户端模型参数。模型参数间的距离虽然在很大程度上衡量了不同客户端退化趋势之间的相似性，但是忽略了模型中不同网络层功能对预测任务的影响，也就是说，最相似的模型中仍可能存在某些网络层并不适合于目标客户端退化数据，这影响了目标客户端预测模型的效果。
技术实现思路
1、本专利技术提供一种基于模型分层聚合的退化趋势个性化联邦预测方法及系统，以便解决如何通过构建更契合于不同客户端
2、本专利技术实施例提供了一种基于模型分层聚合的退化趋势个性化联邦预测方法，包括：
3、在每轮迭代前，服务器端利用簇抽样方法从所有客户端中选取参与当前轮的多个客户端，并将利用每个客户端对应的超网络生成所述客户端当前轮次的预测模型参数下发给对应的客户端；
4、参与当前轮的每个客户端在加载所述当前轮次的预测模型参数后，使用所述当前轮次的预测模型参数在其本地设备退化数据集上进行预测模型更新，得到当前轮次的预测模型参数的变化量，并将所述当前轮次的预测模型参数的变化量发送给所述服务器端；
5、所述服务器端利用所述每个客户端当前轮次的预测模型参数的变化量对所述预测模型参数和超网络进行更新，得到更新后的预测模型参数和超网络；
6、重复上述步骤，直至所述服务器端在判断达到最大轮次后，将最大轮次得到的每个客户端的预测模型参数下发至所述客户端，使每个客户端通过加载所述最大轮次得到的预测模型参数，得到适用于该客户端预测设备退化趋势的预测模型。
7、优选地，所述服务器端在每轮迭代前，利用簇抽样方法从所有客户端中选取参与当前轮的多个客户端包括：
8、所述服务器端在每轮迭代前，根据上一轮各客户端的预测模型参数的梯度或变化量对其相似性进行评估，获取两两客户端之间的相似性；
9、所述服务器端根据所述两两客户端之间的相似性，选取相似度高的客户端聚集成簇，并对所聚集成簇中的多个客户端进行抽样处理，得到参与当前轮的多个客户端。
10、优选地，还包括：
11、所述服务器端为每个客户端配备用于为客户端预测模型的每个网络层生成聚合权重的超网络。
12、优选地，所述服务器端将利用每个客户端对应的超网络生成所述客户端当前轮次的预测模型参数下发给对应的客户端包括：
13、所述服务器端利用每个客户端对应的超网络和客户端嵌入向量生成客户端聚合权重矩阵；
14、所述服务器端利用所述客户端聚合权重矩阵，生成所述客户端当前轮次的预测模型参数。
15、优选地，所述服务器端利用所述客户端聚合权重矩阵，生成所述客户端当前轮次的预测模型参数包括：
16、
17、其中，表示客户端当前轮次的预测模型参数，表示预测模型中第层的参数；表示客户端预测模型中第层的参数；表示第个客户端预测模型中第层网络应用于客户端中相应层的权重；表示预测模型中网络的层数；表示联邦系统中客户端的个数。
18、优选地，所述每个客户端使用所述当前轮次的预测模型参数在其本地设备退化数据集上进行预测模型更新，得到当前轮次的预测模型参数的变化量包括：
19、
20、其中，表示当前轮次预测模型参数的变化量；表示当前轮次更新后预测模型参数；当前轮次更新前预测模型参数；表示本地学习率。
21、优选地，所述服务器端利用所述每个客户端当前轮次的预测模型参数的变化量对所述预测模型参数和超网络进行更新，得到更新后的预测模型参数和超网络包括：
22、
23、其中，表示当前轮次客户端预测模型参数的变化量；表示当前轮次客户端预测模型参数；表示当前轮次更新后客户端预测模型参数；表示当前轮次开始前所有客户端预测模型参数的集合；分别表示客户端超网络中嵌入向量、超网络中模型参数的梯度；表示当前轮次客户端超网络中嵌入向量的变化量；表示当前轮次更新后客户端超网络中的嵌入向量；表示当前轮次客户端超网络中的嵌入向量；表示当前轮次客户端超网络中模型参数的变化量；表示当前轮次更新后客户端超网络中的模型参数；表示当前轮次客户端超网络中的模型参数。
24、优选地，还包括：
25、所述服务器端在首轮迭代前，对每个客户端的预测模型参数和超网络参数进行初始化处理，并向所述所有客户端下发初始化后的预测模型参数，使所有客户端加载所述初始化后的预测模型参数。
26、本专利技术实施例还提供了一种基于模型分层聚合的退化趋势个性化联邦预测系统，包括：
27、服务器端，用于在每轮迭代前，利用簇抽样方法从所有客户端中选取参与当前轮的多个客户端，并将利用每个客户端对应的超网络生成所述客户端当前轮次的预测模型参数下发给对应的客户端；利用所述每个客户端当前轮次的预测模型参数的变化量对所述预测模型参数和超网络进行更新，得到更新后的预测模型参数和超网络；重复上述步骤，直至在判断达到最大轮次后，将最大轮次得到的每个客户端的预测模型参数下发至所述客户端，使每个客户端通过加载所述最大轮次得到的预测模型参数，得到适用于该客户端预测设备退化趋势的预测模型；
28、客户端，用于参与当前轮的每个客户端在加载所述当前轮次的预测模型参数后，使用所述当前轮次的预测模型参数在其本地设备退化数据集上进行预测模型更新，得到当前轮次的预测模型参数的变化量，并将所述当前轮次的预测模型参数的变化量发送给所述服务器端。
29、优选地，所述服务器端具体用于在每轮迭代前，根据上一轮各客户端的预测模型参数的梯度或变化量对其相似性进行评估，获取两两客户端之间的相似性，并根据所述两两客户端之间的相似性，选取相似度高的客户端聚集成簇，并对所聚集成簇中的多个客户端进行抽样处理，得到参与当前轮的多个客户端。
30、本专利技术的有益效果是，在服务端为各客户端配备用于生成模型聚合权重的专属超网络本文档来自技高网...
【技术保护点】
1.一种基于模型分层聚合的退化趋势个性化联邦预测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述服务器端在每轮迭代前，利用簇抽样方法从所有客户端中选取参与当前轮的多个客户端包括：
3.根据权利要求2所述的方法，其特征在于，还包括：
4.根据权利要求3所述的方法，其特征在于，所述服务器端将利用每个客户端对应的超网络生成所述客户端当前轮次的预测模型参数下发给对应的客户端包括：
5.根据权利要求4所述的方法，其特征在于，所述服务器端利用所述客户端聚合权重矩阵，生成所述客户端当前轮次的预测模型参数包括：
6.根据权利要求5所述的方法，其特征在于，所述每个客户端使用所述当前轮次的预测模型参数在其本地设备退化数据集上进行预测模型更新，得到当前轮次的预测模型参数的变化量包括：
7.根据权利要求6所述的方法，其特征在于，所述服务器端利用所述每个客户端当前轮次的预测模型参数的变化量对所述预测模型参数和超网络进行更新，得到更新后的预测模型参数和超网络包括：
8.根据权利要求1所述的方法，其特征
9.一种基于模型分层聚合的退化趋势个性化联邦预测系统，其特征在于，包括：
10.根据权利要求9所述的系统，其特征在于，所述服务器端具体用于在每轮迭代前，根据上一轮各客户端的预测模型参数的梯度或变化量对其相似性进行评估，获取两两客户端之间的相似性，并根据所述两两客户端之间的相似性，选取相似度高的客户端聚集成簇，并对所聚集成簇中的多个客户端进行抽样处理，得到参与当前轮的多个客户端。
...【技术特征摘要】
1.一种基于模型分层聚合的退化趋势个性化联邦预测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述服务器端在每轮迭代前，利用簇抽样方法从所有客户端中选取参与当前轮的多个客户端包括：
3.根据权利要求2所述的方法，其特征在于，还包括：
4.根据权利要求3所述的方法，其特征在于，所述服务器端将利用每个客户端对应的超网络生成所述客户端当前轮次的预测模型参数下发给对应的客户端包括：
5.根据权利要求4所述的方法，其特征在于，所述服务器端利用所述客户端聚合权重矩阵，生成所述客户端当前轮次的预测模型参数包括：
6.根据权利要求5所述的方法，其特征在于，所述每个客户端使用所述当前轮次的预测模型参数在其本地设备退化数据集上进行预测模型...
【专利技术属性】
技术研发人员：马剑，许庶，邹新宇，张明辉，周依婷，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。