【技术实现步骤摘要】
本专利技术涉及边缘计算领域，特别是涉及一种模型融合方法、装置、设备、联邦学习系统及存储介质。
技术介绍
1、联邦学习系统可以在不知晓各个边缘计算设备的原始数据的情况下，基于各边缘计算设备自训练得到的本地网络模型的模型参数，进行全局网络模型的聚合，然而相关技术中通常采用平均聚合的方式，对各边缘计算设备的模型参数进行聚合，然而由于不同边缘计算设备的数据异构性以及数据量差异等原因，不同边缘计算设备的模型参数在联邦学习系统中的重要性不同，平均聚合的方式难以根据重要性区别调节对于各边缘计算设备的学习率，不但影响了全局网络模型的精度，而且训练灵活性较差。
2、因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
技术实现思路
1、本专利技术的目的是提供一种云边端协同计算的模型融合方法、装置、设备、联邦学习系统及计算机可读存储介质，基于联邦学习系统分簇层级聚合的架构，在两次加权聚合时分别参考对应的模型性能进行权重系数的确定，不但可以根据重要性区别调节对于各边缘计算设备的学习率，提升了全局网络模型的精度，使中心服务器在工业设备故障预测、网络安全问题识别与图片分类时发挥最优的效果，而且提升了训练灵活性。
2、为解决上述技术问题，本专利技术提供了一种云边端协同计算的模型融合方法，应用于联邦学习系统中的中心服务器，包括：
3、将联邦学习系统中的边缘计算设备划分为多个簇，并确定出各簇中作为簇头的边缘计算设备；
4、获取各个簇头发送的各
5、针对任一个簇，根据簇的所述簇网络模型的指定特征数据以及簇内各本地网络模型的指定特征数据，确定出簇的簇权重系数；
6、根据所述簇权重系数对各所述簇网络模型的模型参数进行加权聚合，得到全局网络模型；
7、通过所述全局网络模型执行预设任务；
8、其中，所述预设任务包括预测工业设备的故障、识别网络安全问题以及对图片进行分类中的任一种。
9、另一方面，根据簇的所述簇网络模型的指定特征数据以及簇内各本地网络模型的指定特征数据，确定出簇的簇权重系数包括：
10、根据簇的所述簇网络模型的模型性能相对于所述联邦学习系统内各个簇网络模型的模型性能均值的差值，以及簇内各本地网络模型的模型性能，确定出簇的簇权重系数。
11、另一方面，根据簇的所述簇网络模型的模型性能相对于所述联邦学习系统内各个簇网络模型的模型性能均值的差值，以及簇内各本地网络模型的模型性能，确定出簇的簇权重系数包括：
12、将簇权重系数作为输出，根据联邦学习系统中各个簇的簇权重模型输入数据，对预构建的簇权重学习模型进行训练；其中，所述簇权重模型输入数据基于第一子特征数据与第二子特征数据构建得到，所述第一子特征数据为所述簇网络模型的模型性能相对于所述联邦学习系统内各个簇网络模型的模型性能均值的差值，所述第二子特征数据为簇内各本地网络模型的模型性能；
13、将簇的所述簇权重模型输入数据输入至训练好的所述簇权重学习模型，得到簇的簇权重系数。
14、另一方面，将簇权重系数作为输出，根据联邦学习系统中各个簇的簇权重模型输入数据，对预构建的簇权重学习模型进行训练包括：
15、根据联邦学习系统中各个簇网络模型，聚合得到全局初始网络模型；
16、从各个簇中确定若干个边缘计算设备作为测试设备；
17、确定出所述全局初始网络模型在各个所述测试设备的本地测试集上的结果误差；
18、将簇权重系数作为输出，根据联邦学习系统中各个簇的簇权重模型输入数据以及各个簇的所述结果误差，对预构建的簇权重学习模型进行训练；
19、若不满足预设的训练终止条件，则根据簇权重学习模型预测的各簇的簇权重系数重新聚合得到全局初始网络模型，并返回执行确定出所述全局初始网络模型在各个所述测试设备的本地测试集上的结果误差的步骤；
20、若满足预设的训练终止条件，则训练终止。
21、另一方面，簇权重模型输入数据包括第一子输入数据与第二子输入数据；
22、所述第一子输入数据包括：
23、；
24、其中，fc为与pc的拼接向量，为序号为c的簇的簇网络模型的模型性能相对于所述联邦学习系统内各个簇网络模型的模型性能均值的差值，pc为序号为c的簇内各本地网络模型的模型性能的拼接向量；
25、所述第二子输入数据包括pc。
26、另一方面，所述根据所述簇权重系数对各所述簇网络模型的模型参数进行加权聚合，得到全局网络模型包括：
27、基于全局模型加权关系式，根据所述簇权重系数对各所述簇网络模型的模型参数进行加权聚合，得到全局网络模型；
28、所述全局模型加权关系式包括：
29、；
30、其中，w为全局网络模型，为序号为c的簇的簇权重系数，为序号为c的簇的模型参数，c∈（1,2...c-1,c），c为联邦学习系统中簇的总数量。
31、另一方面，将联邦学习系统中的边缘计算设备划分为多个簇，并确定出各簇中作为簇头的边缘计算设备包括：
32、接收各个边缘计算设备的本地网络模型对预设公共数据集的推理结果；
33、基于同簇的边缘计算设备的数据类别相同的原则，根据各个所述推理结果将联邦学习系统中的边缘计算设备划分为多个簇；
34、确定出各簇中作为簇头的边缘计算设备。
35、另一方面，基于同簇的边缘计算设备的数据类别相同的原则，根据各个所述推理结果将联邦学习系统中的边缘计算设备划分为多个簇包括：
36、根据所述推理结果构建各个所述边缘计算设备之间的有权无向图；
37、基于所述有权无向图中各条边的数值将联邦学习系统中的边缘计算设备划分为多个簇。
38、另一方面，确定出各簇中作为簇头的边缘计算设备包括：
39、根据各个所述边缘计算设备的通信性能和/或各个所述边缘计算设备与所述中心服务器的距离，基于通信效率优先原则，确定出各簇中作为簇头的边缘计算设备。
40、另一方面，根据所述簇权重系数对各所述簇网络模型的模型参数进行加权聚合，得到全局网络模型包括：
41、根据所述簇权重系数以及全局损失函数对各所述簇网络模型的模型参数进行加权聚合，得到全局网络模型；
42、所述全局损失函数包括：
43、；
44、其中，为全局网络模型的模型参数，为全局网络模型的模型参数的损失值，n为所述联邦学习系统中边缘计算设备的总数量，为簇sk中的第i个边缘计算设备的模型参数，i∈（1,2,3...nk-1,nk），nk为簇sk中边缘计算设备的本文档来自技高网...
【技术保护点】
1.一种云边端协同计算的模型融合方法，其特征在于，应用于联邦学习系统中的中心服务器，包括：
2.根据权利要求1所述的云边端协同计算的模型融合方法，其特征在于，根据簇的所述簇网络模型的指定特征数据以及簇内各本地网络模型的指定特征数据，确定出簇的簇权重系数包括：
3.根据权利要求2所述的云边端协同计算的模型融合方法，其特征在于，根据簇的所述簇网络模型的模型性能相对于所述联邦学习系统内各个簇网络模型的模型性能均值的差值，以及簇内各本地网络模型的模型性能，确定出簇的簇权重系数包括：
4.根据权利要求3所述的云边端协同计算的模型融合方法，其特征在于，将簇权重系数作为输出，根据联邦学习系统中各个簇的簇权重模型输入数据，对预构建的簇权重学习模型进行训练包括：
5.根据权利要求3所述的云边端协同计算的模型融合方法，其特征在于，簇权重模型输入数据包括第一子输入数据与第二子输入数据；
6.根据权利要求1所述的云边端协同计算的模型融合方法，其特征在于，所述根据所述簇权重系数对各所述簇网络模型的模型参数进行加权聚合，得到全局网络模型包括：>
7.根据权利要求1所述的云边端协同计算的模型融合方法，其特征在于，将联邦学习系统中的边缘计算设备划分为多个簇，并确定出各簇中作为簇头的边缘计算设备包括：
8.根据权利要求7所述的云边端协同计算的模型融合方法，其特征在于，基于同簇的边缘计算设备的数据类别相同的原则，根据各个所述推理结果将联邦学习系统中的边缘计算设备划分为多个簇包括：
9.根据权利要求7所述的云边端协同计算的模型融合方法，其特征在于，确定出各簇中作为簇头的边缘计算设备包括：
10.根据权利要求1至9任一项所述的云边端协同计算的模型融合方法，其特征在于，根据所述簇权重系数对各所述簇网络模型的模型参数进行加权聚合，得到全局网络模型包括：
11.一种云边端协同计算的模型融合方法，其特征在于，应用于联邦学习系统中的中心服务器，包括：
12.一种云边端协同计算的模型融合方法，其特征在于，应用于联邦学习系统中的边缘计算设备，包括：
13.根据权利要求12所述的云边端协同计算的模型融合方法，其特征在于，根据簇内各边缘计算设备的指定特征数据确定出簇内各边缘计算设备的设备权重系数包括：
14.根据权利要求13所述的云边端协同计算的模型融合方法，其特征在于，根据簇内各边缘计算设备的本地网络模型的模型性能以及簇内各边缘计算设备的数据量，确定出簇内各边缘计算设备的设备权重系数包括：
15.根据权利要求14所述的云边端协同计算的模型融合方法，其特征在于，确定簇内各边缘计算设备的本地网络模型的历史模型性能的加权均值包括：
16.根据权利要求14所述的云边端协同计算的模型融合方法，其特征在于，将对所述历史模型性能的加权均值、所述边缘计算设备的数据量以及所述边缘计算设备的最新模型性能进行加权得到的加权值，作为所述边缘计算设备的设备权重系数包括：
17.根据权利要求12所述的云边端协同计算的模型融合方法，其特征在于，根据簇内各边缘计算设备的设备权重系数，对簇内各边缘计算设备的本地网络模型的模型参数进行加权聚合，得到所在簇的簇网络模型包括：
18.一种云边端协同计算的模型融合装置，其特征在于，应用于联邦学习系统中的中心服务器，包括：
19.一种云边端协同计算的模型融合装置，其特征在于，应用于联邦学习系统中的边缘计算设备，包括：
20.一种云边端协同计算的模型融合设备，其特征在于，包括：
21.一种联邦学习系统，其特征在于，包括中心服务器与多个边缘计算设备，所述中心服务器与各个所述边缘计算设备配合训练全局网络模型；
22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至17任一项所述云边端协同计算的模型融合方法的步骤。
...【技术特征摘要】
1.一种云边端协同计算的模型融合方法，其特征在于，应用于联邦学习系统中的中心服务器，包括：
2.根据权利要求1所述的云边端协同计算的模型融合方法，其特征在于，根据簇的所述簇网络模型的指定特征数据以及簇内各本地网络模型的指定特征数据，确定出簇的簇权重系数包括：
3.根据权利要求2所述的云边端协同计算的模型融合方法，其特征在于，根据簇的所述簇网络模型的模型性能相对于所述联邦学习系统内各个簇网络模型的模型性能均值的差值，以及簇内各本地网络模型的模型性能，确定出簇的簇权重系数包括：
4.根据权利要求3所述的云边端协同计算的模型融合方法，其特征在于，将簇权重系数作为输出，根据联邦学习系统中各个簇的簇权重模型输入数据，对预构建的簇权重学习模型进行训练包括：
5.根据权利要求3所述的云边端协同计算的模型融合方法，其特征在于，簇权重模型输入数据包括第一子输入数据与第二子输入数据；
6.根据权利要求1所述的云边端协同计算的模型融合方法，其特征在于，所述根据所述簇权重系数对各所述簇网络模型的模型参数进行加权聚合，得到全局网络模型包括：
7.根据权利要求1所述的云边端协同计算的模型融合方法，其特征在于，将联邦学习系统中的边缘计算设备划分为多个簇，并确定出各簇中作为簇头的边缘计算设备包括：
8.根据权利要求7所述的云边端协同计算的模型融合方法，其特征在于，基于同簇的边缘计算设备的数据类别相同的原则，根据各个所述推理结果将联邦学习系统中的边缘计算设备划分为多个簇包括：
9.根据权利要求7所述的云边端协同计算的模型融合方法，其特征在于，确定出各簇中作为簇头的边缘计算设备包括：
10.根据权利要求1至9任一项所述的云边端协同计算的模型融合方法，其特征在于，根据所述簇权重系数对各所述簇网络模型的模型参数进行加权聚合，得到全局网络模型包括：
11.一种云边端协同计算的模型融合方法，其特征在于，应用于联邦学习...
【专利技术属性】
技术研发人员：李仁刚，王立，贺蒙，范宝余，张润泽，郭振华，赵坤，曹芳，鲁璐，赵雅倩，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。