【技术实现步骤摘要】
本专利技术涉及图像处理，特别涉及一种数据异构条件下的图像处理方法、联邦学习方法、装置、系统、设备及介质。
技术介绍
1、联邦学习是一种分布式机器学习方法。联邦学习的各参与方之间不交互本地数据，而交互本地模型参数，本地模型参数是指边缘计算设备使用本地数据训练模型得到的模型参数。边缘云服务器聚合各边缘计算设备的本地模型参数，得到全局模型参数，并将全局模型发送各个边缘计算设备，全局模型为以全局模型参数作为模型参数的模型。然而，传统的联邦学习方案往往不考虑边缘计算设备之间数据分布的差异，这样会导致模型对某些边缘计算设备的数据分布的适应性不佳，对于数据异构较大的联邦学习环境，这样会导致模型的性能受损。另外，传统的联邦学习方案通常采用中心化的方式进行模型参数聚合，即所有的边缘计算设备都将自身的模型参数发送给边缘云服务器进行聚合，这样会带来较大的通信开销。在训练得到的全局模型为图像处理模型的情况下，利用训练好的图像处理模型进行图像处理的准确性与可靠性不高。
2、有鉴于此，如何解决联邦学习中数据异构性问题，降低通信开销、提升图像处理的准确性与可靠性已成为本领域技术人员亟待解决的技术问题。
技术实现思路
1、本专利技术的目的是提供一种数据异构条件下的图像处理方法、联邦学习方法、装置、系统、设备及介质，能够解决联邦学习中数据异构性问题，降低通信开销。
2、为解决上述技术问题，本专利技术提供了一种数据异构条件下的图像处理方法，包括：
3、根据边缘计算设备的数据分布相似
4、从所述数据同性簇中选择边缘计算设备作为所述数据同性簇的簇头；
5、接收所述簇头上传的所在数据同性簇的簇内模型参数聚合结果；所述簇内模型参数聚合结果为所述数据同性簇内的各边缘计算设备根据簇内树形聚合网络聚合本地模型参数得到的第一层模型参数聚合结果，所述数据同性簇内的各边缘计算设备根据通信最优策略构建得到所述簇内树形聚合网络，所述簇头为所述簇内树形聚合网络的根节点，所述簇内树形聚合网络中子节点向相应的父节点发送模型参数，与父节点的本地模型参数进行模型参数聚合；
6、聚合各所述数据同性簇的簇内模型参数聚合结果，得到第二层模型参数聚合结果，并当以所述第二层模型参数聚合结果作为模型参数的图像处理模型收敛时，将所述图像处理模型下发给各所述边缘计算设备，以使所述边缘计算设备使用所述图像处理模型处理图像。
7、在一些实施例中，从所述数据同性簇中选择边缘计算设备作为所述数据同性簇的簇头包括：
8、选择所述数据同性簇中与簇内其他边缘计算设备的距离最近或与簇内其他边缘计算设备的通信速率最大的边缘计算设备作为所述数据同性簇的簇头。
9、在一些实施例中，所述簇头从簇内其他边缘计算设备中选择预设个数的边缘计算设备，作为所述簇内树形聚合网络的第1层子节点，第1层子节点为与所述簇头通信时数据发送速率最大的边缘计算设备；第i层的子节点从簇内剩余边缘计算设备中选择预设个数的边缘计算设备，作为所述簇内树形聚合网络的第i+1层子节点；第i+1层子节点为与第i层子节点通信时数据发送速率最大的边缘计算设备；i从1取值，直到构建得到所述簇内树形聚合网络。
10、在一些实施例中，聚合各所述数据同性簇的簇内模型参数聚合结果，得到第二层模型参数聚合结果包括：
11、确定当前训练轮次各所述数据同性簇的权重系数；
12、根据各所述数据同性簇的权重系数，对各所述数据同性簇的簇内模型参数进行加权聚合，得到当前训练轮次的所述第二层模型参数聚合结果。
13、在一些实施例中，确定当前训练轮次各所述数据同性簇的权重系数包括：
14、统计所述数据同性簇的各边缘计算设备的本地数据测试精度，得到所述数据同性簇的本地数据测试精度；边缘计算设备的本地数据测试精度为边缘计算设备使用本地数据对上一训练轮次得到的全局模型进行测试的数据测试精度；
15、根据所述数据同性簇的本地数据测试精度确定所述数据同性簇的权重系数；其中，所述数据同性簇的权重系数与所述数据同性簇的本地数据测试精度呈负相关。
16、在一些实施例中，根据所述数据同性簇的本地数据测试精度确定所述数据同性簇的权重系数包括：
17、根据得到所述数据同性簇的权重系数； k c表示第c个数据同性簇的权重系数，μ表示第c个数据同性簇的本地数据测试精度。
18、在一些实施例中，一个训练轮次包括本地模型训练、第一层模型参数聚合与第二层模型参数聚合三个阶段；数据同性簇内的每个边缘计算设备完成第一预设次数的模型参数更新后，进行一次第一层模型参数聚合，每个数据同性簇完成第二预设次数的第一层模型参数聚合后，进行一次第二层模型参数聚合。
19、在一些实施例中，还包括：
20、每当完成预设训练轮次的模型训练后，重新根据边缘计算设备的数据分布相似性对边缘计算设备进行分簇，并再次进行预设训练轮次的模型训练，直到全局模型收敛。
21、在一些实施例中，根据边缘计算设备的数据分布相似性，将所述边缘计算设备划分为若干个数据同性簇包括：
22、根据各所述边缘计算设备的数据分布相似性，构建带权无向图；所述带权无向图中两个边缘计算设备之间的连接边的值为两个边缘计算设备的数据分布相似性的值；
23、根据所述带权无向图，将所述边缘计算设备划分为若干个数据同性簇。
24、在一些实施例中，根据各所述边缘计算设备的数据分布相似性，构建带权无向图包括：
25、从公网搜索公共数据，并基于所述公共数据构建测试数据集；
26、将所述测试数据集下发给各所述边缘计算设备，以使各所述边缘计算设备使用本地模型对所述测试数据集进行推理；
27、接收各所述边缘计算设备上传的推理结果，并计算各所述推理结果的相似度；
28、根据所述推理结果的相似度构建所述带权无向图。
29、在一些实施例中，所述根据所述推理结果的相似度构建所述带权无向图包括：
30、比较各边缘计算设备的推理结果的相似度与预设阈值的大小；
31、若两个边缘计算设备的推理结果的相似度大于预设阈值，则建立两个边缘计算设备之间的连接关系，两个边缘计算设备的推理结果的相似度的值作为两个所述边缘计算设备之间的连接边的值。
32、在一些实施例中，根据所述带权无向图，将所述边缘计算设备划分为若干个数据同性簇包括：
33、初始化所述带权无向图中各边缘计算设备的标签；
34、迭代更新各边缘计算设备的标签；其中，迭代更新各边缘计算设备的标签包括：将值大于设定阈值的连接边所连接的边缘计算设备的标签设置为相同的标签；统计目标边缘计算设备的邻居边缘计算设备的标签出现的次数，并选择邻居边缘计算设备中出现次数最多的本文档来自技高网...
【技术保护点】
1.一种数据异构条件下的图像处理方法，其特征在于，包括：
2.根据权利要求1所述的图像处理方法，其特征在于，从所述数据同性簇中选择边缘计算设备作为所述数据同性簇的簇头包括：
3.根据权利要求2所述的图像处理方法，其特征在于，所述簇头从簇内其他边缘计算设备中选择预设个数的边缘计算设备，作为所述簇内树形聚合网络的第1层子节点，第1层子节点为与所述簇头通信时数据发送速率最大的边缘计算设备；第i层的子节点从簇内剩余边缘计算设备中选择预设个数的边缘计算设备，作为所述簇内树形聚合网络的第i+1层子节点；第i+1层子节点为与第i层子节点通信时数据发送速率最大的边缘计算设备；i从1取值，直到构建得到所述簇内树形聚合网络。
4.根据权利要求3所述的图像处理方法，其特征在于，聚合各所述数据同性簇的簇内模型参数聚合结果，得到第二层模型参数聚合结果包括：
5.根据权利要求4所述的图像处理方法，其特征在于，确定当前训练轮次各所述数据同性簇的权重系数包括：
6.根据权利要求5所述的图像处理方法，其特征在于，根据所述数据同性簇的本地数据测试精度确定所
7.根据权利要求6所述的图像处理方法，其特征在于，一个训练轮次包括本地模型训练、第一层模型参数聚合与第二层模型参数聚合三个阶段；数据同性簇内的每个边缘计算设备完成第一预设次数的模型参数更新后，进行一次第一层模型参数聚合，每个数据同性簇完成第二预设次数的第一层模型参数聚合后，进行一次第二层模型参数聚合。
8.根据权利要求7所述的图像处理方法，其特征在于，还包括：
9.根据权利要求1所述的图像处理方法，其特征在于，根据边缘计算设备的数据分布相似性，将所述边缘计算设备划分为若干个数据同性簇包括：
10.根据权利要求9所述的图像处理方法，其特征在于，根据各所述边缘计算设备的数据分布相似性，构建带权无向图包括：
11.根据权利要求10所述的图像处理方法，其特征在于，根据所述推理结果的相似度构建所述带权无向图包括：
12.根据权利要求11所述的图像处理方法，其特征在于，根据所述带权无向图，将所述边缘计算设备划分为若干个数据同性簇包括：
13.根据权利要求12所述的图像处理方法，其特征在于，判断是否满足迭代更新停止条件包括：
14.一种数据异构条件下的联邦学习方法，其特征在于，包括：
15.一种数据异构条件下的图像处理装置，其特征在于，包括：
16.一种数据异构条件下的联邦学习装置，其特征在于，包括：
17.一种设备，其特征在于，包括：
18.一种数据异构条件下的图像处理系统，其特征在于，包括：
19.一种数据异构条件下的联邦学习系统，其特征在于，包括：
20.一种介质，其特征在于，所述介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至13任一项所述的数据异构条件下的图像处理方法或如权利要求14所述的数据异构条件下的联邦学习方法的步骤。
...【技术特征摘要】
1.一种数据异构条件下的图像处理方法，其特征在于，包括：
2.根据权利要求1所述的图像处理方法，其特征在于，从所述数据同性簇中选择边缘计算设备作为所述数据同性簇的簇头包括：
3.根据权利要求2所述的图像处理方法，其特征在于，所述簇头从簇内其他边缘计算设备中选择预设个数的边缘计算设备，作为所述簇内树形聚合网络的第1层子节点，第1层子节点为与所述簇头通信时数据发送速率最大的边缘计算设备；第i层的子节点从簇内剩余边缘计算设备中选择预设个数的边缘计算设备，作为所述簇内树形聚合网络的第i+1层子节点；第i+1层子节点为与第i层子节点通信时数据发送速率最大的边缘计算设备；i从1取值，直到构建得到所述簇内树形聚合网络。
4.根据权利要求3所述的图像处理方法，其特征在于，聚合各所述数据同性簇的簇内模型参数聚合结果，得到第二层模型参数聚合结果包括：
5.根据权利要求4所述的图像处理方法，其特征在于，确定当前训练轮次各所述数据同性簇的权重系数包括：
6.根据权利要求5所述的图像处理方法，其特征在于，根据所述数据同性簇的本地数据测试精度确定所述数据同性簇的权重系数包括：
7.根据权利要求6所述的图像处理方法，其特征在于，一个训练轮次包括本地模型训练、第一层模型参数聚合与第二层模型参数聚合三个阶段；数据同性簇内的每个边缘计算设备完成第一预设次数的模型参数更新后，进行一次第一层模型参数聚合，每个数据同性簇完成第二预设次数的第一层模型参数聚合后，进行一次第二层模型参...
【专利技术属性】
技术研发人员：范宝余，李仁刚，王立，张润泽，郭振华，赵雅倩，曹芳，赵坤，鲁璐，贺蒙，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。