System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术属于人工智能领域,具体涉及基于模型公平的电力图像处理方法及系统。
技术介绍
1、在基于联邦学习的电力巡检图像处理研究中,不同的电力公司或第三方机构共同加入联邦训练,通过贡献自己本地训练模型的参数信息,协同构建模型,最终训练得到性能更好的模型或获得一定的收益。然而在传统的基于fedavg方法的模型聚合中,最终分发给各个参与方的是一个具有相同性能的全局模型而没有考虑不同参与方之间提供数据的贡献差异。在实际的应用中,由于参与联邦学习的参与方会存在成本消耗、竞争等原因,不同的电力公司、第三方机构等参与方提供的电力巡检图像数据数量、质量、成本代价等是不同的,对于最终图像处理模型训练结果的贡献也是不同的。如果参与到联邦学习的参与方不能得到公平合理的回报,会引起部分参与方不愿意加入到电力目标检测的联邦训练中,无法保证参与联邦学习的参与方数量,导致联邦训练无法继续或训练效果不佳。
技术实现思路
1、本专利技术所要解决的技术问题是:提出基于模型公平的电力图像处理方法及系统,将基于模型公平的机制引入电力巡检图像的联邦学习任务中,考虑了不同参与方之间提供数据的贡献差异,通过计算各参与方的贡献和各参与方的奖励(之间的相关性来量化联邦协作的公平性,为评价联邦学习系统的公平性提供了定量依据。
2、本专利技术为解决上述技术问题采用以下技术方案:
3、基于模型公平的电力图像处理方法,包括以下步骤:
4、s1、服务器端主动发起联邦学习或接受客户端发来的请求开始联邦学习,
5、s2、各客户端利用本地电力图像数据集进行本地训练得到全局图像处理模型权重参数的更新值后加密发送至服务器端。
6、s3、服务器端对步骤s2中接收到的模型参数更新值进行聚合,得到全局模型参数更新值。
7、s4、服务器端根据各客户端的贡献度,将相应数量的全局模型参数更新值分配给各客户端。
8、s5、根据分配到的全局模型参数更新值,各客户端进行本地模型的更新。
9、s6、循环执行步骤s2-s5,直至全局模型达到收敛或达到预设的训练终止条件,联邦学习训练完成。
10、s7、基于步骤s6中联邦学习训练后的全局模型,对电力图像进行处理。
11、进一步的,步骤s3中,得到全局模型参数更新值的公式如下:
12、
13、其中,s表示服务器端,k表示客户端所有参与方的数量,k表示第k个参与方,t表示第t通信轮次,表示第k个参与方在第t轮的模型参数更新值,表示全局模型参数在第t轮的更新值,表示第k个参与方在第t轮次参与联邦训练时使用的本地电力巡检图像数据集数量。
14、进一步的,步骤s4中,各客户端贡献度的衡量方法有:基于客户端单方训练的贡献度衡量方法、基于动态轮次变化的客户端单方训练的贡献度衡量方法和基于影响函数的贡献度衡量方法;三种各客户端贡献度的衡量方法的计算公式如下:
15、(1)基于客户端单方训练的贡献度衡量方法的各客户端贡献度的计算公式为:
16、
17、其中,n表示所有客户端的数量,ci表示第i个客户端的贡献度,表示第i个客户端基于其本地的电力巡检图像数据集训练得到的模型,表示根据模型性能评价指标得到的第i个客户端的单方训练的效益。
18、(2)基于动态轮次变化的客户端单方训练的贡献度衡量方法的各客户端贡献度的计算公式为:
19、
20、其中,为第t轮联邦学习时第i个客户端基于其本地的电力巡检图像数据集训练得到的模型,为第t轮联邦学习时由模型性能评价指标得到的第i个客户端的单方训练的效益;
21、(3)基于影响函数的贡献度衡量方法的各客户端贡献度的计算公式为:
22、
23、其中,χ表示所有客户端的集合,表示所有客户端参与联邦学习训练得到的模型参数,是除了第i个客户端以外的其他客户端都参与联邦学习训练得到的模型参数,表示所有客户端都参与联邦学习训练得到的模型的效益,是除了第i个客户端以外的其他客户端都参与联邦学习训练得到的模型的效益,表示第i个客户端的效用增益。
24、进一步的,步骤s4中,采用最大值方法,将模型的参数更新值按照从大到小的顺序排列,并按照各参与方的贡献度占比,将相应数量的全局模型参数更新值分配给各参与方,具体公式为:
25、
26、其中,ck表示第k个参与方的贡献度值,max(c)表示贡献度值中的最大值,numk表示分配给第k个参与方的全局模型参数更新值数量。
27、进一步的,步骤s5中,对本地模型更新的过程如下公式所示:
28、
29、其中,表示第k个参与方在第t轮联邦学习训练后的本地模型参数值,表示服务器端第t轮分配给参与方k的全局模型参数更新值。
30、进一步的,对于基于客户端单方训练的贡献度衡量方法,取第i个客户端单方训练收敛后,使用图像处理模型的最高平均精确率值平均精确率并进行归一化作为参与方的单方训练的效益,则此时的贡献度衡量方法公式为:
31、
32、其中,map表示平均精确率,指的是第i个客户端的本地模型平均精确率。
33、进一步的,基于动态轮次变化的客户端单方训练的贡献度衡量方法,每一轮都根据各个参与方的模型精度,动态地调整其贡献值;在计算贡献度时,将本轮次的贡献度与上一轮的历史贡献度进行加权后,使用双曲正弦函数sinh增加各参与方之间的贡献区分度,归一化得到最终的贡献度,计算式如下式所示:
34、
35、ci'←sinh(αci)
36、
37、其中,表示上一轮的历史贡献度,ci′表示最终的贡献度,η表示历史贡献度与本轮贡献度的权衡因子,α为控制区分度的参数。
38、进一步的,本专利技术还提出了基于模型公平的电力图像处理系统,包括:
39、通信模块,用于将客户端本地训练的模型参数上传至服务器,以及将服务器的全局模型参数传递给本地。
40、加密模块,用于能够在本地模型参数上传至服务器及服务器传递更新后的全局模型参数至本地的过程中,通过加密方式,对信息进行加密。
41、任务请求与接收模块,用于客户端向服务器端发出联邦学习任务的请求,或者客户端在接收到服务器端发起的联邦任务时,选择是否加入本次训练。
42、任务发起模块,能够使服务器端主动或被动的发起一个联邦学习任务,并询问各客户端是否愿意参加。
43、本地训练模块,用于各客户端利用本地电力图像数据集进行分类模型或检测模型的训练,得到全局图像处理模型权重参数的更新值后加密发送至服务器端。
44、聚合模块,用于服务器端接收到各参与方的模型参数更新值后,对这些参数更新值进行聚合,得到全局模型参数更新值,并以此更新全局模型参本文档来自技高网...
【技术保护点】
1.基于模型公平的电力图像处理方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于模型公平的电力图像处理方法,其特征在于,步骤S3中,得到全局模型参数更新值的公式如下:
3.根据权利要求1所述的基于模型公平的电力图像处理方法,其特征在于,步骤S4中,各客户端贡献度的衡量方法有:基于客户端单方训练的贡献度衡量方法、基于动态轮次变化的客户端单方训练的贡献度衡量方法和基于影响函数的贡献度衡量方法;三种各客户端贡献度的衡量方法的计算公式如下:
4.根据权利要求3所述的基于模型公平的电力图像处理方法,其特征在于,步骤S4中,采用最大值方法,将模型的参数更新值按照从大到小的顺序排列,并按照各参与方的贡献度占比,将相应数量的全局模型参数更新值分配给各参与方,具体公式为:
5.根据权利要求1所述的基于模型公平的电力图像处理方法,其特征在于,步骤S5中,对本地模型更新的过程如下公式所示:
6.根据权利要求3所述的基于模型公平的电力图像处理方法,其特征在于,对于基于客户端单方训练的贡献度衡量方法,取第i个客户端单方训练收敛后,使用
7.根据权利要求3所述的基于模型公平的电力图像处理方法,其特征在于,基于动态轮次变化的客户端单方训练的贡献度衡量方法,每一轮都根据各个参与方的模型精度,动态地调整其贡献值;在计算贡献度时,将本轮次的贡献度与上一轮的历史贡献度进行加权后,使用双曲正弦函数sinh增加各参与方之间的贡献区分度,归一化得到最终的贡献度,计算式如下式所示:
8.基于模型公平的电力图像处理系统,其特征在于,包括:
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读的存储介质,所述计算机可读的存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行所述权利要求1至7中任一项所述的方法。
...【技术特征摘要】
1.基于模型公平的电力图像处理方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于模型公平的电力图像处理方法,其特征在于,步骤s3中,得到全局模型参数更新值的公式如下:
3.根据权利要求1所述的基于模型公平的电力图像处理方法,其特征在于,步骤s4中,各客户端贡献度的衡量方法有:基于客户端单方训练的贡献度衡量方法、基于动态轮次变化的客户端单方训练的贡献度衡量方法和基于影响函数的贡献度衡量方法;三种各客户端贡献度的衡量方法的计算公式如下:
4.根据权利要求3所述的基于模型公平的电力图像处理方法,其特征在于,步骤s4中,采用最大值方法,将模型的参数更新值按照从大到小的顺序排列,并按照各参与方的贡献度占比,将相应数量的全局模型参数更新值分配给各参与方,具体公式为:
5.根据权利要求1所述的基于模型公平的电力图像处理方法,其特征在于,步骤s5中,对本地模型更新的过程如下公式所示:
6.根据权利要求3所述的基于模型公平的电力图像处理方法,其特征在于,对于基于客户端...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。