System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及联邦学习,特别是涉及一种能源联邦学习数据选择方法、装置和能源联邦学习系统。
技术介绍
1、随着边缘计算和人工智能技术的发展,传统电网正在向泛在电力物联网进行智能化升级,以实现电力系统各个环节的互联和交互,加强数据处理能力、促进数据的融合应用,使其成为具有状态全感知、信息高效处理、应用便捷灵活等特征的智慧服务系统。尤其,分散在网络中的能源数据,通过联邦学习的方式,能够在不进行数据共享保护数据安全性的同时,保障智能服务。
2、然而,受限于电力物联网有限的通信资源和数据设备有限的电量,在联邦学习过程中,并不是所有能源数据都能参与到模型训练过程中。此外,由于通信环境的动态特性和数据终端间通信环境的差异性,不合适的数据选择可能会导致无法在规定时间内完成模型更新,导致学习速度慢的问题;并且由于分散在网络中的能源数据具有非独立同分布的特性,不合适的数据选择可能会导致学习到的模型向部分数据倾斜,导致学习准确率低的问题。
3、针对这一问题,在现有研究中,存在不同的数据选择方法,但是这些现有方法所存在的问题在于,在计算机科学领域,所提出的数据选择方法往往仅解决数据非独立同分布带来的数据倾斜问题,在无线通信领域,所提出的数据选择方法往往仅解决通信环境差异性带来的无法按时完成模型更新的问题。而能够同时解决这两类问题的数据选择方法则往往忽略模型更新轮次间的相互影响关系,并不能真正有效的解决现有问题。
技术实现思路
1、为了解决上述技术问题,本专利技术提供了一种自适应的能
2、第一方面,本专利技术提供了一种能源联邦学习数据选择方法,所述方法包括:
3、获取当前通讯轮次内各个终端设备发送的终端数据,并根据数据相似性,对所述终端数据进行聚类,得到若干个聚类簇;
4、根据可行约束条件,从所述聚类簇中选取出可行数据集合;
5、根据开销最小化准则,对所述可行数据集合进行迭代更新,得到全局模型训练数据。
6、进一步地,所述根据可行约束条件,从所述聚类簇中选取出可行数据集合的步骤包括:
7、从每个聚类簇中随机选取一组终端数据,判断所述终端数据是否满足可行约束条件,直至得到满足可行约束条件的所述终端数据,并将所述终端数据作为可行数据;
8、将各个聚类簇中的可行数据组成可行数据集合。
9、进一步地,所述判断所述终端数据是否满足可行约束条件,直至得到满足可行约束条件的所述终端数据,并将所述终端数据作为可行数据的步骤包括:
10、根据可行约束条件建立凸优化问题,并根据所述终端数据,对所述凸优化问题进行求解,得到最优解;
11、判断所述最优解是否大于时延门限,若否,则将所述终端数据作为可行数据;若是,则从聚类簇中重新选取终端数据,并进行求解和判断,直至得到可行数据。
12、进一步地,所述根据开销最小化准则,对所述可行数据集合进行迭代更新,得到全局模型训练数据的步骤包括:
13、从随机选取的聚类簇中随机选取一组满足可行约束条件且与可行数据不同的新终端数据;
14、从可行数据集合中提取与新终端数据为同一聚类簇的对应可行数据,并分别获取对应可行数据和新终端数据的选择开销,其中,所述选择开销根据数据的样本量、选择能耗和本地虚拟能量队列长度计算得到;
15、根据开销最小化准则,使用新终端数据对所述可行数据集合进行多轮迭代更新,得到全局模型训练数据。
16、进一步地,所述根据开销最小化准则,使用新终端数据对所述可行数据集合进行多轮迭代更新的步骤包括:
17、将新终端数据的选择开销减去对应可行数据的选择开销,得到开销差,并判断所述开销差是否大于零;
18、若是,则根据选择新终端数据的执行次数,计算选择概率,并根据选择概率,使用新终端数据替换对应可行数据,得到更新后的可行数据集合;
19、继续选择新终端数据对可行数据集合进行更新,直至达到预设的迭代停止条件。
20、进一步地,所述则根据选择新终端数据的执行次数,计算选择概率的步骤包括:
21、根据选择新终端数据的执行次数,计算概率调控参数;
22、根据所述开销差和所述概率调控参数,计算选择概率。
23、进一步地,在所述得到全局模型训练数据步骤之后,还包括:
24、根据全局模型训练数据的选择能耗,对本地虚拟能量队列长度进行更新。
25、进一步地,采用如下公式计算所述选择能耗:
26、
27、式中,ekl(t)表示在第t轮通讯中选择第k个聚类簇中第l组数据消耗的能量,xkl(t)表示在第t轮通讯中第k个聚类簇中第l组数据是否被选择,dkl表示第k个聚类簇中第l组数据的样本量,δkl(t)表示在第t轮通讯中第k个聚类簇中第l组数据在本地训练一个样本的时延,b表示训练模型的大小,rkl(t)表示在第t轮通讯中第k个聚类簇中第l组数据上传至边缘服务器的通信速率,pkl表示第k个聚类簇中第l组数据上传至边缘服务器时的功率值;
28、采用如下公式计算所述本地虚拟能量队列长度:
29、qkl(t+1)=max{qkl(t+1)+ekl(t)-eth,0}
30、式中,qkl(t+1)表示在t+1轮通讯中第k个聚类簇中第l组数据的本地虚拟能量队列长度,eth表示平均能耗门限值;
31、采用如下公式计算所述选择开销:
32、
33、式中,k表示聚类簇的数量,lk表示第k个聚类簇中数据的组数,v表示权重系数;
34、采用如下公式计算概率调控参数:
35、
36、式中,η0表示初始概率调控参数,n表示选择第二可行数据的执行次数;
37、采用如下公式计算选择概率:
38、
39、式中,△表示开销差,p表示使用所述第二可行数据对所述第一可行数据进行更新的选择概率。
40、第二方面,本专利技术提供了一种能源联邦学习数据选择装置,所述装置包括:
41、数据聚类模块,用于获取当前通讯轮次内各个终端设备发送的终端数据,并根据数据相似性,对所述终端数据进行聚类,得到若干个聚类簇;
42、第一数据选择模块,用于根据可行约束条件,从所述聚类簇中选取出可行数据集合;
43、第二数据选择模块,用于根据开销最小化准则,对所述可行数据集合进行迭代更新,得到全局模型训练数据。
44、第三方面,本专利技术实施例还提供了一种能源联邦学习系统,包括一个边缘服务器和至少两个终端设备;
45、所述终端设备具有用于全局模型训练的终端数据;
46、所述边缘服务器采用如上所述的方法从所述终端设备发送的终端数据中选取全局模型训练数据。本文档来自技高网...
【技术保护点】
1.一种能源联邦学习数据选择方法,其特征在于,所述方法包括:
2.根据权利要求1所述的能源联邦学习数据选择方法,其特征在于,所述根据可行约束条件,从所述聚类簇中选取出可行数据集合的步骤包括:
3.根据权利要求2所述的能源联邦学习数据选择方法,其特征在于,所述判断所述终端数据是否满足可行约束条件,直至得到满足可行约束条件的所述终端数据,并将所述终端数据作为可行数据的步骤包括:
4.根据权利要求2所述的能源联邦学习数据选择方法,其特征在于,所述根据开销最小化准则,对所述可行数据集合进行迭代更新,得到全局模型训练数据的步骤包括:
5.根据权利要求4所述的能源联邦学习数据选择方法,其特征在于,所述根据开销最小化准则,使用新终端数据对所述可行数据集合进行多轮迭代更新的步骤包括:
6.根据权利要求5所述的能源联邦学习数据选择方法,其特征在于,所述则根据选择新终端数据的执行次数,计算选择概率的步骤包括:
7.根据权利要求4所述的能源联邦学习数据选择方法,其特征在于,在所述得到全局模型训练数据步骤之后,还包括:
9.一种能源联邦学习数据选择装置,其特征在于,所述装置包括:
10.一种能源联邦学习系统,其特征在于,所述系统包括:
...【技术特征摘要】
1.一种能源联邦学习数据选择方法,其特征在于,所述方法包括:
2.根据权利要求1所述的能源联邦学习数据选择方法,其特征在于,所述根据可行约束条件,从所述聚类簇中选取出可行数据集合的步骤包括:
3.根据权利要求2所述的能源联邦学习数据选择方法,其特征在于,所述判断所述终端数据是否满足可行约束条件,直至得到满足可行约束条件的所述终端数据,并将所述终端数据作为可行数据的步骤包括:
4.根据权利要求2所述的能源联邦学习数据选择方法,其特征在于,所述根据开销最小化准则,对所述可行数据集合进行迭代更新,得到全局模型训练数据的步骤包括:
5.根据权利要求4所述的能源联邦学习...
【专利技术属性】
技术研发人员:彭勃,左婧,龚贤夫,李耀东,崔天宇,徐春晖,李作红,吴伟杰,郇嘉嘉,
申请(专利权)人:广东电网有限责任公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。