System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及数据管理领域,具体涉及一种基于边缘参数熵的联邦学习的数据协同管理方法。
技术介绍
1、随着工业信息化不断发展,机电系统也随之得到发展,机电系统的组成设备数量庞大、构造复杂,在运行过程中容易出现故障,一个故障往往对应若干个可能原因,需要若干个诊断操作动作来进行可能原因类型确认。机电系统运维工作面临诸多挑战,以人工巡检为主的方式效率低,成本高,难量化,机电系统的维护更多的依赖于机电维护人员的经验,加上机电维护人员的经验受限于知识水平等因素。由于各种可能原因的发生概率不同,诊断可能原因的操作动作所花费的成本(时间、人员、材料成本等综合考虑)也是不同的,不能高效的进行故障决策,从根本上消除机电系统故障,对于运行数据管理成本高、效率较低,同时机电系统存在电力资源浪费,机电系统对电力的利用率低、运行效率较低。
2、另外,联邦学习是由于隐私保护和安全性的需求而应运而生的先进机器学习方法。联邦学习通过在本地设备上进行模型训练,仅共享模型更新而不共享原始数据,解决了传统集中式机器学习带来的隐私泄露的问题。现有的联邦学习技术中,底层设备通过本地数据训练本地模型,并将模型更新传输给顶层设备。顶层设备收集并整合来自底层设备的更新,执行全局模型的聚合。新的全局模型更新再次传输至底层设备,使每个设备的模型得以更新。这个过程迭代进行,不断整合各地设备的局部信息,逐步形成全局模型。但在现有技术中,在迭代过程中,底层设备生成的模型更新若变化不大,但仍传输给顶层设备,则会导致通信成本以及顶层设备的计算压力增大。并且在每次本地端的迭代训练时仅根
技术实现思路
1、为了克服上述缺陷,本申请实施例提供一种基于边缘参数熵的联邦学习的数据协同管理方法,解决了现有技术中机电系统运行数据管理成本高、效率较低,同时机电系统存在电力资源浪费,机电系统对电力的利用率低、运行效率较低;以及由于不评估每次迭代时生成的本地更新模型的变化情况,在每次本地端生成本地更新模型时都传输至中心端,从而造成的通信成本以及中心端的计算压力增大的问题。并且在每次本地端的迭代训练时仅根据全局模型参数进行训练,没有其他参考,可能造成迭代训练次数过多从而导致模型训练效率较低。本申请的技术方案能够可以减少本地端与中心端之间的通信成本以及中心端的计算负担;同时设定电力调度计划可以减少电力资源浪费,提高机电系统对电力的利用率以及运行效率。
2、第一方面,本申请实施例提供了一种基于边缘参数熵的联邦学习的数据协同管理方法,所述方法由本地端执行,所述方法包括:
3、获取初始模型参数,根据所述初始模型参数以及预先存储的本地数据进行本地模型训练,得到本地更新模型,并根据所述本地更新模型确定更新模型参数;
4、根据所述初始模型参数、所述更新模型参数以及边缘参数熵确定公式,计算所述本地更新模型的边缘参数熵;
5、其中,所述边缘参数熵确定公式如下:
6、;
7、其中,为边缘参数熵;m为参数的总数量;j为参数索引;i为本地模型迭代训练轮次;为第i次迭代中本地更新模型训练前的初始模型参数;为第i次迭代中本地更新模型训练后的更新模型参数;
8、根据所述边缘参数熵以及边缘参数熵最小化公式,计算所述边缘参数熵的最小值,并将所述边缘参数熵的最小值与预先设置的边缘参数熵阈值作对比;
9、若所述边缘参数熵的最小值大于预先设置的边缘参数熵阈值,则将所述本地更新模型传输至中心端,供所述中心端根据所述本地更新模型更新全局模型;
10、接收中心端传输的全局模型,获取机电系统的运行状态以及需求信息,根据所述全局模型、所述机电系统的运行状态以及需求信息确定机电系统的电力调度计划,并将所述电力调度计划发送至机电系统,供所述机电系统根据所述电力调度计划进行电力分配调整。
11、进一步的,在将所述边缘参数熵的最小值与预先设置的边缘参数熵阈值作对比之后,所述方法还包括:
12、若所述边缘参数熵的最小值小于预先设置的边缘参数熵阈值,则接收中心端传输的全局模型参数,根据所述全局模型参数以及预先存储的数据协同管理策略确定对本地更新模型的更新计划;
13、根据所述更新计划以及预先存储的本地数据进行本地模型训练,对本地更新模型进行更新。
14、进一步的,在对本地更新模型进行更新之后,所述方法还包括:
15、计算更新后的本地更新模型的边缘参数熵以及所述边缘参数熵的最小值,若所述边缘参数熵的最小值大于预先设置的边缘参数熵阈值,则将所述更新后的本地更新模型传输至中心端,供所述中心端根据所述本地更新模型更新全局模型,否则接收中心端传输的全局模型参数,并确定对本地更新模型的更新计划,根据所述更新计划以及预先存储的本地数据进行本地模型训练,对本地更新模型进行更新,直至接收到所述中心端传输的停止训练指令。
16、进一步的,在计算所述本地更新模型的边缘参数熵之后,所述方法还包括:
17、根据所述边缘参数熵、预先设置的本地模型训练优化公式以及所述本地更新模型,进行本地更新模型的优化,得到优化后的本地更新模型。
18、进一步的,在将所述本地更新模型传输至中心端之后,所述方法还包括:
19、获取本地更新模型的传输时间,根据所述传输时间确定本地更新模型的传输延迟,并确定所述传输延迟是否达到预先设定的传输延迟标准;
20、若所述传输延迟未达到预先设定的传输延迟标准,则向中心端传输获取全局模型的性能需求的指令;
21、接收所述中心端传输的全局模型的性能需求,根据所述全局模型的性能需求、所述传输延迟以及预先设置的边缘参数熵阈值确定标准,重新确定所述边缘参数熵阈值。
22、进一步的,在将所述本地更新模型传输至中心端之后,所述方法还包括:
23、获取本地更新模型传输所使用的网络流量,确定所述网络流量是否超过预先设定的网络流量使用阈值;
24、若所述网络流量超过预先设定的网络流量使用阈值,则向中心端传输获取全局模型的性能需求的指令;
25、接收所述中心端传输的全局模型的性能需求,根据所述全局模型的性能需求、所述网络流量以及预先设置的边缘参数熵阈值确定标准,重新确定所述边缘参数熵阈值。
26、进一步的,所述边缘参数熵最小化公式如下:
27、;
28、其中,b为本地更新模型的训练样本集;θ为本地更新模型的参数集;表示本地更新模型训练后的第j个参数。
29、进一步的,所述本地模型训练优化公式如下:
30、;
31、其中,k为本地端编号;t为迭代次数;为第i个参数;为本地模型训练优化的目标函数;为交叉熵函数;为边缘熵函数;是与边缘熵函数相乘的系数。
32、进一步的,在将所述电力调度计划发送至机电系统之后,所述方法还包括:
本文档来自技高网...【技术保护点】
1.一种基于边缘参数熵的联邦学习的数据协同管理方法,其特征在于,所述方法由本地端执行,所述方法包括:
2.根据权利要求1所述的基于边缘参数熵的联邦学习的数据协同管理方法,其特征在于,在将所述边缘参数熵的最小值与预先设置的边缘参数熵阈值作对比之后,所述方法还包括:
3.根据权利要求1或2所述的基于边缘参数熵的联邦学习的数据协同管理方法,其特征在于,在对本地更新模型进行更新之后,所述方法还包括:
4.根据权利要求1所述的基于边缘参数熵的联邦学习的数据协同管理方法,其特征在于,在计算所述本地更新模型的边缘参数熵之后,所述方法还包括:
5.根据权利要求1所述的基于边缘参数熵的联邦学习的数据协同管理方法,其特征在于,在将所述本地更新模型传输至中心端之后,所述方法还包括:
6.根据权利要求1所述的基于边缘参数熵的联邦学习的数据协同管理方法,其特征在于,在将所述本地更新模型传输至中心端之后,所述方法还包括:
7.根据权利要求1所述的基于边缘参数熵的联邦学习的数据协同管理方法,其特征在于,所述边缘参数熵最小化公式如下:
>8.根据权利要求6所述的基于边缘参数熵的联邦学习的数据协同管理方法,其特征在于,所述本地模型训练优化公式如下:
9.根据权利要求1所述的基于边缘参数熵的联邦学习的数据协同管理方法,其特征在于,在将所述电力调度计划发送至机电系统之后,所述方法还包括:
...【技术特征摘要】
1.一种基于边缘参数熵的联邦学习的数据协同管理方法,其特征在于,所述方法由本地端执行,所述方法包括:
2.根据权利要求1所述的基于边缘参数熵的联邦学习的数据协同管理方法,其特征在于,在将所述边缘参数熵的最小值与预先设置的边缘参数熵阈值作对比之后,所述方法还包括:
3.根据权利要求1或2所述的基于边缘参数熵的联邦学习的数据协同管理方法,其特征在于,在对本地更新模型进行更新之后,所述方法还包括:
4.根据权利要求1所述的基于边缘参数熵的联邦学习的数据协同管理方法,其特征在于,在计算所述本地更新模型的边缘参数熵之后,所述方法还包括:
5.根据权利要求1所述的基于边缘参数熵的联邦学习的...
【专利技术属性】
技术研发人员:肖钊,张硕,柏文琦,陶洁,向德,赵前程,高贵兵,邓杰文,肖克,吴双双,
申请(专利权)人:湖南科技大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。