一种云边联邦学习方法及装置制造方法及图纸

技术编号:37703314 阅读:5 留言:0更新日期:2023-06-01 23:50
本发明专利技术公开了一种云边联邦学习方法及装置,该方法包括:获取边端上传的目标边端节点的数据权重,数据权重用于指示目标边端节点的数据训练情况;对数据权重进行聚合计算,得到目标边端节点的权重聚合结果;将权重聚合结果下发至边端,以触发边端根据权重聚合结果,更新目标边端节点的数据权重,更新后的目标边端节点的数据权重用于执行相应的数据推理操作。可见,实施本发明专利技术能够由云端获取边端上传的目标边端节点的数据权重,并对该数据权重进行聚合计算,进而根据权重聚合结果更新该目标边端节点的数据权重,能够在提高数据模型推理精度的同时,提高数据的收敛速度;能够优化数据传输以及提高数据模型准确度,从而提升了用户体验。验。验。

【技术实现步骤摘要】
一种云边联邦学习方法及装置


[0001]本专利技术涉及互联网数据
,尤其涉及一种云边联邦学习方法及装置。

技术介绍

[0002]随着互联网技术的快速发展,人们对于互联网数据的处理、运用以及保护也愈发重视。
[0003]在实际应用中,现有的互联网数据处理技术是通过边端对数据进行处理的。然而实际发现,由于现有的互联网数据处理技术针对边端信息输入的数据量较大,因此边端在处理数据时容易产生“数据孤岛”、边端数据样本少等问题,这不仅会降低数据模型的推理精度,也会降低数据的收敛速度。因此,提供一种能够在提高数据模型推理精度的同时,提高数据的收敛速度的方法显得尤为重要。

技术实现思路

[0004]本专利技术所要解决的技术问题在于,提供一种云边联邦学习的方法及装置,能够在提高数据模型推理精度的同时,提高数据的收敛速度。
[0005]为了解决上述技术问题,本专利技术第一方面公开了一种云边联邦学习方法,所述方法应用于云端,所述方法包括:
[0006]获取边端上传的目标边端节点的数据权重,所述数据权重用于指示所述目标边端节点的数据训练情况;
[0007]对所述数据权重进行聚合计算,得到所述目标边端节点的权重聚合结果;
[0008]将所述权重聚合结果下发至所述边端,以触发所述边端根据所述权重聚合结果,更新所述目标边端节点的数据权重,更新后的所述目标边端节点的数据权重用于执行相应的数据推理操作。
[0009]作为一种可选的实施方式,在本专利技术第一方面中,在所述获取边端上传的目标边端节点的数据权重之前,所述方法还包括:
[0010]获取用户的请求信息;
[0011]根据所述用户的请求信息,创建预设容器编排引擎的云边联邦学习任务;
[0012]根据所述云边联邦学习任务,确定边端的目标边端节点,所述边端包括至少一个边端节点,每个所述边端节点都有其各自对应的边端信息中心以及本地管理组件,所述目标边端节点用于指示与所述云边联邦学习任务相匹配的边端节点。
[0013]作为一种可选的实施方式,在本专利技术第一方面中,在所述对所述数据权重进行聚合计算,得到所述目标边端节点的权重聚合结果之前,所述方法还包括:
[0014]通过所述预设容器编排引擎,实时监控所述云边联邦学习任务,并记录得到与所述云边联邦学习任务相匹配的云边联邦学习信息;
[0015]通过预设云边联邦全局管理组件,通知所述预设容器编排引擎创建与所述云边联邦学习信息相匹配的云边联邦学习实例。
[0016]作为一种可选的实施方式,在本专利技术第一方面中,所述对所述数据权重进行聚合计算,得到所述目标边端节点的权重聚合结果,包括:
[0017]根据所述预设容器编排引擎预先创建的云边联邦学习实例以及所述云边联邦学习任务,创建所述云端的聚合应用实例,所述聚合应用实例包括预设权重聚合算法;
[0018]根据所述预设权重聚合算法,对所述数据权重根据其数据量的占比情况进行聚合计算,得到所述目标边端节点的权重聚合结果。
[0019]作为一种可选的实施方式,在本专利技术第一方面中,所述目标边端节点的数据权重通过以下方式确定:
[0020]由所述边端获取所述云端预先确定的联邦学习实例;
[0021]由所述边端根据所述联邦学习实例以及目标边端节点对应的边端信息中心,创建所述目标边端节点的训练应用实例,所述训练应用实例用于指示所述目标边端节点的数据训练操作;
[0022]由所述边端通过所述训练应用实例以及所述目标边端节点对应的本地管理组件,确定所述目标边端节点的数据权重。
[0023]作为一种可选的实施方式,在本专利技术第一方面中,所述边端根据所述权重聚合结果,更新所述目标边端节点的数据权重,包括:
[0024]通过预设下载服务接口,将所述权重聚合结果下载至所述目标边端节点预先创建的训练应用实例;
[0025]根据所述训练应用实例以及所述权重聚合结果,更新所述目标边端节点的数据权重。
[0026]本专利技术第二方面公开了一种云边联邦学习方法,所述方法应用于边端,所述方法包括:
[0027]向云端上报目标边端节点的数据权重,以触发云端对所述数据权重进行聚合计算,得到所述目标边端节点的权重聚合结果;
[0028]接收所述云端下发的权重聚合结果,并根据所述权重聚合结果,更新所述目标边端节点的数据权重,更新后的所述目标边端节点的数据权重用于执行相应的数据推理操作。
[0029]本专利技术第三方面公开了一种云边联邦学习装置,所述装置应用于云端,所述装置包括:
[0030]获取模块,用于获取边端上传的目标边端节点的数据权重,所述数据权重用于指示所述目标边端节点的数据训练情况;
[0031]聚合模块,用于对所述数据权重进行聚合计算,得到所述目标边端节点的权重聚合结果;
[0032]通讯模块,用于将所述权重聚合结果下发至所述边端,以触发所述边端根据所述权重聚合结果,更新所述目标边端节点的数据权重,更新后的所述目标边端节点的数据权重用于执行相应的数据推理操作。
[0033]作为一种可选的实施方式,在本专利技术第三方面中,所述获取模块,还用于:
[0034]在所述获取边端上传的目标边端节点的数据权重之前,获取用户的请求信息;
[0035]以及,所述装置还包括:
[0036]创建模块,用于根据所述用户的请求信息,创建预设容器编排引擎的云边联邦学习任务;
[0037]确定模块,用于根据所述云边联邦学习任务,确定边端的目标边端节点,所述边端包括至少一个边端节点,每个所述边端节点都有其各自对应的边端信息中心以及本地管理组件,所述目标边端节点用于指示与所述云边联邦学习任务相匹配的边端节点。
[0038]作为一种可选的实施方式,在本专利技术第三方面中,所述装置还包括:
[0039]监控记录模块,用于在所述聚合模块对所述数据权重进行聚合计算,得到所述目标边端节点的权重聚合结果之前,通过所述预设容器编排引擎,实时监控所述云边联邦学习任务,并记录得到与所述云边联邦学习任务相匹配的云边联邦学习信息;
[0040]所述创建模块,还用于通过预设云边联邦全局管理组件,通知所述预设容器编排引擎创建与所述云边联邦学习信息相匹配的云边联邦学习实例。
[0041]作为一种可选的实施方式,在本专利技术第三方面中,所述聚合模块对所述数据权重进行聚合计算,得到所述目标边端节点的权重聚合结果的方式具体包括:
[0042]根据所述预设容器编排引擎预先创建的云边联邦学习实例以及所述云边联邦学习任务,创建所述云端的聚合应用实例,所述聚合应用实例包括预设权重聚合算法;
[0043]根据所述预设权重聚合算法,对所述数据权重根据其数据量的占比情况进行聚合计算,得到所述目标边端节点的权重聚合结果。
[0044]作为一种可选的实施方式,在本专利技术第三方面中,所述目标边端节点的数据权重通过以下方式确定:
[0045]由所述边端获取所述本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种云边联邦学习方法,其特征在于,所述方法应用于云端,所述方法包括:获取边端上传的目标边端节点的数据权重,所述数据权重用于指示所述目标边端节点的数据训练情况;对所述数据权重进行聚合计算,得到所述目标边端节点的权重聚合结果;将所述权重聚合结果下发至所述边端,以触发所述边端根据所述权重聚合结果,更新所述目标边端节点的数据权重,更新后的所述目标边端节点的数据权重用于执行相应的数据推理操作。2.根据权利要求1所述的云边联邦学习方法,其特征在于,在所述获取边端上传的目标边端节点的数据权重之前,所述方法还包括:获取用户的请求信息;根据所述用户的请求信息,创建预设容器编排引擎的云边联邦学习任务;根据所述云边联邦学习任务,确定边端的目标边端节点,所述边端包括至少一个边端节点,每个所述边端节点都有其各自对应的边端信息中心以及本地管理组件,所述目标边端节点用于指示与所述云边联邦学习任务相匹配的边端节点。3.根据权利要求2所述的云边联邦学习方法,其特征在于,在所述对所述数据权重进行聚合计算,得到所述目标边端节点的权重聚合结果之前,所述方法还包括:通过所述预设容器编排引擎,实时监控所述云边联邦学习任务,并记录得到与所述云边联邦学习任务相匹配的云边联邦学习信息;通过预设云边联邦全局管理组件,通知所述预设容器编排引擎创建与所述云边联邦学习信息相匹配的云边联邦学习实例。4.根据权利要求2所述的云边联邦学习方法,其特征在于,所述对所述数据权重进行聚合计算,得到所述目标边端节点的权重聚合结果,包括:根据所述预设容器编排引擎预先创建的云边联邦学习实例以及所述云边联邦学习任务,创建所述云端的聚合应用实例,所述聚合应用实例包括预设权重聚合算法;根据所述预设权重聚合算法,对所述数据权重根据其数据量的占比情况进行聚合计算,得到所述目标边端节点的权重聚合结果。5.根据权利要求1

4中任一项所述的云边联邦学习方法,其特征在于,所述目标边端节点的数据权重通过以下方式确定:由所述边端获取所述云端预先确定的联邦学习实例;由所述边端根据所述联邦学习实例以及目标边端节点对应的边端信息中心,创建所述目标边端节点的训练应用实例,所述训练应用实...

【专利技术属性】
技术研发人员:纪伟林圳杰王李明许佳佳孙凯张朋段祥张志远
申请(专利权)人:南方电网数字平台科技广东有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1