当前位置: 首页 > 专利查询>之江实验室专利>正文

一种分层联邦学习的资源分配方法、装置、介质及设备制造方法及图纸

技术编号:42383334 阅读:22 留言:0更新日期:2024-08-16 16:11
在本说明书提供一种分层联邦学习的资源分配方法、装置、介质及设备中,首先通过确定各数据方的数据服务器以及各边缘服务器,接收各数据方的数据服务器上传自身服务器内数据的数据特征,计算每个数据服务器与其他数据服务器的数据特征的差异,再根据上传每个边缘服务器的数据服务器数据特征,计算每个边缘服务器接收数据特征与其他边缘服务器接收数据特征的差异,最后以各边缘服务器接收的数据特征相同为目标,调整数据服务器上传的边缘服务器,确定分配策略进行模型训练,降低了各边缘服务器上传数据的数据分布特征的差异,使中心服务器能够快速得到目标模型,从而提升了训练目标模型的整体效率。

【技术实现步骤摘要】

本说明书涉及计算机,尤其涉及一种分层联邦学习的资源分配方法、装置、介质及设备


技术介绍

1、近年来,随着互联网技术的发展,应用领域也越来越多。目前可通过联邦学习(federation learning,fl)方法,可在保证各数据方的数据安全的同时,利用各数据方的数据训练模型。而在联邦学习方法中,分层联邦学习(hierarchical federationlearning,hfl)方法通过设置由中心服务器与多个边缘服务器组成的网络,使在训练过程中,各数据方的数据服务器传输的数据可以先传输至边缘服务器进行聚合,中心服务器仅需根据边缘服务器得到的聚合结果再进行最后的聚合,以完成对模型的训练。

2、虽然,hfl方法可以避免fl方法存在的中心服务器负载较大的问题,但是由于各数据方的数据分布特征不同,导致各边缘服务器进行聚合的难度不同,且各边缘服务器上传中心服务器的数据分布特征的差异过大,中心服务器聚合难度高,因此得到准确目标模型的时间较长,降低了训练目标模型的效率。

3、为此,本说明书提供了一种分层联邦学习的资源分配方法


本文档来自技高网...

【技术保护点】

1.一种分层联邦学习的资源分配方法,其特征在于,应用于中心服务器,包括:

2.如权利要求1所述的方法,其特征在于,基于所述各边缘服务器的边缘特征的差异,确定预先构建的损失函数的函数值,基于所述函数值对所述上传关系进行调整,具体包括:

3.如权利要求2所述的方法,其特征在于,基于所述各边缘服务器的边缘特征的差异,以及所述各数据服务器的数据耗时差异,确定预先构建的损失函数的函数值,基于所述函数值对所述上传关系进行调整,并对应调整所述各数据服务器的接口带宽,具体包括:

4.如权利要求2所述的方法,其特征在于,基于所述各边缘服务器的边缘特征的差异,以及所述各数...

【技术特征摘要】

1.一种分层联邦学习的资源分配方法,其特征在于,应用于中心服务器,包括:

2.如权利要求1所述的方法,其特征在于,基于所述各边缘服务器的边缘特征的差异,确定预先构建的损失函数的函数值,基于所述函数值对所述上传关系进行调整,具体包括:

3.如权利要求2所述的方法,其特征在于,基于所述各边缘服务器的边缘特征的差异,以及所述各数据服务器的数据耗时差异,确定预先构建的损失函数的函数值,基于所述函数值对所述上传关系进行调整,并对应调整所述各数据服务器的接口带宽,具体包括:

4.如权利要求2所述的方法,其特征在于,基于所述各边缘服务器的边缘特征的差异,以及所述各数据服务器的数据耗时差异,确定预先构建的损失函数的函数值,基于所述函数值对所述上传关系进行调整,并对应调整所述各数据服务器的接口带宽,具体包括:...

【专利技术属性】
技术研发人员:刘善赟余尔聪陈红阳
申请(专利权)人:之江实验室
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1