【技术实现步骤摘要】
一种基于分层联邦学习的客户端训练方法、装置和设备
[0001]本申请涉及云计算与联邦学习
,尤其涉及一种基于分层联邦学习的客户端训练方法、装置和设备。
技术介绍
[0002]人工智能目前在许多新型应用中有着不可或缺的作用,例如:自然语言处理,无人驾驶汽车等。神经网络能够在我们拥有大量数据的前提下支持这些应用。随着终端设备收集的数据越来越多,终端设备的数量也在不断增加,因此联邦学习应运而生。在分层联邦学习中,终端设备不再与中央服务器直接交互,而是和与其相对应的边缘服务器进行交互,这大大降低了通信时间,并提供了更加稳定的网络连接。
[0003]在分层联邦学习中,每个边缘服务器都只负责一块区域,那么不同的边缘服务器必然存在相互重叠的区域,受限于客户端的带宽和计算能力,在重叠区域的客户端一轮只能参与到一个边缘服务器的训练中,因此如何为处在重叠区域内的客户端选择合适的边缘服务器是一个亟需解决的问题,并且在确定了重叠区域的客户端归属后,边缘服务器如何对客户端进行训练使得训练时间和训练质量都能够得到有效保证同样是亟需解决的技术问题。
技术实现思路
[0004]本申请的主要目的在于提供一种基于分层联邦学习的客户端训练方法、装置和设备,旨在解决上述技术问题。
[0005]第一方面,本申请提供一种基于分层联邦学习的客户端训练方法,所述方法包括以下步骤:
[0006]根据重叠区域内各个客户端与各个重叠的边缘服务器之间的预估上下文奖励,为所述重叠区域内的客户端分配边缘服务器,以确定各个边缘服务器 ...
【技术保护点】
【技术特征摘要】
1.一种基于分层联邦学习的客户端训练方法,其特征在于,包括:根据重叠区域内各个客户端与各个重叠的边缘服务器之间的预估上下文奖励,为所述重叠区域内的客户端分配边缘服务器,以确定各个边缘服务器中的客户端集合;根据客户端集合中各个客户端与对应边缘服务器的预估上下文奖励和各个客户端的训练质量确定参与训练的客户端,并使参与训练的客户端按照接收到的训练模型进行训练;根据客户端的训练结果更新客户端与对应边缘服务器之间的预估上下文奖励和训练质量。2.根据权利要求1所述的基于分层联邦学习的客户端训练方法,其特征在于,所述根据重叠区域内各个客户端与各个重叠的边缘服务器之间的预估上下文奖励,为所述重叠区域内的客户端分配边缘服务器,包括:确定客户端所在的边缘服务器重叠区域内重叠的边缘服务器集合;根据客户端与边缘服务器集合中各个边缘服务器之间的上下文向量,结合各个边缘服务器的上下文参数,计算客户端与边缘服务器集中各个边缘服务器之间的预估上下文奖励:根据公式将客户端分配至预估上下文奖励最大的边缘服务器中;其中,i为客户端,t为训练轮次,a为第t轮训练时客户端i分配到的边缘服务器,P
t
(i)为客户端i的边缘服务器集合,r
i,a,t
为第t轮训练时客户端i与边缘服务器a之间的预估上下文奖励,X
i,a,t
为第t轮训练时客户端i与边缘服务器a之间的上下文向量,为第t
‑
1轮训练后边缘服务器a的上下文参数,CB
r,i
为预估上下文奖励的置信界。3.根据权利要求1所述的基于分层联邦学习的客户端训练方法,其特征在于,所述根据客户端集合中各个客户端与对应边缘服务器的预估上下文奖励和各个客户端的训练质量确定参与训练的客户端,包括:根据预估上下文奖励对客户端合集中的客户端进行排序,并判断客户端集合中的客户端数量是大于第一预设数量;若是,则根据客户端的UBC训练质量对预估上下文奖励最高的前第一预设数量的客户端进行排序,否则,根据客户端的UBC训练质量对客户端集合中所有的客户端进行排序;判断根据客户端的UBC学习质量排序的客户端的数量是否大于第二预设数量;若是,则选择客户端的UBC训练质量最高的前第二预设数量的客户端参与训练,否则选择客户端合集中所有的客户端参与训练;根据边缘服务器中参与训练的客户端生成对应的参与训练的客户端合集;其中,所述第一预设数量大于所述第二预设数量。4.根据权利要求3所述的基于分层联邦学习的客户端训练方法,其特征在于,根据客户端的训练结果更新对应客户端的训练质量,包括:根据客户端完成本轮训练后训练模型的损失值和训练前训练模型的损失值确定客户
端本轮训练的训练质量:q
i,t
=(L
s
‑
L
e
)*D
i,t
其中,q
i,t
为第t轮训练时客户端i的训练质量,L
s
为第t
‑
1轮训练时训练模型的损失值,L
e
为第t轮训练时训练模型的损失值,D
i,t
为客户端i在第t轮训练时的数据集;将第t轮训练时客户端i的训练质量q
i,t
的数值缩放至预设范围得到根据客户端参与训练的次数和客户端本轮训练的训练质量,确定截止当前训练轮次客户端的整体训练质量;其中,为截止第t轮训练时客户端i在边缘服务器a范围内的整体训练质量,...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。