【技术实现步骤摘要】
本申请的实施例涉及联邦学习的,尤其涉及一种基于信息增益的异步联邦学习方法及相关设备。
技术介绍
1、在联邦学习中,客户端的设备性能可能存在显著差异,因此各个客户端所需的训练时间差距较大,中心服务器必须收到所有客户端的本地训练模型才能进行聚合,进而使得高性能的客户端需要被迫等待其他客户端的训练结果,导致无法发挥其优势。异步联邦学习是解决上述问题的一种优化方法。
2、进一步地,在异步联邦学习中,对接收客户端的模型通常预设一段等待时间,对该时间段内接收到的客户端模型进行聚合,而没有量化聚合模型对全,也就是说,导致频繁的更新模型梯度,却未带来全局模型的更快的收敛速度。
技术实现思路
1、有鉴于此,本申请的目的在于提出一种基于信息增益的异步联邦学习方法及相关设备。
2、基于上述目的,本申请提供了基于信息增益的异步联邦学习方法,应用于客户端;
3、该方法包括:
4、每个客户端在每轮本地训练中,从中心服务器接收全局模型,利用预设的语义数据对当前轮次接收到的
...【技术保护点】
1.一种基于信息增益的异步联邦学习方法,其特征在于,应用于客户端;
2.一种基于信息增益的异步联邦学习方法,其特征在于,应用于中心服务器,所述中心服务器缓存有多个分组,每个分组包括至少一个模型梯度,并对应设置一个分组中心;
3.根据权利要求2所述的方法,其特征在于,所述确定该客户端的模型梯度与每个分组中心之间的特征相似性,包括:
4.根据权利要求2所述的方法,其特征在于,所述计算该分组中每个模型梯度的信息总量、新鲜度和有效性,包括:
5.根据权利要求4所述的方法,其特征在于,所述利用所述信息总量、所述新鲜度和所述有效性确
...【技术特征摘要】
1.一种基于信息增益的异步联邦学习方法,其特征在于,应用于客户端;
2.一种基于信息增益的异步联邦学习方法,其特征在于,应用于中心服务器,所述中心服务器缓存有多个分组,每个分组包括至少一个模型梯度,并对应设置一个分组中心;
3.根据权利要求2所述的方法,其特征在于,所述确定该客户端的模型梯度与每个分组中心之间的特征相似性,包括:
4.根据权利要求2所述的方法,其特征在于,所述计算该分组中每个模型梯度的信息总量、新鲜度和有效性,包括:
5.根据权利要求4所述的方法,其特征在于,所述利用所述信息总量、所述新鲜度和所述有效性确定该模型梯度的信息增益,包括:
6.根据权利要求2所述的...
【专利技术属性】
技术研发人员:李丹丹,黄小红,谢坤,陈鹏杰,
申请(专利权)人:北京邮电大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。