基于信息增益的异步联邦学习方法及相关设备技术

技术编号:43949139 阅读:19 留言:0更新日期:2025-01-07 21:37
本申请提供一种基于信息增益的异步联邦学习方法及相关设备;方法包括:接收客户端的模型梯度,确定模型梯度与各分组中心之间的特征相似性,将模型梯度划分至最高特征相似性对应的分组,重新确定该分组的分组中心并调整分组;计算各模型梯度的信息总量、新鲜度和有效性,以此计算该模型梯度的信息增益,去除信息增益小于预设增益阈值的模型梯度,根据模型梯度的信息增益确定该分组的信息增益率;当分组的信息增益率大于预设的增益率阈值,根据该分组模型梯度的陈旧度均值来更新学习率,通过聚合各模型梯度得到聚合梯度,利用聚合梯度、学习率和分组权重,对全局模型执行梯度下降算法来完成本轮全局训练,得到全局模型,并下发至客户端。

【技术实现步骤摘要】

本申请的实施例涉及联邦学习的,尤其涉及一种基于信息增益的异步联邦学习方法及相关设备


技术介绍

1、在联邦学习中,客户端的设备性能可能存在显著差异,因此各个客户端所需的训练时间差距较大,中心服务器必须收到所有客户端的本地训练模型才能进行聚合,进而使得高性能的客户端需要被迫等待其他客户端的训练结果,导致无法发挥其优势。异步联邦学习是解决上述问题的一种优化方法。

2、进一步地,在异步联邦学习中,对接收客户端的模型通常预设一段等待时间,对该时间段内接收到的客户端模型进行聚合,而没有量化聚合模型对全,也就是说,导致频繁的更新模型梯度,却未带来全局模型的更快的收敛速度。


技术实现思路

1、有鉴于此,本申请的目的在于提出一种基于信息增益的异步联邦学习方法及相关设备。

2、基于上述目的,本申请提供了基于信息增益的异步联邦学习方法,应用于客户端;

3、该方法包括:

4、每个客户端在每轮本地训练中,从中心服务器接收全局模型,利用预设的语义数据对当前轮次接收到的全局模型进行本地训练本文档来自技高网...

【技术保护点】

1.一种基于信息增益的异步联邦学习方法,其特征在于,应用于客户端;

2.一种基于信息增益的异步联邦学习方法,其特征在于,应用于中心服务器,所述中心服务器缓存有多个分组,每个分组包括至少一个模型梯度,并对应设置一个分组中心;

3.根据权利要求2所述的方法,其特征在于,所述确定该客户端的模型梯度与每个分组中心之间的特征相似性,包括:

4.根据权利要求2所述的方法,其特征在于,所述计算该分组中每个模型梯度的信息总量、新鲜度和有效性,包括:

5.根据权利要求4所述的方法,其特征在于,所述利用所述信息总量、所述新鲜度和所述有效性确定该模型梯度的信息增...

【技术特征摘要】

1.一种基于信息增益的异步联邦学习方法,其特征在于,应用于客户端;

2.一种基于信息增益的异步联邦学习方法,其特征在于,应用于中心服务器,所述中心服务器缓存有多个分组,每个分组包括至少一个模型梯度,并对应设置一个分组中心;

3.根据权利要求2所述的方法,其特征在于,所述确定该客户端的模型梯度与每个分组中心之间的特征相似性,包括:

4.根据权利要求2所述的方法,其特征在于,所述计算该分组中每个模型梯度的信息总量、新鲜度和有效性,包括:

5.根据权利要求4所述的方法,其特征在于,所述利用所述信息总量、所述新鲜度和所述有效性确定该模型梯度的信息增益,包括:

6.根据权利要求2所述的...

【专利技术属性】
技术研发人员:李丹丹黄小红谢坤陈鹏杰
申请(专利权)人:北京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1