当前位置: 首页 > 专利查询>山东大学专利>正文

鲁棒去中心化协作学习方法及系统、计算机设备及介质技术方案

技术编号:43363441 阅读:16 留言:0更新日期:2024-11-19 17:46
本发明专利技术属于机器学习技术领域,涉及鲁棒去中心化协作学习方法及系统、计算机设备及介质。该方法包括:每个客户端利用本地数据及当前本地模型计算本地梯度信息;将当前本地模型发送给自己的邻居;每个客户端利用自身数据及邻居的本地模型计算对应的交叉梯度信息,并将该梯度传回给相应的邻居;每个客户端借助验证集来计算邻居及自身的夏普利值,确定聚合时的权重,并据此权重聚合本地梯度信息及交叉梯度信息,根据聚合后的梯度更新当前本地模型得到最新的本地模型;经过多次迭代直至达到预先设定的学习轮数或损失值达到规定阈值。本发明专利技术结合夏普利值技术,设计基于客户端贡献度的去中心化梯度加权机制,从而提高模型性能,加速模型的收敛。

【技术实现步骤摘要】

本专利技术属于机器学习,涉及鲁棒去中心化协作学习方法及系统、计算机设备及介质


技术介绍

1、协作学习利用边缘终端设备的本地数据与计算能力进行学习模型或者参数的训练,再通过终端设备间的通信进行模型参数更新的共享与融合,构成了一个协作的边缘智能系统。根据通信拓扑结构,协作学习可分为中心化协作学习和去中心化协作学习。在中心化协作学习中,边缘设备需要与中心服务器不断进行通信,当边缘设备是海量或数十亿规模时,这就增加了中心服务器的资源消耗,此外,当中心服务器变得不可靠时,这就使得整个学习过程变得困难。因此,去中心化协作学习应运而生。去中心化协作学习是指边缘设备之间不需要依赖于任何中心节点,而是通过点对点的通信和协作,实现分布式的模型训练。去中心化协作学习中,由于各边缘设备所处环境及采集偏好不同,不同边缘设备间的训练数据在数量级、数量类别及所获取的特征上都存在很大的差异,从而形成了数据异构,即数据非独立同分布(non-independently identical distribution,non-iid)现象。数据的非独立同分布将影响去中心化协作学习的能力,并增加本文档来自技高网...

【技术保护点】

1.一种鲁棒去中心化协作学习方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的鲁棒去中心化协作学习方法,其特征在于,步骤四中,计算夏普利值的方法如下:

3.根据权利要求2所述的鲁棒去中心化协作学习方法,其特征在于,根据得到的客户端的夏普利值,计算交叉梯度与本地梯度聚合时分配的权重:

4.一种鲁棒去中心化协作学习系统,其特征在于,该系统包括:

5.一种计算机可读介质,其特征在于,所述计算机可读介质存储有计算机程序,所述计算机程序被处理器读取并运行时,实现权利要求1-3中任一项所述的方法。

6.一种计算机设备,其特征在于,包...

【技术特征摘要】

1.一种鲁棒去中心化协作学习方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的鲁棒去中心化协作学习方法,其特征在于,步骤四中,计算夏普利值的方法如下:

3.根据权利要求2所述的鲁棒去中心化协作学习方法,其特征在于,根据得到的客户端的夏普利值,计算交叉梯度与本地梯度聚合时分配的权重:

4.一种鲁棒去中心化协作学习系统,其特征在于...

【专利技术属性】
技术研发人员:李峰王丽娜
申请(专利权)人:山东大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1