联邦学习方法技术

技术编号:30405415 阅读:68 留言:0更新日期:2021-10-20 11:08
本公开提供一种联邦学习方法,其中,方法由中心服务器和至少一个边缘节点实现,方法包括:中心服务器对神经网络每一层的权重矩阵降维以得到降维的权重矩阵参数集合,并将降维的权重矩阵参数集合发送至边缘节点;边缘节点基于降维的权重矩阵参数集合利用本地样本进行训练以得到该边缘节点对应的边缘表征矩阵,并将边缘表征矩阵发送至中心服务器;中心服务器基于所有边缘表征矩阵得到更新的降维的权重矩阵参数集合,并将更新的降维的权重矩阵参数集合发送至边缘节点。本公开在保证了边缘节点的数据隐私性的同时,降低了对于边缘节点的计算能力和存储能力的要求,且提高了中心服务器和边缘节点之间的数据传输速度。和边缘节点之间的数据传输速度。和边缘节点之间的数据传输速度。

【技术实现步骤摘要】
联邦学习方法


[0001]本公开涉及机器学习
,尤其涉及一种联邦学习方法。

技术介绍

[0002]随着机器学习特别是深度学习和深度神经网络研究的不断发展,相关应用得到普及,在社会生活、经济发展和科学研究等领域都取得了突破和成果。作为传统基于模型驱动方法或基于先验知识方法的补充,深度学习在描述复杂的现实世界过程中,能够自动提取有用特征。对于下一代信息通信系统,例如新兴的6G通信和智能制造产业,深度学习在技术创新方面将占有越来越重要的地位。
[0003]物联网作为快速发展的应用之一,深度学习通过解决物联网中难以捉摸的中间状态,统筹内在的协调结构,做出准确且及时的决策,能够高效的提升效率和产品质量。
[0004]但是,相关技术中在将机器学习算法应用到物联网领域时,因为受到边缘端设备的局限,往往只能在中心服务器端进行模型的训练,这显然不能保护物联网中边缘端设备的数据隐私性,以及传输成本较高。

技术实现思路

[0005]有鉴于此,本公开的目的在于提出一种联邦学习方法。
[0006]基于上述目的,本公开提供了联邦学习方法,其中,所述方法由中心服务器和至少一个边缘节点实现,所述方法包括:
[0007]所述中心服务器对神经网络每一层的权重矩阵降维以得到降维的权重矩阵参数集合,并将所述降维的权重矩阵参数集合发送至所述边缘节点;
[0008]所述边缘节点基于所述降维的权重矩阵参数集合利用本地样本进行训练以得到该边缘节点对应的边缘表征矩阵,并将所述边缘表征矩阵发送至所述中心服务器;
[0009]所述中心服务器基于所有所述边缘表征矩阵得到更新的降维的权重矩阵参数集合,并将所述更新的降维的权重矩阵参数集合发送至所述边缘节点。
[0010]从上面所述可以看出,本公开提供的联邦学习方法,其中,方法由中心服务器和至少一个边缘节点实现,方法包括:中心服务器对神经网络每一层的权重矩阵降维以得到降维的权重矩阵参数集合,并将降维的权重矩阵参数集合发送至边缘节点;边缘节点基于降维的权重矩阵参数集合利用本地样本进行训练以得到该边缘节点对应的边缘表征矩阵,并将边缘表征矩阵发送至中心服务器;中心服务器基于所有边缘表征矩阵得到更新的降维的权重矩阵参数集合,并将更新的降维的权重矩阵参数集合发送至边缘节点。本公开在保证了边缘节点的数据隐私性的同时,降低了对于边缘节点的计算能力和存储能力的要求,且提高了中心服务器和边缘节点之间的数据传输速度。
附图说明
[0011]为了更清楚地说明本公开或相关技术中的技术方案,下面将对实施例或相关技术
描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0012]图1为本公开实施例提供的联邦学习方法的一种应用场景示意图;
[0013]图2为本公开实施例提供的联邦学习方法的一种流程示意图;
[0014]图3为本公开实施例提供的权重矩阵降维方法的一种流程示意图;
[0015]图4为本公开实施例提供的边缘表征矩阵生成方法的一种流程示意图;
[0016]图5为本公开实施例提供的权重矩阵结构的一种示意图;
[0017]图6为本公开实施例提供的边缘表征矩阵并行训练方法的一种示意图。
具体实施方式
[0018]为使本公开的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本公开进一步详细说明。
[0019]需要说明的是,除非另外定义,本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
[0020]相关技术中在将机器学习算法应用到物联网领域时,因为受到边缘端设备的局限,往往只能在中心服务器端进行模型的训练,这显然不能保护物联网中边缘端设备的数据隐私性,以及传输成本较高。
[0021]具体的,一方面,相关技术中需要将边缘设备中的个人数据传输到中心服务器中以训练机器学习模型,这显然不能保证用户个人数据的隐私性以及存在泄漏给第三方的危险。另一方面,将训练好的机器学习模型从中心服务器传输至边缘设备时,因为中心服务器训练得到的机器学习模型的数据量级较为庞大,传输时延较高,且需要边缘设备具有较高的存储能力。
[0022]联邦学习机制的提出,为解决上述问题提供了部分思路,代替传统的将大量的原始数据通过网络传输到中心处理器,联邦学习将分布在各地的本地数据直接在边缘端进行网络训练,之后将训练好的网络权重发送到中心处理器,因此可以很好的保护本地数据信息的隐私安全,同时也有助于减轻通信成本并提高通信可靠性。
[0023]然而,在将联邦学习方法应用到物联网领域时,存在一个难题,那就是边缘端如何通过本地的数据进行本地模型训练。在物联网中,边缘端设备的存储能力和计算能力是很弱的,尤其相较于中心服务器是远远不及的,但是网络的预训练过程需要训练一个包含大量权重的完整网络模型,需要的内存和计算资源是低功耗芯片上内存资源有限的边缘端设备所不能承受的。
[0024]在一些相关技术中,将一个训练任务分配给多个边缘端结点,一个结点只训练一
层或几层网络权重,这种方法将神经网络层之间的联系强行割裂,训练得到的模型是不准确的,同时网络训练推理需要的时间和空间复杂度也没有发生任何变化,极大的增加了通信和应用成本。
[0025]所以,如何既能保证边缘节点的数据隐私性,又能降低对于边缘节点的计算和存储的需求,且同时还能提高中心服务器和边缘节点的数据传输速度,显然是一个难题。
[0026]参考图1,其为本公开实施例提供的联邦学习方法的一种应用场景示意图。该应用场景包括中心服务器和多个边缘节点。其中,中心服务器和边缘节点之间均通过有线或者无线的通信网络连接。边缘节点包括但不限于桌面计算机、移动电话、移动电脑、平板电脑、媒体播放器、智能可穿戴设备视、个人数字助理(personal digital assistant,PDA)或其它能够实现上述功能的电子设备等。中心服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
[0027]中心服务器用于向边缘本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种联邦学习方法,其中,所述方法由中心服务器和至少一个边缘节点实现,所述方法包括:所述中心服务器对神经网络每一层的权重矩阵降维以得到降维的权重矩阵参数集合,并将所述降维的权重矩阵参数集合发送至所述边缘节点;所述边缘节点基于所述降维的权重矩阵参数集合利用本地样本进行训练以得到该边缘节点对应的边缘表征矩阵,并将所述边缘表征矩阵发送至所述中心服务器;所述中心服务器基于所有所述边缘表征矩阵得到更新的降维的权重矩阵参数集合,并将所述更新的降维的权重矩阵参数集合发送至所述边缘节点。2.根据权利要求1所述的方法,其中,所述中心服务器对神经网络每一层的权重矩阵降维以得到降维的权重矩阵参数集合,包括:对于所述神经网络每一层的权重矩阵,所述中心服务器对所述权重矩阵初始化,得到初始化权重矩阵,所述中心服务器对所述初始化权重矩阵进行奇异值分解,得到近似权重矩阵,所述中心服务器对所述近似权重矩阵采样,得到行采样矩阵和列采样矩阵,所述中心服务器利用所述行采样矩阵和列采样矩阵对所述近似权重矩阵抽样,得到全局表征矩阵;所述中心服务器整合所有层的所述全局表征矩阵以得到所述降维的权重矩阵参数集合。3.根据权利要求2所述的方法,其中,所述中心服务器整合所有层的所述全局表征矩阵以得到所述降维的权重矩阵参数集合,包括:对于所述神经网络每一层的权重矩阵,所述中心服务器将所述行采样矩阵和列采样矩阵作为所述全局表征矩阵的索引加入到所述降维的权重矩阵参数集合中。4.根据权利要求3所述的方法,其中,所述边缘节点基于所述降维的权重矩阵参数集合利用本地样本进行训练以得到该边缘节点对应的边缘表征矩阵,包括:所述边缘节点根据所述降维的权重矩阵参数集合,计算得到核心表征矩阵;所述边缘节点基于所述本地样本、全局表征矩阵和核心表征矩阵,进行前向推理计算以得到本地输出,进行误差反向传播计算以得到所述边缘表征矩阵的梯度,利用所述边缘表征矩阵的梯度得到所述边缘表征矩阵。5.根据权利要求4所述的方法,其中,所述边缘节点根据所述降维的权重矩阵参...

【专利技术属性】
技术研发人员:李斌刘宏福赵成林许方敏
申请(专利权)人:北京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1