一种联邦学习方法及联邦学习系统技术方案

本发明专利技术公开了一种联邦学习方法及联邦学习系统，学习方法包括：初始化：初始化全局模型参数；分发：将部分或全部全局模型参数下发到边缘设备；参数训练：对全局模型参数进行预训练；更新与上传：服务器下载部分剩余的全局模型参数，并下发到边缘设备进行参数训练，并提前上传部分模型参数更新，在完成训练时，上传最终模型参数更新；聚合：对所有的模型参数进行加权平均，聚合为新的模型；对新的模型重复顺序执行初始化、分发、参数训练和更新与上传以及聚合步骤。通过联邦学习方法，在边缘设备的训练阶段上传部分训练完成的模型参数，可以减少边缘设备在整体模型训练完成后的上传数据量，以此实现了降低边缘设备的上传模型参数的时间。的时间。的时间。

【技术实现步骤摘要】
一种联邦学习方法及联邦学习系统


[0001]本公开涉及分布式机器学习领域，具体涉及一种联邦学习方法及联邦学习系统。

技术介绍

[0002]科学技术的不断发展为我们带来了愈发强大的设备，这些设备诸如智能手机、平板、智能手表等，在为我们提供诸多便利的同时，也收集了大量的数据。另一方面，人工智能技术也在快速发展着，深度学习技术作为其中最为重要的技术之一，需要十分庞大的数据作为基础，而这些智能设备上的数据无疑是十分具有吸引力的。但是，传统的机器学习都是通过将数据收集起来，再集中进行训练，给这些隐私的信息带来了巨大的威胁，因此，联邦学习就此诞生了。联邦学习是一种分布式机器学习技术，与以往的分布式机器学习技术不同的是，联邦学习不用收集用户的数据，而是让这些数据留存在本地，让用户设备自己原地训练机器学习模型，并将训练好的模型上传给服务器。通过这种方式，数据不离开本地，保障了用户的数据隐私安全，同时，只需要传输模型的参数，也大大减少了通信的压力。
[0003]目前联邦学习的研究主要分为两块，一块是隐私安全，另一块是模型学习效率。学习效率部分，一部分集中于研究资源调度，由于移动设备通常有着有限的资源，诸如电池、网络、计算力等资源，因此进行联邦学习任务时，需要细致地调度分配任务。另一部分集中于解决异构问题，包括数据异构、系统异构、模型异构等问题。不同的设备，由于所处环境的不同，所能接触的数据往往也是不同的，直接在这些非独立同分布的数据上进行训练，会损害模型的性能，具体来说，在现有的联邦学习协议中，对于每个选定的设备，一轮训练中主要有三个非连续的过程，下载、训练和上传，每个阶段需要等待前面的阶段完成。这样，所选设备的计算和通信资源有所浪费，不能被充分使用，导致模型的收敛时间延长。此外，一轮中选定的设备都在训练完成后提交上传，由于有限的上行链路的带宽，同一时刻的大量通信会导致严重的资源竞争。

技术实现思路

[0004]针对上述存在的问题，本公开的目的在于提供一种联邦学习方法及联邦学习系统，通过在本地训练的过程中使用空闲信道提前上传部分模型参数，以实现减轻带宽争用的现象，同时达到加快模型收敛效率的目的。
[0005]为实现上述目的，本公开提供了一种联邦学习方法，该方法应用于联邦学习系统对数据进行机器学习，所述方法包括以下步骤：
[0006]S1:初始化：服务器随机初始化全局模型参数；
[0007]S2:分发：服务器下载全部或部分全局模型参数，并下发到多个边缘设备；
[0008]S3:参数训练：边缘设备将接收到的模型参数与本地模型相结合，并进行训练；
[0009]S4：更新与上传：在训练过程中，服务器下载剩余的全局模型参数，并下发到对应的边缘设备进行参数训练，边缘设备通过预上传规则提前上传部分模型参数更新，在完成训练时，上传最终模型参数更新；
[0010]S5:聚合：服务器在收到所有的模型参数后，对所有的模型参数进行加权平均，聚合为模型后，将该模型作为新的全局模型；
[0011]S6:对步骤S5中产生的新的全局模型重复顺序执行S2、S3、S4和S5，直到全局模型达到性能标准。
[0012]进一步，步骤S2中，在初始循环时，下载全部的全局模型参数，在后续循环中，若所选设备已进行过训练，则将该设备上一次训练后产生的模型与当前循环的全局模型进行比较，并下载部分变化最大的模型参数，每次循环下载的参数量占全局模型总参数量的10％～60％，若所选设备未训练过，则下载全部的全局模型参数。
[0013]进一步，步骤S4中，在初始循环中，服务器无需在训练过程中再次下载全局模型参数，在后续循环中，服务器下载当前循环中各边缘设备对应的剩余全局模型参数。
[0014]进一步，所述预上传规则包括预上传参数选择和预上传时机选择，所述预上传规则包括预上传参数选择和预上传时机选择，所述预上传时机选择为，以当前训练进度的中点为基准，在达到训练进度的中点时开始预上传数据。
[0015]进一步，所述预上传参数选择为：当前参数稳定性更趋近于0的前60％的模型参数或参数变化幅度较大的前60％的模型参数。
[0016]进一步，当预上传参数选择为参数稳定性更趋近于0的参数时，所述最终模型参数更新选择为，当前未上传的全部模型参数；当预上传参数选择为参数变化较大的参数时，所述最终模型参数更新选择为，当前变化较大的前60％的模型参数。
[0017]本实施例还公开了一种用于实现上述联邦学习方法的联邦学习系统，所述系统包括：
[0018]至少一个服务器，用于实现全局模型参数的初始化以及模型参数的聚合与下发；
[0019]多个边缘设备，用于接收所述服务器下发的模型参数，并对模型参数进行训练，在训练过程中以及训练结束后上传模型参数至服务器。
[0020]进一步，所述边缘设备具有数据集其中，
[0021]表示数据集的数据量，
[0022]x
k,j
表示第k个边缘设备的第j个输入数据，
[0023]y
k,j
表示x
k,j
的标签，
[0024]表示整体数据集，
[0025]表示总的样本。
[0026]进一步，所述边缘设备通过训练得出模型参数w来最小化数据集上的损失函数，表示为：
[0027][0028]其中，
[0029]其中损失函数f(w,x
k,j
,y
k,j
)衡量模型参数w在数据对{x
k,j
,y
k,j
}上的误差。
[0030]进一步，所述边缘设备通过计算得出当前模型参数的参数稳定性，根据参数稳定
性判断该模型参数是否为稳定参数，其中参数稳定性可以定义为：
[0031][0032][0033]其中，P
k
是第K次检查后的参数稳定性数值，
[0034]E
k
是参数更新的移动平均值，
[0035]是参数更新的绝对值的移动平均，
[0036]α是平滑因子，其取值接近于1，
[0037]△
K
表示参数自上次检查以来累积的更新。
[0038]本专利技术的有益效果是：
[0039]1、通过提出的联邦学习方法，可以在边缘设备的训练阶段上传部分训练完成的模型参数，可以减少边缘设备在整体模型参数训练完成后上传部分的上传数据量，以此实现了降低边缘设备的最终上传模型参数的时间；
[0040]2、通过提出的联邦学习系统，可以对训练的模型的精度进行监测，还可以对模型参数的稳定性进行计算，为联邦学习方法提供模型参数的稳定性判断，以实现上传更符合要求的模型参数，在保证模型训练效率的同时保证了模型的精度。
附图说明
[0041]附图示出了本专利技术的示例性实施方式，并与其说明一起用于解释本专利技术的原理，其中包括了这些附图以提供对本专利技术的进一步理解，并且附图包括在本说明书中并构成本说明书的一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联邦学习方法，所述方法用于对数据进行机器学习，其特征在于，所述方法包括以下步骤：S1:初始化：服务器随机初始化全局模型参数；S2:分发：服务器下载全部或部分全局模型参数，并下发到多个边缘设备；S3:参数训练：边缘设备将接收到的模型参数与本地模型相结合，并进行训练；S4：更新与上传：在训练过程中，服务器下载剩余的全局模型参数，并下发到对应的边缘设备进行参数训练，边缘设备通过预上传规则提前上传部分模型参数更新，在完成训练时，上传最终模型参数更新；S5:聚合：服务器在收到所有的模型参数后，对所有的模型参数进行加权平均，聚合为模型后，将该模型作为新的全局模型；S6:对步骤S5中产生的新的全局模型重复顺序执行S2、S3、S4和S5，直到全局模型达到性能标准。2.根据权利要求1所述的联邦学习方法，其特征在于，步骤S2中，在初始循环时，下载全部的全局模型参数，在后续循环中，若所选设备已进行过训练，则将该设备上一次训练后产生的模型与当前循环的全局模型进行比较，并下载部分变化最大的模型参数，每次循环下载的参数量占全局模型总参数量的10％～60％，若所选设备未训练过，则下载全部的全局模型参数。3.根据权利要求2所述的联邦学习方法，其特征在于，步骤S4中，在初始循环中，服务器无需在训练过程中再次下载全局模型参数，在后续循环中，服务器下载当前循环中各边缘设备对应的剩余全局模型参数。4.根据权利要求1所述的联邦学习方法，其特征在于，所述预上传规则包括预上传参数选择和预上传时机选择，所述预上传时机选择为，以当前训练进度的中点为基准，在达到训练进度的中点时开始预上传数据。5.根据权利要求4所述的联邦学习方法，其特征在于，所述预上传参数选择为：当前参数稳定性更趋近于0的前60％的模型参数或参数变化幅度较大的前60％的模型参数。6.根据权利要求5所述的联邦学习方法，其特征在于，当预上传参数选择为...

【专利技术属性】
技术研发人员：贾俊铖，章红，沈逸回，
申请(专利权)人：苏州大学，
类型：发明
国别省市：