一种异步自适应联邦学习方法及装置制造方法及图纸

本申请提供了一种异步自适应联邦学习方法及装置，所述方法应用于工作节点，所述方法包括：从参数服务器接收全局模型参数，并从本地训练数据集执行本地SGD迭代；当完成指定次数的局部SGD迭代后，将本地模型参数和控制参数发送到所述参数服务器，使得所述参数服务器利用所述本地模型参数计算得到新的全局模型参数，利用所述控制参数计算得到所有工作节点上的最优SGD迭代次数的集合；接收所述参数服务器发送的最优SGD迭代次数的集合、全局模型参数和循环指数；重复上述步骤，直至获得最优全局模型参数。本申请在不同工作节点上动态确定局部SGD迭代次数，从而在时间资源预算下平衡快工作节点和慢工作节点，以获得稳定的性能。能。能。

【技术实现步骤摘要】
一种异步自适应联邦学习方法及装置


[0001]本专利技术涉及机器学习
，更具体地，涉及一种异步自适应联邦学习方法、系统及装置。

技术介绍

[0002]联邦学习(Federated Learning，FL)是分布式机器学习的一种范式，其核心思想是通过在多个拥有本地数据的数据源之间进行分布式模型训练，在不需要交换本地个体或样本数据的前提下，仅通过交换模型参数或中间结果的方式，构建基于虚拟融合数据下的全局模型，从而实现数据隐私保护和数据共享计算的平衡，即“数据可用不可见”、“数据不动模型动”的应用新范式。
[0003]然而，现实中当系统由在不同设备和网络中具有显着可变性的工作节点组成时，工作节点的异质性导致整个训练过程效率低下。例如，将FL应用于COVID
‑
19的胸部X射线图像的检测识别时，由于COVID
‑
19检测系统由在不同设备和网络中具有显着可变性的工作节点组成，工作节点的异质性导致整个训练过程效率低下。在异构FL系统的设置中，有两种常见的基于并行迭代优化算法的协调方案：异步和同步，其中工作节点独立训练其模型并每隔一段时间同步一次，称为同步方案。
[0004]在同步FL中，最近的工作分析了联邦优化算法的收敛性，假设本地SGD的数据集是独立且相同分布的(Independent Identically Distribution，IID)。对于IID数据，证明了同步FL收敛于局部GD/SGD的凸问题。此外，IID数据的密集收敛分析表明，同步FL可以更普遍地应用并且成本更低。此外，从理论角度分析了同步FL的收敛界限。除了IID数据的收敛性分析外，局部SGD方法也是一个值得关注的问题。对本地SGD的新分析消除了不必要的假设，并详细说明了两种数据机制之间的差异：IID和非IID。同样，局部SGD使用平滑拟凸函数和非凸函数的延迟更新进行分析，并得出简洁、非渐近的收敛速度。事实证明，局部SGD严格控制小批量SGD，并呈现性能下限。
[0005]此外，为了分析FL中同步局部SGD的收敛性，非IID数据集是更常见的情况。它是在一项彻底而严谨的理论研究中提供的，该研究说明了为什么本地SGD可以与并行小批量SGD一样工作，并且通信开销和非IID数据集显着减少。本地SGD的证明表明，在非IID数据的通信效率和收敛速度之间存在权衡，即使工作节点访问非IID数据集，也能以较低的通信复杂度实现线性迭代加速]。事实证明，异质性(非IID)数据会导致局部SGD出现“漂移”，从而导致性能不佳。因此，在基于异构设备和网络的系统中，很难确定每轮工作节点的最佳局部SGD迭代次数，以提高训练速度。
[0006]为了解决上述问题，本申请提出了一种异步自适应联邦学习方法、系统及装置。

技术实现思路

[0007]本专利技术提供了一种异步自适应联邦学习方法、系统及装置，解决相关技术中在在不同工作节点上动态确定局部SGD迭代次数，从而在时间资源预算下平衡快工作节点和慢
工作节点，以获得稳定的性能的问题。
[0008]第一方面，本申请提供一种异步自适应联邦学习方法，所述方法应用于工作节点，所述方法包括：S10,从参数服务器接收全局模型参数，并从本地训练数据集执行本地SGD迭代；S20,当完成指定次数的局部SGD迭代后，将本地模型参数和控制参数发送到所述参数服务器，使得所述参数服务器利用所述本地模型参数计算得到新的全局模型参数，利用所述控制参数计算得到所有工作节点上的最优SGD迭代次数的集合；S30,接收所述参数服务器发送的最优SGD迭代次数的集合、全局模型参数和循环指数；重复步骤S10
‑
步骤S14，直至获得最优全局模型参数。
[0009]进一步的，所述参数服务器利用所述本地模型参数计算得到全局模型参数，计算公式如下：
[0010][0011]其中，w
k
循环指数k处的全局模型参数，表示工作节点i、循环指数k和迭代索引λ处的局部模型参数，k∈[0,K],λ∈[1,τ
i
]，N表示工作节点的数量，τ
i
表示每个工作节点在一轮中局部SGD迭代的次数；其中表示定义为等于，其中|.|表示集合的大小。
[0012]进一步的，最优SGD迭代次数的集合的计算公式如下：
[0013][0014][0015]其中，{τi}表示N个工作节点{τ1,τ2,...,τ
i
,...,τ
N
}上的局部SGD迭代次数的集合，表示最优{τi}，T代表总时间预算，η代表SGD的学习率。
[0016]进一步的，不同的工作节点完成固定次数的局部SGD迭代并在一轮内提交联邦学习结果所需的时间相同或者不同。
[0017]第二方面，本申请还提供一种异步自适应联邦学习系统，所述系统包括：工作节点，用于从参数服务器接收全局模型参数，并从本地训练数据集执行本地SGD迭代，完成指定次数的局部SGD迭代后，将本地模型参数和控制参数发送到所述参数服务器，使得所述参数服务器利用所述本地模型参数计算得到全局模型参数，利用所述控制参数计算得到所有工作节点上的最优SGD迭代次数的集合,接收所述参数服务器发送的最优SGD迭代次数的集合、全局模型参数和循环指数；
[0018]参数服务器用于接收工作节点发送的本地模型参数和控制参数，利用所述本地模型参数计算得到全局模型参数，利用所述控制参数计算得到所有工作节点上的最优SGD迭代次数的集合,将最优SGD迭代次数的集合、全局模型参数和循环指数发送给所述每个工作节点。
[0019]进一步的，所述参数服务器利用所述本地模型参数计算得到全局模型参数，计算公式如下：
[0020][0021]其中，w
k
循环指数k处的全局模型参数，表示工作节点i、循环指数k和迭代索引λ处的局部模型参数，k∈[0,K],λ∈[1,τ
i
]，N表示工作节点的数量，τ
i
表示每个工作节点在一轮中局部SGD迭代的次数；其中表示定义为等于，其中|.|表示集合的大小。
[0022]进一步的，最优SGD迭代次数的集合的计算公式如下：
[0023][0024][0025]其中，{τi}表示N个工作节点{τ1,τ2,...,τi,...,τN}上的局部SGD迭代次数的集合，表示最优{τi}，T代表总时间预算，η代表SGD的学习率。
[0026]进一步的，所述利用所述控制参数计算得到所有工作节点上的最优SGD迭代次数的集合包括：所述参数服务器在每个全局聚合期间重新计算的值，当中有不可表示的值时，停止计算，将计算后的的值发送到每个所述工作节点。
[0027]第三方面，提供了一种电子设备，其特征在于，包括处理器和存储器，其中，所述存储器中存储有计算机程序，所述处理器被配置为运行所述计算机程序以执行上述任一项所述的异步自适应联邦学习方法。
[0028]第四方面，提供了一种计算机可读存储介质，其特征在于，所述计算机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异步自适应联邦学习方法，所述方法应用于工作节点，所述方法包括：S10,从参数服务器接收全局模型参数，并从本地训练数据集执行本地SGD迭代；S20,当完成指定次数的局部SGD迭代后，将本地模型参数和控制参数发送到所述参数服务器，使得所述参数服务器利用所述本地模型参数计算得到新的全局模型参数，利用所述控制参数计算得到所有工作节点上的最优SGD迭代次数的集合；S30,接收所述参数服务器发送的最优SGD迭代次数的集合、全局模型参数和循环指数；重复步骤S10
‑
步骤S14，直至获得最优全局模型参数。2.如权利要求1所述的异步自适应联邦学习方法，其特征在于，所述参数服务器利用所述本地模型参数计算得到全局模型参数，计算公式如下：其中，w
k
循环指数k处的全局模型参数，表示工作节点i、循环指数k和迭代索引λ处的局部模型参数，k∈[0,K],λ∈[1,τ
i
]，N表示工作节点的数量，τ
i
表示每个工作节点在一轮中局部SGD迭代的次数；其中表示定义为等于，其中|.|表示集合的大小。3.如权利要求2所述的异步自适应联邦学习方法，其特征在于，最优SGD迭代次数的集合的计算公式如下：合的计算公式如下：其中，{τi}表示N个工作节点{τ1,τ2,...,τ
i
,...,τ
N
}上的局部SGD迭代次数的集合，表示最优{τi}，T代表总时间预算，η代表SGD的学习率。4.如权利要求1所述的异步自适应联邦学习方法，其特征在于，不同的工作节点完成固定次数的局部SGD迭代并在一轮内提交联邦学习结果所需的时间相同或者不同。5.一种异步自适应联邦学习系统，所述系统包括：工作节点，用于从参数服务器接收全局模型参数，并从本地训练数据集执行本地SGD迭代，完成指定次数的局部SGD迭代后，将本地模型参数和控制参数发送到所述参数服务器，使得所述参数服务器利用所述本地模型参数计算得到新的全局模型参数，利用所述控制参数计算得到所有工...

【专利技术属性】
技术研发人员：程杰仁，罗平，
申请(专利权)人：海南大学，
类型：发明
国别省市：