本发明专利技术涉及去中心式联合学习，具体涉及一种权衡计算频率与通信频率的去中心式联合学习方法，当处于本地更新迭代区间时，所有边缘节点并行执行随机梯度下降算法SGD；当处于节点通信迭代区间时，所有边缘节点与各自对应的邻居节点进行模型参数交互，各边缘节点将本地模型参数与接收到的邻居节点发送的模型参数进行加权平均，得到新的模型参数，并将新的模型参数作为下一轮本地更新的起始模型参数；通过不断交替执行本地更新与节点通信实现去中心式数据的全局训练，优化全局损失函数，得到最优全局模型参数；本发明专利技术提供的技术方案能够有效克服现有技术所存在的无法在边缘节点的计算和通信资源受限的条件下，实现去中心式联合学习全局收敛的缺陷。合学习全局收敛的缺陷。合学习全局收敛的缺陷。
【技术实现步骤摘要】
一种权衡计算频率与通信频率的去中心式联合学习方法
[0001]本专利技术涉及去中心式联合学习，具体涉及一种权衡计算频率与通信频率的去中心式联合学习方法。
技术介绍
[0002]DFL(Decentralized Federated Learning，去中心式联合学习)是一种分布式机器学习技术，它能够有效地利用边缘节点有限的计算和通信资源训练出最优的模型学习性能。DFL的结构包括许多的EN(Edge Node，边缘节点)，以及这些EN之间的各条通信链路，DFL结构是一个无向图形式的拓扑结构。DFL中有通信链路相连的EN(这些EN互为邻居节点)之间同步更新节点的机器学习模型参数，我们称为权重(Weight)。这不但能够充分利用EN的计算能力，还能保护用户数据的隐私(用户数据只存储在本地，且完全去中心式分布)。
[0003]SGD(Stochastic Gradient Descent，随机梯度下降)是一种用于大规模数据集的机器学习优化算法。不同于普通的梯度下降算法，SGD是一种随机取样一个数据集来进行全局数据集梯度估计的算法，采用无偏的梯度估计将使梯度下降方向朝向全局最优。相较于普通的梯度下降算法，SGD通过一个数据集的梯度来代替全局数据集的梯度，这样能够避免计算全局数据集的梯度，有效提高算法的计算效率，减少算法的运行时间。
[0004]在去中心式联合学习领域，学习过程依赖于EN端有限的计算和通信资源，权衡计算频率与通信频率对学习性能的影响，提供了有效配置计算和通信资源来改善学习性能的理论依据。由于DFL没有中心服务器，在一次节点间通信过程中，EN与其所有邻居节点通信，使得EN只能获得局部模型参数，导致DFL优化算法收敛趋于局部最优，而不是全局最优，学习性能较差。因此，增加通信频率能够使DFL优化算法收敛趋于全局最优，提升学习性能。
[0005]同时，增加计算频率将使本地梯度趋于局部最优，偏离于全局最优，降低学习性能。为了权衡计算频率与通信频率对DFL学习性能的影响，优化计算和通信资源配置，我们考虑一个统一的DFL系统架构，其中多次本地更新与多次节点通信被不断交替执行，该DFL系统架构的计算频率与通信频率对学习性能的影响能够从理论上定量权衡。
技术实现思路
[0006](一)解决的技术问题
[0007]针对现有技术所存在的上述缺点，本专利技术提供了一种权衡计算频率与通信频率的去中心式联合学习方法，能够有效克服现有技术所存在的无法在边缘节点的计算和通信资源受限的条件下，实现去中心式联合学习全局收敛的缺陷。
[0008](二)技术方案
[0009]为实现以上目的，本专利技术通过以下技术方案予以实现：
[0010]一种权衡计算频率与通信频率的去中心式联合学习方法，当处于本地更新迭代区间时，所有边缘节点并行执行随机梯度下降算法SGD；
[0011]当处于节点通信迭代区间时，所有边缘节点与各自对应的邻居节点进行模型参数
交互，各边缘节点将本地模型参数与接收到的邻居节点发送的模型参数进行加权平均，得到新的模型参数，并将新的模型参数作为下一轮本地更新的起始模型参数；
[0012]通过不断交替执行本地更新与节点通信实现去中心式数据的全局训练，优化全局损失函数，得到最优全局模型参数。
[0013]优选地，所有边缘节点组成去中心式的系统架构，所述去中心式的系统架构包括去中心式的边缘节点，以及将所有边缘节点按一定拓扑样式连接起来的通信链路，作为顶点的边缘节点与作为边的通信链路构成一个无向图形式的DFL网络。
[0014]优选地，所有边缘节点上嵌入相同的机器学习模型，所有边缘节点均包括存储单元、计算单元和信号发送与接收单元；
[0015]存储单元，用于存储机器学习模型进行模型训练所需的本地数据集；
[0016]计算单元，在本地更新过程中，基于本地数据集执行对于机器学习模型的随机梯度下降算法SGD；在节点通信过程中，对本地模型参数与接收到的邻居节点发送的模型参数进行加权平均；
[0017]信号发送与接收单元，与对应的邻居节点进行模型参数交互。
[0018]优选地，所述当处于本地更新迭代区间时，所有边缘节点并行执行随机梯度下降算法SGD，包括：
[0019]当t∈[k]1，所有边缘节点执行τ1次本地更新步骤，即τ1次随机梯度下降算法SGD，本地更新规则为：
[0020][0021]其中，t代表本地更新或节点通信的迭代索引，τ1代表本地更新频率，即计算频率，[k]代表第k个迭代周期[(k
‑
1)τ，kτ]，τ＝τ1+τ2代表一个迭代周期中的迭代次数，[k]1代表本地更新迭代区间[(k
‑
1)τ，(k
‑
1)τ+τ1]，代表第t步迭代时边缘节点的模型参数，η为随机梯度下降算法SGD的学习步长。
[0022]优选地，所述当处于节点通信迭代区间时，所有边缘节点与各自对应的邻居节点进行模型参数交互，各边缘节点将本地模型参数与接收到的邻居节点发送的模型参数进行加权平均，得到新的模型参数，包括：
[0023]当t∈[k]2时，所有节点协调执行τ2次节点通信步骤，每个边缘节点与各自对应的邻居节点进行模型参数交互，并在接收到邻居节点发送的模型参数后结合本地模型参数进行加权平均：
[0024][0025]其中，t代表本地更新或节点通信的迭代索引，τ2代表节点通信频率，即通信频率，[k]代表第k个迭代周期[(k
‑
1)τ，kτ]，τ＝τ1+τ2代表一个迭代周期中的迭代次数，[k]2代表节点通信迭代区间[(k
‑
1)τ+τ1，kτ]，代表第t步迭代时边缘节点的随机梯度；
[0026]c
ji
为矩阵C中的元素，表示边缘节点ENj(j＝1，2，
…
，N)在边缘节点ENi(i＝1，2，
…
，N)上对模型平均的贡献，矩阵C为表征DFL网络拓扑的矩阵。
[0027]优选地，所述矩阵C的特征值满足：
[0028]max{|λ2(C)|，|λ
N
(C)|}＜λ1(C)＝1
[0029]其中，λ
i
(C)代表矩阵C的第i个最大特征值，且矩阵C具有双随机性，即C1＝1，
[0030]定义ζ＝max{|λ2(C)|，|λ
N
(C)|}，0≤ζ≤1，ζ为表征DFL网络在一次节点通信过程中的信息交换速率，ξ越大代表DFL网络拓扑连接越稀疏，信息交换速率越慢。
[0031]优选地，所述DFL网络的最优全局模型参数w
f
定义如下：
[0032][0033]其中，K为迭代周期数，K＝T/τ，T为总迭代次数，τ＝τ1+τ2代表一个迭代周期中的迭代次数，F(w)为全局损失函数。
[0034]优选地，所述全局损失函数F(w)采用下式计算：
[0035][0036]其中，F
i...
【技术保护点】
【技术特征摘要】
1.一种权衡计算频率与通信频率的去中心式联合学习方法，其特征在于：当处于本地更新迭代区间时，所有边缘节点并行执行随机梯度下降算法SGD；当处于节点通信迭代区间时，所有边缘节点与各自对应的邻居节点进行模型参数交互，各边缘节点将本地模型参数与接收到的邻居节点发送的模型参数进行加权平均，得到新的模型参数，并将新的模型参数作为下一轮本地更新的起始模型参数；通过不断交替执行本地更新与节点通信实现去中心式数据的全局训练，优化全局损失函数，得到最优全局模型参数。2.根据权利要求1所述的权衡计算频率与通信频率的去中心式联合学习方法，其特征在于：所有边缘节点组成去中心式的系统架构，所述去中心式的系统架构包括去中心式的边缘节点，以及将所有边缘节点按一定拓扑样式连接起来的通信链路，作为顶点的边缘节点与作为边的通信链路构成一个无向图形式的DFL网络。3.根据权利要求2所述的权衡计算频率与通信频率的去中心式联合学习方法，其特征在于：所有边缘节点上嵌入相同的机器学习模型，所有边缘节点均包括存储单元、计算单元和信号发送与接收单元；存储单元，用于存储机器学习模型进行模型训练所需的本地数据集；计算单元，在本地更新过程中，基于本地数据集执行对于机器学习模型的随机梯度下降算法SGD；在节点通信过程中，对本地模型参数与接收到的邻居节点发送的模型参数进行加权平均；信号发送与接收单元，与对应的邻居节点进行模型参数交互。4.根据权利要求1所述的权衡计算频率与通信频率的去中心式联合学习方法，其特征在于：所述当处于本地更新迭代区间时，所有边缘节点并行执行随机梯度下降算法SGD，包括：当t∈[k]1，所有边缘节点执行τ1次本地更新步骤，即τ1次随机梯度下降算法SGD，本地更新规则为：其中，t代表本地更新或节点通信的迭代索引，τ1代表本地更新频率，即计算频率，[k]代表第k个迭代周期[(k
‑
1)τ，kτ]，τ＝τ1+τ2代表一个迭代周期中的迭代次数，[k]1代表本地更新迭代区间[(k
‑
1)τ，(k
‑
1)τ+τ1]，代表第t步迭代时边缘节点的模型参数，η为随机梯度下降算法SGD的学习步长。5.根据权利要求4所述的权衡计算频率与通信频率的去中心式联合学习方法，其特征在于：所述当处于节点通信迭代区间时，所有边缘节点与各自对应的邻居节点...
【专利技术属性】
技术研发人员：王培青，陈力，卢青松，
申请(专利权)人：安徽超清科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。