一种基于编码技术的联邦学习方法技术

本发明专利技术公开了一种基于编码技术的联邦学习方法

【技术实现步骤摘要】
一种基于编码技术的联邦学习方法


[0001]本专利技术涉及人工智能机器学习领域，涉及一种基于编码技术的联邦学习方法，以提升联邦学习收敛速度方法
。

技术介绍

[0002]联邦学习
(Federated Learning
，
FL)
从
2016
年谷歌团队提出以来，已经在近几年得到了快速的发展，与传统的云计算在远程和集中的数据中心存储和处理最终用户的数据，联邦学习通过汇集网络边缘的可用资源
(
例如，智能手机
、
平板电脑
、
智能汽车
、
基站和路由器
)
参与整体模型的训练，使得服务提供更加接近最终用户
。
并且训练只在本地进行，进一步保障了用户的隐私
。
因此，联邦学习模型广泛运用于物联网领域，医院
、
银行等行业用于数据分析
。
[0003]但是当联邦学习运用于大规模集群训练时，因为分布式计算模型的原因，往往在计算延迟和通信负载中权衡，来优化整体系统的性能
。
在联邦学习模型中往往存在冗余节点
(
即许多计算和存储点
)
是丰富的，并且随着网络大小线性增长
。
我们展示了编码在雾计算中的转换作用，以利用这种冗余来显著降低计算的带宽消耗和延迟
。
本专利技术主要是通过利用编码，以网络边缘丰富的计算资源换取通信带宽和延迟
。/>提出了一个将最小延迟编码和最小带宽编码整和的编码框架，利用网络各个部分的可用或未充分利用的计算资源来实现显著降低计算带宽消耗和延迟的编码机会，这在联邦学习的实际运用中非常重要
。
[0004]最小带宽编码是将计算负载因子
(
即评估
r
个精心选择的节点上的每次计算
)
用来创造新的编码机会，将计算所需的通信负载减少相同的因素
。
因此，可以利用最小带宽代码在网络边缘汇集未充分利用的计算资源，以大幅降低联邦学习计算的通信负载
。
最小延迟码能够在计算负载和计算延迟
(
即总作业响应时间
)
之间进行权衡
。
更具体地说，最小延迟码利用编码来有效地注入冗余计算，以减轻掉队者的影响，并通过与注入的冗余量成比例的乘法因子来加速计算
。
因此，通过在网络边缘利用更多的计算资源，最小延迟代码可以显著加联邦学习应用程序的速度
。

技术实现思路

[0005]本专利技术解决的技术问题是：在联邦学习运用于大规模集群训练中，通信的负载和延迟一直是一个瓶颈
。
本专利技术充分发挥最小带宽编码和最小延迟编码的特性，提出了统一的编码框架，通过引入计算延迟和通信负载之间的权衡，将上述两个编码概念系统地结合在一起
。
该框架允许雾计算系统在权衡的任何点上操作，在该点上，最小带宽编码码和最小延迟编码可以分别被视为最小化通信负载和计算延迟的两个极值点
。
利用冗余计算来降低带宽消耗和延迟，提升联邦学习模型整体性能
。
[0006]本专利技术包括以下步骤：
[0007]步骤
(1)
：构建联邦学习框架，主要分为本地设备和云端服务器，与传统联邦学习不同的是本地客户端需要利用网络边缘执行任务
。
[0008]步骤
(2)
：在数据混洗阶段，利用贪婪算法使最小带宽码指定的编码多播机会，直到满足所有节点的数据需求
。
[0009]步骤
(3)
：在计算的映射阶段，
MDS
编码用于创建编码任务
。
然后，将这些任务分配给边缘节点以供本地执行，具体取决于映射阶段的计算延迟
。
一旦一定数量的节点完成了它们的本地计算，所有正在运行的映射任务将终止
。
[0010]步骤
(4)
：利用最小带宽代码和最小延迟代码编码技术，在本地计算中加入冗余在本地设备上传至云端服务器之前执行了更多的局部计算，来显著降低通信负载
。
[0011]步骤
(5)
：在边缘节点上运行分布式矩阵乘法的统一框架，选择计算延迟和通信负载之间选取权衡点，考虑两个点的极端，分别最小化通信负载和计算延迟
。
[0012]步骤
(6)
：接下来利用计算延迟和通信负载的权衡来优化总响应时间
(
总响应时间是混洗阶段的通信时间和映射阶段的计算延迟的总和
)。
[0013]本专利技术有益效果：本专利技术提升联邦学习系统性能，利用最小带宽编码和最小延迟编码技术降低计算的宽带消耗和延迟
。
经过实验证实完成其映射工作时终止映射阶段的最小延迟代码实现了
263s
的总响应时间
。
使用统一的编码框架，我们可以等待最快的
12
个节点的最佳数量完成，并实现
186s
的最小总响应时间
。
因此，这种统一编码方法分别比最小带宽代码和最小延迟代码提供
38.4
％和
29.3
％的性能增益
。
附图说明
[0014]图1最小带宽编码的示意图；
[0015]图2最小延迟编码的矩阵乘法示意图；
[0016]图3编码技术的联邦学习方法的流程图；
[0017]图4联合编码框架和最小延迟编码
、
最小带宽编码对与外界实现的延迟与负载的实验交结果对比图
。
具体实施方式
[0018]下面将结合本专利技术实施例中的附图，对本专利技术的技术方案进一步详细说明，如图1所示最小带宽编码的示意图，中客户端将从六个输入文件中计算三个输出函数
(
由红色
/
圆形
、
绿色
/
方形和蓝色
/
三角形表示
)
的作业上传到云服务器
。
本地的三个边节点
(
节点
1、
节点2和节点
3)
协作执行计算
。
每个节点负责计算唯一的输出函数，每个节点多播一个逐位表示为将两个中间值中的两个值转换为另外两个节点，同时满足它们的数据需求
。
例如，知道文件3中的蓝色三角形，节点2可以将其从节点1的编码分组多播中取消，从而恢复文件1中所需的绿色正方形
。
通常，将一个数据包多播到两个节点的带宽消耗小于单播两个数据包的带宽消耗，这里我们考虑的场景是，它与单播一个数据包包含的带宽消耗一样多
(
无线网络就是这样
)。
更一般地说，我们可以考虑一种联邦学习计算场景，在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于编码技术的联邦学习方法，其特征在于，包括如下步骤：步骤
1、
构建联邦学习框架，在本地预处理数据；步骤
2、
在本地节点对数据进行混洗，利用贪婪算法创造多播机会，直到满足所有节点的数据需求；步骤
3、
计算的映射阶段，
MDS
编码用于创建编码任务，将这些任务分配给边缘节点以供本地执行，再计算特定延迟
。
步骤
4、
利用最小带宽代码和最小延迟代码编码技术，在本地计算中加入冗余，在上传之前执行多次局部计算降低负载和延迟；步骤
5、
在边缘节点上运行分布式矩阵乘法，选择权衡点，最小化通信负载和计算延迟；步骤
6、
利用计算延迟和通信负载的权衡来优化总响应时间
。2.
根据权利要求1所述的一种基于编码技术的联邦学习方法，其特征在于：步骤
(2)
是在本地节点进行数据混洗时使用贪婪算法给最小带宽编码创造多播机会
。
贪心算法
(Greedy Algorithm)
是一种解决优化问题的常用算法设计策略
。
在贪心算法中，每一步都采取当前状态下最优的选择，而不考虑未来的影响
。
贪心算法通常适用于那些具有贪心选择性质的问题，即局部最优选择也是全局最优选择的问题
。3.
根据权利要求1所述的一种基于编码技术的联邦学习方法方法，其特征在于：步骤
(3)
是利用
MDS
编码创建编码任务再分配给边缘节点使用，根据映射阶段的特定计算延迟，只要一定数量的节点完成了它们的本地计算，所有正在运行的映射任务就会终止
。MDS
编码是一种纠删码
(Erasure Code)
技术，旨在增强数据的冗余和容错性
。
它的主要思想是将原始数据切分成多个数据块，并生成额外的冗余块，以使数据在存储和传输过程中能够抵御硬件故障或数据丢失
。MDS
编码的一个关键特性是，它可以在一定数量的数据块丢失或损坏的情况下，仍然能够完全恢复原始数据，具体是：步骤
(3
‑
1)
，数据划分：首先，要存储的数据被划分成若干数据块
。
通常，这些块的数量比副本复制方法中所需的副本数量少得多，这有助于节省存储空间
。
步骤
(3
‑
2)
，编码：纠删码编码过程涉及将这些数据块转化为额外的编码块
。
这些编码块中的每一个都包含了原始数据块的部分信息
...

【专利技术属性】
技术研发人员：毛德欢，魏贵义，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：