基于压缩感知的通信高效联邦学习方法技术

本发明专利技术提供了一种基于压缩感知的通信高效联邦学习方法，可概括为如下步骤：首先使用服务器持有的准验证数据集执行字典学习，以学习模型参数的稀疏表示；然后采用自适应压缩比选择算法根据模型训练损失来确定合适的压缩比，最后在服务器端利用压缩的线性，将全局模型恢复的计算成本从n次减少到重构算法的1次执行；此外通过分层压缩降低了压缩的计算成本。通过本发明专利技术，可以有效地压缩和精确地重建非稀疏模型参数，不仅支持上下行压缩，还可以在不降低测试精度的情况下降低总体通信成本。通过在三个图像分类任务上的实验证明我们的方法始终优于现有的方法，即使使用一个小的准验证集来学习稀疏字典，也可以获得较高的重构精度。精度。精度。

【技术实现步骤摘要】
基于压缩感知的通信高效联邦学习方法


[0001]本专利技术涉及一种通信高效联邦学习方法，特别是涉及一种基于压缩感知的通信高效联邦学习方法

技术介绍

[0002]联邦学习作为一种分布式部署的深度学习的框架，不仅让多方共同完成一个训练目标模型，而且摒弃传统的深度学习中数据集都需要统一部署在服务端的观点，具有天然保护用户隐私数据的特性。每个分布式的客户端(分布式的节点)仅需各自在本地储存自己私有的数据集，并且无需上传私有数据集给服务器。客户端在本地完成训练模型后，客户端上传数据给服务器。中心服务器收到客户端上传的数据并聚合。中心服务器再将聚合后的结果下发给客户端。因此联邦学习相比传统的集中式训练的方法有效的保证了客户端的隐私。
[0003]然而联邦学习训练也带来了一系列问题，其中一个主要问题是模型更新传输导致的通信成本和训练时间延迟。具体而言，对于具有数百万个参数(大小可能为千兆字节)的现代体系结构，在大型数据集上进行数十万次训练迭代期间，每个客户端的总通信量很容易超过PB。此外，客户端的不可靠网络条件可能会导致严重延迟。换句话说，在有限的带宽和不稳定的网络传输条件下，大规模通信会显著降低联邦学习的性能。因此，找到一种通信效率高的联邦学习方法至关重要。
[0004]现有的降低联邦学习中的通信成本方法主要分为两类：第一类是减少通信轮次的数量，指参与的客户端执行大量本地更新，并定期通过参数服务器进行同步。该类方法可以减少上游和下游通信，但当数据为Non_IID时，性能较差。第二类是减少每轮通信的大小指客户端通过稀疏化、量化，或者两者结合起来，将压缩的数据传送给中央服务器，以减少每轮通信期间传输的更新大小来实现。但该类方法无法同时满足以下三个条件：减少通信总数、减少每一轮的通信成本和支持下行链路压缩。

技术实现思路

[0005]本专利技术的目的是：在FedAvg的基础上进一步降低每一轮的通信成本，以最终提高联邦学习训练的性能。
[0006]为了达到上述目的，本专利技术的技术方案是提供了一种基于压缩感知的通信高效联邦学习方法，其特征在于，包括以下步骤：
[0007]步骤1、服务器端在本地使用准验证集X学习稀疏字典Ψ，包括以下步骤：
[0008]步骤101、选择准验证集X作为训练数据来训练全局模型G，并在训练全局模型期间保存模型参数；
[0009]步骤102、设置参数值，包括：初始字典的长度和原子数、待分解信号稀疏表示中使用的线性组合原子的最大数量、K
‑
SVD算法的迭代次数以及样本信号集中的原子数；
[0010]步骤103、基于初始字典原子长度N，从保存的模型参数中选择K个原子，以形成初
始字典Ψ，并选择N个原子形成稀疏表示的样本集S，然后通过解压缩算法获得模型参数初始字典下的稀疏系数矩阵Z，即S＝Ψ
×
Z；
[0011]步骤104、根据K
‑
SVD算法的训练迭代误差连续更新初始字典原子，如果达到迭代次数，则停止更新，构建与模型参数的特征匹配的稀疏字典Ψ；
[0012]步骤2、服务器首先初始化压缩比δ0和全局模型G0，其参数由n维的表示，并将n
×
n的高斯随机矩阵作为测量矩阵Φ，然后将δ0、和Φ下发给各客户端；在后续训练阶段，服务器首先根据全局模型的损失值计算当前t轮次时的压缩比δ
t
，然后将利用稀疏字典Ψ获得的当前t轮次的全局模型参数的稀疏表示和δ
t
下发给各客户端；
[0013]步骤3、每个客户端p
i
在获得和压缩比δ
t
之后之后，使用其本地数据集D
i
迭代运行小批量梯度下降，直到获得本地模型参数并将本地模型参数展平为n
×
1列向量，将其视为要压缩的信号；然后根据当前轮次压缩比δ
t
的大小，提取服务器下发的测量矩阵Φ中的m行，以形成用于当前轮压缩的测量矩阵Φ
δ
，利用测量矩阵Φ
δ
对本地模型参数进行压缩，即最后将发送到服务器；
[0014]步骤4、服务器在接收到之后，基于稀疏字典Ψ运行解压缩算法，以解压重构出然后应用加权平均聚合协议获得其中，服务器先执行局部模型聚合，然后使用聚合的局部模型重建
[0015]优选地，步骤2中，在t轮训练中，服务器计算最后θ轮的平均损失ι
t
，并计算γ＝ι
t
/ι0，其中，t>θ，ι0为一轮训练后全局模型G0的损失值，将新的压缩比设置为δ
t
＝γ
·
δ0，若最后θ轮的模型损失是不变的，则进一步将δ
t
减小到∈
·
δ
t
，∈为比例因子。
[0016]优选地，步骤3中，客户端利用测量矩阵Φ
δ
对本地模型参数进行压缩时，采用分层压缩。
[0017]本专利技术提出了一种基于压缩感知的方法，在FedAvg的基础上进一步降低了联邦学习的通信成本。本专利技术利用准验证集来学习稀疏表示字典，从而实现非稀疏机器学习模型参数的有效压缩和重构。本专利技术采用的自适应压缩比调整技术允许恢复的模型逐渐收敛，并达到FedAvg的近似测试精度，最大压缩比为总压缩比的10倍。此外在服务器端，本专利技术采用联合模型重构，在客户端，本专利技术采用分层压缩，这保证了压缩的低计算成本。实验结果表明，本专利技术提供的方法在所有三种图像分类任务中都优于其他三种方法。本专利技术可以有效地压缩和精确地重建非稀疏模型参数，不仅支持双向通信压缩，还可以在不降低测试精度的情况下降低总体通信成本。
附图说明
[0018]图1为基于压缩感知的通信高效联合学习方法的流程图；
[0019]图2为服务器通过使用准验证集来学习稀疏字典的流程图；
[0020]图3(a)为Lenet5 onMNIST模型在IID数据上的收敛趋势和通信成本；
[0021]图3(b)为Lenet5 onF
‑
MNIST模型在IID数据上的收敛趋势和通信成本；
[0022]图3(c)为CNN onCIFAR
‑
10模型在IID数据上的收敛趋势和通信成本；
[0023]图4(a)为Lenet5 onMNIST模型在Non_IID(50％类)数据上的收敛趋势和通信成本；
[0024]图4(b)为Lenet5 onF
‑
MNIST模型在Non_IID(50％类)数据上的收敛趋势和通信成本；
[0025]图4(c)为CNN onCIFAR
‑
10模型在Non_IID(50％类)数据上的收敛趋势和通信成本；
[0026]图5(a)为Lenet5 onMNIST模型在Non_IID(20％类)数据上的收敛趋势和通信成本；
[0027]图5(b)为Lenet5 onF
‑
MNIS本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于压缩感知的通信高效联邦学习方法，其特征在于，包括以下步骤：步骤1、服务器端在本地使用准验证集X学习稀疏字典Ψ，包括以下步骤：步骤101、选择准验证集X作为训练数据来训练全局模型G，并在训练全局模型期间保存模型参数；步骤102、设置参数值，包括：初始字典的长度和原子数、待分解信号稀疏表示中使用的线性组合原子的最大数量、K
‑
SVD算法的迭代次数以及样本信号集中的原子数；步骤103、基于初始字典原子长度N，从保存的模型参数中选择K个原子，以形成初始字典Ψ，并选择N个原子形成稀疏表示的样本集S，然后通过解压缩算法获得模型参数初始字典下的稀疏系数矩阵Z，即S＝Ψ
×
Z；步骤104、根据K
‑
SVD算法的训练迭代误差连续更新初始字典原子，如果达到迭代次数，则停止更新，构建与模型参数的特征匹配的稀疏字典Ψ；步骤2、服务器首先初始化压缩比δ0和全局模型G0，其参数由n维的表示，并将n
×
n的高斯随机矩阵作为测量矩阵Φ，然后将δ0、和Φ下发给各客户端；在后续训练阶段，服务器首先根据全局模型的损失值计算当前t轮次时的压缩比δ
t
，然后将利用稀疏字典Ψ获得的当前t轮次的全局模型参数的稀疏表示和δ
t
下发给各客户端；步骤3、每个客户端p
i
在获得和压缩比δ
t
之后，使用其本地...

【专利技术属性】
技术研发人员：常姗，刘叶，朱弘恣，刘艺圻，
申请(专利权)人：东华大学，
类型：发明
国别省市：