一种移动边缘网络中联邦学习的效率优化方法技术

本发明专利技术涉及一种移动边缘网络中联邦学习的效率优化方法，包括以下步骤：S1：首先增加任务的并行性，通过在每一轮选择多个设备参与联邦训练，以减少训练的轮数；S2：增加设备的计算量，在全局聚合更新之前，在每个设备上执行多次训练任务；S3：结合剪枝技术和压缩技术，基于通信效率的CE

【技术实现步骤摘要】
一种移动边缘网络中联邦学习的效率优化方法


[0001]本专利技术涉及联邦学习
，尤其涉及一种移动边缘网络中联邦学习的效率优化方法。

技术介绍

[0002]近年来，深度学习的发展为人工智能技术的进步创造了动力。随着物联网技术的发展，移动设备都具备强大的芯片、传感器以及计算能力，能够在处理高级任务的同时，收集和产生更丰富的数据。这些数据为深度学习的研究提供了有利的基础条件，是深度学习不可或缺的部分。传统以云为中心的深度学习，需要先收集移动设备的数据，包括物联网设备和智能手机收集的数据，例如照片、视频和位置等信息，并全部发送到基于云的服务器或数据中心进行处理与训练。然而，这种方法存在以下问题：在万物互联的时代，移动设备每分每秒都产生着数以亿计的数据，这些数据全部上传到云服务器会占用大量的网络带宽。同时，以云为中心的学习方式传输延迟高，不能及时进行数据交互，给网络带来不必要的负担。数据所有者对隐私越来越注重，用户往往不愿共享自己的个人数据。许多国家和组织也制定了相关隐私政策，例如欧盟委员会制定的“GeneralDataProtectionRegulation”(《通用数据保护条例》)。
[0003]因此，利用一些边缘设备的计算和存储能力，把计算推向边缘被提出作为一种解决方案。联邦学习应运而生，目的在于保护大数据环境下模型学习中涉及的用户数据隐私。在联邦学习训练过程中，只需要将所有移动设备在其私有数据上训练的本地模型上传到云服务器中进行聚合，不涉及数据本身，很大程度上提高了用户数据的隐私性。同时，边缘计算的提出是为了缓解云中心的计算压力，目的是把云服务中心的计算任务卸载到边缘，这恰好与联邦学习的计算模式相适应，为联邦学习创造了有利条件。在移动设备上训练模型，除了保证数据不离开本地，还能让计算更加靠近数据源以节省通信成本。

技术实现思路

[0004]本专利技术的目的在于提供一种移动边缘网络中联邦学习的效率优化方法，实现减少了服务器到设备的通信时间，节约了本地计算资源以及模型上传时产生的通信延迟。
[0005]为解决上述问题，本专利技术采用的技术方案为：该移动边缘网络中联邦学习的效率优化方法，包括以下步骤：
[0006]S1：首先增加任务的并行性，通过在每一轮选择多个设备参与联邦训练，以减少训练的轮数；
[0007]S2：增加设备的计算量，在全局聚合更新之前，在每个设备上执行多次训练任务；
[0008]S3：结合剪枝技术和压缩技术，基于通信效率的CE
‑
FedAvg算法对模型进行压缩，从而实现效率优化。
[0009]采用上述技术方案，采用联邦学习把训练任务分散到每个移动设备上，通过云端协作与云边端协作的方式，结合MEC等边缘计算平台，将更多的计算卸载到边缘或设备端，
以减少训练轮数，从而提高优化效率和优化的准确性。
[0010]作为本专利技术的优选技术方案，所述步骤S1的具体步骤为：
[0011]S11：采用FedAvg算法对根据联邦学习的规则训练的本地模型的参数进行平均处理；具体为，首先定义联邦学习的优化问题为：
[0012][0013][0014]其中f(w)为损失函数，w为模型参数，K代表参加训练的设备数量，数据样本总量为D，pk代表设备k拥有的数据集，其大小为Dk＝|pk|，i代表数据集中的数据；
[0015]S12：首先分析SGD优化方法，并将其直接应用于联邦学习，即每一轮训练在设备上进行一次梯度计算，对于每个设备k有：
[0016][0017][0018]其中t表示当前联邦学习的训练轮数，η为学习率。传统SGD优化方法的计算效率虽然很高，但是需要进行大量的训练轮数才能得到好的模型，因此需要对优化方式进行改进。
[0019]作为本专利技术的优选技术方案，所述步骤S2具体包括以下步骤：
[0020]S21：采用FedAvg算法将本地模型的一次梯度计算改进为多次梯度计算，即对设备进行多次本地训练，如公式(5)所示：
[0021][0022]其中，w为模型参数，η为学习率，k为设备。
[0023]S22：设置设备训练参数，增加端设备的计算量，将模型剪枝与联邦学习相结合，并模型训练和剪枝同时反复进行，获得小尺寸模型。
[0024]作为本专利技术的优选技术方案，所述步骤S3的具体步骤为：
[0025]S31通合均匀量化：对不同数量的设备设置IID数据与non
‑
IID数据，并测试设备的参与率和压缩率；
[0026]S32指数量化：在FedAvg算法的基础上加入压缩与量化，从而减少联邦学习传输过程中的通信消耗。
[0027]作为本专利技术的优选技术方案，所述步骤S22中采用双流联邦学习模型进行训练，以增加端设备的计算量，具体包括以下步骤：
[0028]S221：设置设备训练参数包括输入和输出，其中输入的设备数量设为K，每一轮选择设备的选择比例设为C，设备训练的本地数据批量大小设为B，设备上本地迭代的次数设为E，学习率为η；输出的模型参数设为w；
[0029]S222：服务端的处理，包括：
[0030]S2221：初始化全局模型w0；
[0031]S2222：确定需要选择设备的数量m
←
max(C
×
K，1)；
[0032]S2223：服务器随机选择m个设备并下发全局模型；
[0033]S2224：设备k＝0,1,2,
…
,m本地训练得到
[0034]S2225：利用公式(4)进行全局聚合；
[0035]S2226：重复步骤S2222～S2225直到模型w收敛，其中t为轮数；
[0036]S223：服务端的处理，包括：
[0037]S2231：将本地数据集pk划分为大小为B的样本批量；
[0038]S2232：对于B中的样本用公式(5)进行权值更新；
[0039]S2233：重复E次步骤S2232；
[0040]S2234：将训练好的本地模型w发送到服务端。
[0041]作为本专利技术的优选技术方案，所述步骤S22中模型剪枝包括在在服务器上对初始模型剪枝和在设备上对本地模型的剪枝，在服务器上对初始模型进行剪枝后，再对对聚合后的全局模型进行剪枝以删除小于0.1的权重值，反复循环直到模型的大小达到所需的修剪水平，获得小于1024千字节的模型。对模型进行剪枝的目的是减少模型的大小来降低传输时的通信成本。
[0042]作为本专利技术的优选技术方案，所述步骤S32的具体步骤为：
[0043]S321：首先采用有损压缩技术对全局模型进行有损压缩，并通过联邦Dropout构造全局模型的子模型；
[0044]S322：然后所述子模型发送给设备，设备使用本地数据对其进行解压和训练；
[0045]S323：压缩完成后进行更新，并将该更新发回服务器；
[0046]S324：当该更新被发送回服务器后，对该更新本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种移动边缘网络中联邦学习的效率优化方法，其特征在于，包括以下步骤：S1：首先增加任务的并行性，通过在每一轮选择多个设备参与联邦训练，以减少训练的轮数；S2：增加设备的计算量，在全局聚合更新之前，在每个设备上执行多次训练任务；S3：结合剪枝技术和压缩技术，进行模型压缩，从而实现效率优化。2.根据权利要求1所述的移动边缘网络中联邦学习的效率优化方法，其特征在于，所述步骤S1的具体步骤为：S11：采用FedAvg算法对根据联邦学习的规则训练的本地模型的参数进行平均处理，具体为，定义联邦学习的优化问题为：体为，定义联邦学习的优化问题为：其中f(w)为损失函数，w为模型参数，K代表参加训练的设备数量，数据样本总量为D，pk代表设备k拥有的数据集，其大小为Dk＝|pk|，i代表数据集中的数据；S12：首先分析SGD优化方法，并将其直接应用于联邦学习，即每一轮训练在设备上进行一次梯度计算，则对于每个设备k有：一次梯度计算，则对于每个设备k有：其中，t表示当前联邦学习的训练轮数，η为学习率。3.根据权利要求2所述的移动边缘网络中联邦学习的效率优化方法，其特征在于，所述步骤S2具体包括以下步骤：S21：采用FedAvg算法将本地模型的一次梯度计算改变为多次梯度计算，即对设备k进行多次本地训练，如公式(5)所示：其中，w为模型参数，η为学习率，k为设备。S22：设置设备训练参数，增加端设备的计算量，将模型剪枝与联邦学习相结合，并将模型训练和剪枝同时反复进行，获得小于1024千字节的模型。4.根据权利要求3所述的移动边缘网络中联邦学习的效率优化方法，其特征在于，所述步骤S3的具体步骤为：S31通合均匀量化：对不同数量的设备设置IID数据与non
‑
IID数据，并测试设备的参与率和压缩率；S32指数量化：在FedAvg算法的基础上加入压缩与量化，从而减少联邦学习传输过程中的通信消耗。5.根据权利要求3所述的移动边缘网络中联邦学习的效率优化方法，其特征在于，所述
步骤S22中采用双流联邦学习模型进行训练，以增加端设备的计算量，具体包括以下步骤：S221：设置设备训练参数包括输入和输...

【专利技术属性】
技术研发人员：孟维，詹新颖，王计斌，
申请(专利权)人：南京华苏科技有限公司，
类型：发明
国别省市：