【技术实现步骤摘要】
本专利技术属于联邦学习，涉及一种基于移动设备的联邦学习优化方法。
技术介绍
1、近年来，随着移动通信技术和个人移动设备的广泛应用，机器学习逐渐从中央服务器转向移动边缘设备，而联邦学习(federated learning，fl)以其对移动设备数据的隐私保护能力从机器学习的领域脱颖而出。fl是一种去中心化的机器学习方法，与传统集中式的机器学习不同的是，fl将训练数据留在客户端本地，通过构建一个服务器与多个客户端的分布式合作训练模型，用参数的传递取代客户端数据的传递，从而在实现模型协同训练的同时，完成对客户端数据的隐私保护。在fl的训练过程中，客户端负责模型的训练过程，即大部分计算都是由客户端完成，而服务器则承担了多个客户端训练结果的聚合以及精度测试的工作。
2、一个典型的fl包括了一个中央服务器，以及数百个移动客户端，而随着移动客户端种类的增加，这数百个移动客户端的类别可能多达几十种，如移动电话、智能车辆、以及更加种类繁多的智能可穿戴设备。而每一轮服务器-客户端的通信过程中，服务器可采用有线通信或是无线通信的方式，有线通信虽然有着通信质量稳定，不受干扰的优点，但是显然不适合大量移动设备参与的fl。因此fl中多采用无线通信，而由于无线通信受制于网络连通性以及带宽限制的问题，因此服务器在每一轮只会选择一定数目的移动客户端参与训练，其目的是在完成模型训练的前提下尽可能地降低通信成本。被选中的移动客户端具有不同的计算资源、能源、功耗和存储空间，再结合他们数据集大小的不平衡，局部客户端的训练往往会有不同的表现。同时，随着深度学习
3、因此，目前fl有两个显著的挑战，首先是移动客户端的系统资源异质性，例如gpu、cpu以及存储空间。当服务器分配相同的训练任务给不同的移动客户端时，这种系统资源异质性将会导致客户端出现不同的表现。计算资源丰富的客户端，可以快速完成服务器给定的训练任务，而计算资源匮乏的，则需要非常漫长的时间才能完成，而服务器与客户端之间通信间隔时长完全由客户端控制。当服务器无法长久的等待时，在限定时间内无法完成训练任务的客户端就会掉队。最终，因为大量的掉队者，全局模型的收敛速度将会被延缓，甚至最终收敛的精度也会下降。第二个挑战是深度卷积神经网络的架构已然变得更深，模型尺寸在不断增加，由此带来的计算开销和存储开销对于移动设备来说是十分巨大的。因此，缩小模型的尺寸对于移动设备大量参与的fl来说是非常有必要的。目前的许多工作是删除cnn中的滤波器。这是因为如[one weird trick for parallelizing convolutionalneural networks]所言，卷积层占据了cnn大约90％到95％的计算，对于模型的输出有着很大的影响。因此，减少卷积层中的滤波器一方面有利于减少模型的尺寸，另一方面也有利于模型计算量的降低。然而这种对滤波器进行直接删除的方式有这两个限制：(1)易导致模型容量的降低；(2)往往依赖于预训练模型或者是大量的微调工作。
4、目前为止的关于联邦学习领域的压缩算法，大部分是从通信成本的角度出发进行研究的，对象是服务器与客户端之间传输的参数而非模型尺寸。因此对于将模型部署在移动客户端上，移动客户端所面临的存储空间受限及计算资源有限则缺少研究。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种基于移动设备的联邦学习优化方法。
2、为达到上述目的，本专利技术提供如下技术方案：
3、一种基于移动设备的联邦学习优化方法，基于联邦学习框架，包括用于模型聚合的中央服务器以及多个用于本地训练的移动客户端，该方法包括以下步骤：
4、s1：中央服务器给不同类型的移动客户端动态分配不同的训练任务；
5、s2：中央服务器对联邦学习模型通过软修剪方法动态修剪掉部分滤波器，然后将修剪后的全局模型发送给移动客户端进行局部训练；
6、s3：移动客户端根据分配的训练任务，接收对应的数据进行局部模型训练，并对滤波器进行重建，训练完成后将局部模型上传至中央服务器；
7、s4：中央服务器使用联邦平均算法，对收到的所有局部模型进行平均聚合，得到全局模型；
8、s5：重复步骤s1-s4，直至联邦学习模型收敛；
9、s6：模型收敛后，中央服务器得到一个具有多个滤波器为零的全局模型，对为零的滤波器进行硬修剪，并将其发送给所有移动客户端；
10、s7：移动客户端接收数据，通过最终的联邦学习模型对数据进行处理。
11、进一步，步骤s1所述动态分配，具体包括以下步骤：
12、s11：在第一轮移动客户端与中央服务器的通信中，中央服务器对选定的移动客户端进行统一的训练任务初始化；
13、s12：在随后的每一轮的通信中，根据移动客户端的不同表现，来调整该移动客户端在当前全局回合的训练任务，同时中央服务器端设定一个时间阈值γ；
14、s13：当中央服务器将全局模型传递给移动客户端开始新一轮的全局训练后，中央服务器开始计时，并在此期间接收移动客户端上传的局部模型，计时超过阈值之后，中央服务器不再等待接收移动客户端上传的局部模型，转而开始进行聚合工作；
15、
16、为编号为i的移动客户端第t轮是否完成训练任务的标志，中央服务器根据此标志在下一轮的开始时对移动客户端的训练任务进行调整。
17、进一步，在每轮的移动客户端-中央服务器的通信中，通过结合网络通信领域的aimd(additive increase multiplicative decrease)拥塞控制算法以及查找算法中的折半查找方法，对移动客户端的计算能力进行快速探测；
18、所述aimd拥塞控制算法用于网络流量的控制，当网络没有出现拥塞时，增加拥塞窗口的大小，而出现拥塞时，则将窗口减小；初始窗口大小cwnd为一个初始值，设中央服务器按照函数对移动客户端的训练任务进行调整，其中为移动客户端i上一次分配的任务量，last_suc为最后一次成功完成的任务量：
19、
20、初始窗口大小cwnd为一个初始值，每经过一次客户端与服务器的往返时间rtt(round trip time)，乘性增加拥塞窗口cwnd的大小；当移动客户端掉队时，中央服务器端采用折半查找的方法，将移动客户端最后一次成功完成的任务量last_suc与上一轮通信中未能完成而导致掉队的任务量taskt-1求和除以2再向下取整求得当前分配的任务量taskt；
21、中央服务器一直重复这个过程，直到移动客户端累计三次无法完成中央服务器的分配任务，此时中央服务器将最后一次移动客户端成功完成的任务量last_suc固定，接下来以该任务量对移动客户端进行分配；随着通信轮数的增加，所有移动客户端所负载的训练任务，将不断本文档来自技高网...
【技术保护点】
1.一种基于移动设备的联邦学习优化方法，其特征在于：基于联邦学习框架，包括用于模型聚合的中央服务器以及多个用于本地训练的移动客户端，该方法包括以下步骤：
2.根据权利要求1所述的基于移动设备的联邦学习优化方法，其特征在于：步骤S1所述动态分配，具体包括以下步骤：
3.根据权利要求2所述的基于移动设备的联邦学习优化方法，其特征在于：在每轮的移动客户端-中央服务器的通信中，通过结合网络通信领域的AIMD拥塞控制算法以及查找算法中的折半查找方法，对移动客户端的计算能力进行快速探测；
4.根据权利要求1所述的基于移动设备的联邦学习优化方法，其特征在于：步骤S2所述中央服务器对联邦学习模型通过软修剪方法动态修剪掉部分滤波器，具体包括：
5.根据权利要求1所述的基于移动设备的联邦学习优化方法，其特征在于：步骤S4中所述中央服务器使用联邦平均算法，具体包括：
【技术特征摘要】
1.一种基于移动设备的联邦学习优化方法，其特征在于：基于联邦学习框架，包括用于模型聚合的中央服务器以及多个用于本地训练的移动客户端，该方法包括以下步骤：
2.根据权利要求1所述的基于移动设备的联邦学习优化方法，其特征在于：步骤s1所述动态分配，具体包括以下步骤：
3.根据权利要求2所述的基于移动设备的联邦学习优化方法，其特征在于：在每轮的移动客户端-中央服务器的通信中，通过结...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。