【技术实现步骤摘要】
一种基于调整批量大小与梯度压缩率的联邦学习方法和系统
本专利技术涉及人工智能与通信领域，具体涉及一种基于调整批量大小与梯度压缩率的联邦学习方法和系统。
技术介绍
近年来，随着硬件及软件水平的不断提升，人工智能(ArtificialIntelligence,AI)技术又迎来了发展的高峰期。它从海量的数据中挖掘出关键信息以实现各种应用，如人脸识别，语音识别，数据挖掘等。然而对于数据隐私性比较敏感的场景，如医院的病人信息，银行的客户信息等，数据通常很难获取，俗称信息孤岛。如果仍然采用现有的人工智能训练方法，由于没有足够的数据，很难得到有效的结果。由谷歌提出的联邦学习(FederatedLearning,FL)就是用来解决信息孤岛问题，主要面向数据隐私性和安全性比较敏感的业务，以及将要到来的自动驾驶，物联网等场景。它将模型训练分散至若干个终端进行，终端不需要将原始数据发送至边缘服务器，取而代之的是模型的参数或者梯度信息。基于传统的随机梯度下降的训练方法，运用在联邦学习场景的平均梯度方法仍然可以获得很好的学习性能。在5G的高可...
【技术保护点】
1.一种基于调整批量大小与梯度压缩率的联邦学习方法，实现所述联邦学习的系统包括边缘服务器、与所述边缘服务器无线通信的多个终端，所述终端根据本地数据进行模型学习，其特征在于，所述联邦学习方法包括：/n所述边缘服务器根据当前批量大小和梯度压缩率，并结合终端的计算能力和边缘服务器与终端之间的通信能力调整终端的批量大小与梯度压缩率，并将调整后的批量大小与梯度压缩率传输至终端；/n所述终端按照接收的批量大小进行模型学习，并将模型学习获得的梯度信息按照接收的提取压缩率压缩后输出至边缘服务器；/n所述边缘服务器对接收的所有梯度信息求平均后，将梯度平均值同步到终端；/n所述终端根据接收的梯...
【技术特征摘要】
1.一种基于调整批量大小与梯度压缩率的联邦学习方法，实现所述联邦学习的系统包括边缘服务器、与所述边缘服务器无线通信的多个终端，所述终端根据本地数据进行模型学习，其特征在于，所述联邦学习方法包括：
所述边缘服务器根据当前批量大小和梯度压缩率，并结合终端的计算能力和边缘服务器与终端之间的通信能力调整终端的批量大小与梯度压缩率，并将调整后的批量大小与梯度压缩率传输至终端；
所述终端按照接收的批量大小进行模型学习，并将模型学习获得的梯度信息按照接收的提取压缩率压缩后输出至边缘服务器；
所述边缘服务器对接收的所有梯度信息求平均后，将梯度平均值同步到终端；
所述终端根据接收的梯度平均值更新模型。
2.如权利要求1所述的基于调整批量大小与梯度压缩率的联邦学习方法，其特征在于，所述根据当前批量大小和梯度压缩率，并结合终端的计算能力和边缘服务器与终端之间的通信能力调整终端的批量大小与梯度压缩率包括：
(a)根据当前批量大小和梯度压缩率，并结合终端的计算能力和边缘服务器与终端之间的通信能力计算当前学习时延；
(b)比较所述当前学习时延与规定学习时延，当前学习时延大于规定学习时延时，减小批量大小和增大梯度压缩率；当前学习时延小于规定学习时延时，增大批量大小和减小梯度压缩率；
(c)重复步骤(a)和步骤(b)，直到当前学习时延等于规定学习时延为止，与规定学习时延相等的当前学习时延对应的批量大小与梯度压缩率即为调整后的批量大小与梯度压缩率。
3.如权利要求2所述的基于调整批量大小与梯度压缩率的联邦学习方法，其特征在于，步骤(a)中，当前学习时延的计算过程为：
根据终端学习能力和批量大小计算终端以当前批量大小计算梯度时所需要的时间；
根据通信能力和梯度压缩率计算梯度信息经过压缩后经过无线信道上传至边缘服务器所经历的时间；
计算所有梯度信息汇总后进行平均获得平均梯度信息所需要的时间；
计算边缘服务器将平均梯度信息下发至各个终端所需要经历的时间；
计算各终端收到平均梯度信息后对模型进行更新所需要的时间；
这五部分时间之和即为当前学习时延。
4.如权利要求1所述的基于调整批量大小与梯度压缩率的联邦学习方法，其特征在于，所述梯度压缩率包括对梯度信息进行梯度量化获得的压缩率，表示为：
其中，x表示梯度信息，Q(x)表示量化函数，c表示压缩率，表示二范数的平方。
对应模型训练的收敛速率可以表示为：
<...
【专利技术属性】
技术研发人员：刘胜利，余官定，殷锐，袁建涛，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。