一种联邦学习训练加速方法技术

本发明专利技术涉及一种联邦学习训练加速方法。该方法包括：边缘设备根据初始模型参数构建局部模型，根据动态分层决策算法计算获得边缘设备与边缘服务器的训练任务；边缘设备和边缘服务器根据训练任务分别构建前端模型和后端模型，协同训练前端模型和后端模型，获得局部模型参数发送至边缘服务器；边缘服务器根据各个边缘设备发送的局部模型参数进行中间聚合，获得中间模型参数并发送至中心云；中心云根据各个边缘服务端发送的中间模型参数更新全局模型，并将更新后的全局模型的模型参数发送至各个边缘服务器，迭代更新全局模型直至全局模型收敛。本发明专利技术的有益效果：保证联邦学习训练准确度的同时，提高联邦学习训练效率。提高联邦学习训练效率。提高联邦学习训练效率。

【技术实现步骤摘要】
一种联邦学习训练加速方法


[0001]本专利技术涉及物联网
，具体而言，涉及一种联邦学习训练加速方法。

技术介绍

[0002]随着大数据时代的到来，数据隐私受到越来越多的重视，用户不愿意将敏感数据上传到云服务器中。在此背景下，联邦学习被提出用于解决数据安全问题。联邦学习是一种能够进行隐私保护的分布式人工智能技术，将运算下沉到边缘设备上，由边缘设备负责数据存储和边缘模型的计算，客户端只需要上传边缘模型的梯度等相关信息，中心服务器则基于客户端上产生的边缘梯度，更新全局模型。联邦学习使边缘设备能够在本地存储敏感数据的同时，相互协同构建全局模型。
[0003]但随着数据的增多，人们对联邦学习的训练效率逐渐增加。目前，主要采取3种方法以提升联邦学习训练效率：1、针对联邦学习中的通信开销进行优化，客户端仅需要将本地得到的部分更新上传到中心服务器，而不需要上传全部的模型；2、通过对设备的选择，减轻同步聚合算法中的掉队者问题，比如采用基于贪心的协议机制，通过奖励值来选择得分最高的客户端进行聚合；3、通过异步聚合算法减少等待时间，提高训练效率，所谓异步聚合算法就是每个设备在上传本地模型后，中心节点会立即根据设备的参数进行聚合，而不会等待其他设备执行完毕，其优点是可以减少设备的同步等待时间。但由于联邦学习存在的边缘设备的异构问题、边缘网络环境不稳定问题，利用上述方法进行联邦学习训练会导致准确率降低和训练效率的不确定性，并不能有效提高联邦学习的训练效率。

技术实现思路

[0004]本专利技术解决的问题是如何在保证联邦学习训练准确度的同时，提高训练效率。
[0005]为解决上述问题，本专利技术提供一种联邦学习训练加速方法，包括如下步骤：
[0006]步骤S100、中心云构建全局模型及所述全局模型对应的初始模型参数，将所述初始模型参数发送至边缘服务器。
[0007]步骤S200、所述边缘服务器接收所述初始模型参数，并将所述始模型参数发送至边缘设备。
[0008]步骤S300、所述边缘设备根据所述初始模型参数构建局部模型，根据动态分层决策算法计算获得所述边缘设备与所述边缘服务器的训练任务，其中，所述训练任务为所述局部模型的分层比例。
[0009]步骤S400、所述边缘设备和所述边缘服务器根据所述训练任务分别构建前端模型和后端模型，所述边缘设备和所述边缘服务器根据数据集协同训练所述前端模型和所述后端模型，获得局部模型参数，将所述局部模型参数发送至所述边缘服务器。
[0010]步骤S500、所述边缘服务器根据各个所述边缘设备发送的所述局部模型参数进行中间聚合，获得中间模型参数，并将所述中间模型参数发送至中心云。
[0011]步骤S600、所述中心云根据各个所述边缘服务端发送的所述中间模型参数更新所
述全局模型，并将更新后的所述全局模型的模型参数发送至各个所述边缘服务器，返回执行所述边缘服务器向所述边缘设备发送所述模型参数的步骤，迭代更新所述全局模型直至所述全局模型收敛。
[0012]由此，中心云首先初始化，并构建全局模型及全局模型对应的初始模型参数，设定联邦学习训练的目的与任务。将初始模型参数发送至边缘服务器，边缘服务器接收初始模型参数，并将始模型参数发送至边缘设备，保证异常检测模型构建过程的正常运行。边缘设备根据初始模型参数构建局部模型，根据动态分层决策算法计算获得边缘设备与边缘服务器的训练任务，其中，训练任务为局部模型的分层比例，采用分层训练的方法，可以有效解决边缘设备资源异构问题，为经典联邦学习中存在的边缘设备计算能力不足的问题提供解决方案，同时采用动态分层决策算法，可以实时监测并计算边缘设备和边缘服务器的分层训练任务，若发现异常情况或训练效率较低时可以进行及时的自适应调整，针对具体云边环境给出分层的决策，以适应多变的云边环境。边缘设备和边缘服务器根据训练任务分别构建前端模型和后端模型，边缘设备和边缘服务器根据数据集协同训练前端模型和后端模型，获得局部模型参数，通过合理的分层训练任务构建前端模型与后端模型，并进行协同训练，由于后端模型的部分模型参数部署在边缘服务端，可在一定程度上可以减少网络传输，保证较少网络开销，同时，提高边缘设备的计算速度与计算准确度。边缘服务器根据各个边缘设备发送的局部模型参数进行中间聚合，获得中间模型参数，采用两阶段聚合法，利用边缘服务器进行首次模型参数的聚合，以减少中心云模型聚合的计算压力，增加计算准确度，同时减少向中心云节点传输的数据量，降低网络拥塞的概率。中心云根据各个边缘服务端发送的中间模型参数更新全局模型，并将更新后的全局模型的模型参数发送至各个边缘服务器，返回执行边缘服务器向边缘设备发送模型参数的步骤，迭代更新全局模型直至全局模型收敛，获得训练完成的全局模型，利用边缘服务器聚合后的中心模型参数再次进行全局模型的聚合更新，有效减少了全局模型迭代更新的次数。采用两阶段聚合法，分别在边缘服务器和中心云进行模型参数的聚合计算，避免了边缘设备直接利用广域网频繁与中心云进行通信导致的数据传输不稳定、网络通道传输拥挤的问题，并有效提升了模型参数的计算准确率，减少了中心云的计算压力，进而提升联邦学习中模型训练的效率及准确度。
[0013]可选地，所述根据动态分层决策算法计算获得所述边缘设备与所述边缘服务器的训练任务包括：
[0014]获取所述边缘设备中所述局部模型的单条样本的平均训练时间，比较所述单条样本的平均训练时间与历史平均训练时间，若所述单条样本的平均训练时间大于所述历史平均训练时间的预设倍数，且持续预设次数，则根据动态分层决策算法，重新计算获得所述边缘设备与所述边缘服务器的训练任务。
[0015]可选地，所述根据动态分层决策算法，重新计算获得所述边缘设备与所述边缘服务器的训练任务包括：
[0016]获取所述边缘设备的状态信息，根据所述状态信息，利用基于强化学习的动态分层策略计算获得所述边缘设备与所述边缘服务器下一时刻的所述训练任务，其中，所述状态信息包括单轮所述边缘设备训练中训练总时间、所述边缘设备的训练时间、网络传输时间、所述边缘服务器训练时间占总训练时间的比例和该时刻训练分层策略。
[0017]可选地，所述所述边缘设备和所述边缘服务器根据所述训练任务分别构建前端模
型和后端模型，所述边缘设备和所述边缘服务器根据数据集协同训练所述前端模型和所述后端模型，获得局部模型参数包括：
[0018]所述边缘设备根据所述训练任务对所述局部模型进行分层处理，构建所述前端模型，并将分层处理后的所述局部模型发送至所述边缘服务器，其中，所述边缘服务器根据分层处理后的所述局部模型构建所述后端模型；
[0019]所述边缘设备根据所述数据集训练所述前端模型，获得中间结果，并将所述中间结果发送至所述边缘服务器，其中，所述边缘服务器根据所述中间结果训练所述后端模型，获得梯度，并将所述梯度发送至所述所述边缘设备；
[0020]所述边缘设备根据所述梯度训练所述前端模型，获得局部模型参数。
[0021]可选地，在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联邦学习训练加速方法，其特征在于，包括：中心云构建全局模型及所述全局模型对应的初始模型参数，将所述初始模型参数发送至边缘服务器；所述边缘服务器接收所述初始模型参数，并将所述始模型参数发送至边缘设备；所述边缘设备根据所述初始模型参数构建局部模型，根据动态分层决策算法计算获得所述边缘设备与所述边缘服务器的训练任务，其中，所述训练任务为所述局部模型的分层比例；所述边缘设备和所述边缘服务器根据所述训练任务分别构建前端模型和后端模型，所述边缘设备和所述边缘服务器根据数据集协同训练所述前端模型和所述后端模型，获得局部模型参数，将所述局部模型参数发送至所述边缘服务器；所述边缘服务器根据各个所述边缘设备发送的所述局部模型参数进行中间聚合，获得中间模型参数，并将所述中间模型参数发送至所述中心云；所述中心云根据各个所述边缘服务端发送的所述中间模型参数更新所述全局模型，并将更新后的所述全局模型的模型参数发送至各个所述边缘服务器，返回执行所述边缘服务器向所述边缘设备发送所述模型参数的步骤，迭代更新所述全局模型直至所述全局模型收敛。2.根据权利要求1所述的联邦学习训练加速方法，其特征在于，所述根据动态分层决策算法计算获得所述边缘设备与所述边缘服务器的训练任务包括：获取所述边缘设备中所述局部模型的单条样本的平均训练时间，比较所述单条样本的平均训练时间与历史平均训练时间，若所述单条样本的平均训练时间大于所述历史平均训练时间的预设倍数，且持续预设次数，则根据动态分层决策算法，重新计算获得所述边缘设备与所述边缘服务器的训练任务。3.根据权利要求2所述的联邦学习训练加速方法，其特征在于，所述根据动态分层决策算法，重新计算获得所述边缘设备与所述边缘服务器的训练任务包括：获取所述边缘设备的状态信息，根据所述状态信息，利用基于强化学习的动态分层策略计算获得所述边缘设备与所述边缘服务器下一时刻的所述训练任务，其中，所述状态信息包括单轮所述边缘设备训练中训练总时间、所述边缘设备的训练时间、网络传输时间、所述边缘服务器训练时间占总训练时间的比例和该时刻训练分层策略。4.根据权利要求1所述的联邦学习训练加速方法，其特征在于，所述所述边缘设备和所述边缘服务器根据所述训练任务分别构建前端模型和后端模型，所述边缘设备和所述边缘服务器根据数据集协同训练所述前端模型和所述后端模型，获得局部模型参数包括：所述边缘设备根据所述训练任务对所述局部模型进行分层处理，构建所述前端模型，并将分层处理后的所述局部模型发送至所述边缘服务器，其中，所述边缘服务器根据分层处理后的所述局部模型构建所述后端模型；所述边缘设备根据所述数据集训练所述前端模型，获得中间结果，并将所述中间结果发送至所述边缘服务器，其中，所述边缘服务器根据所述中间结果训练所述后端模型，获得梯度，并将所述梯度发送至所述所述边缘设备；所述边缘设备根据所述梯度训练所述前端模型，获得局部模型参数。5.根据权利要求4所述的联邦学习训练加速方法，其特征在于，在所述...

【专利技术属性】
技术研发人员：张伟哲，王德胜，林军任，韩啸，范庆阳，何慧，方滨兴，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：