应用多代价函数的系统异构联邦学习效率提升方法技术方案

本发明专利技术涉及应用多代价函数的系统异构联邦学习效率提升方法，属于计算机与信息科学技术领域。本发明专利技术首先根据建模任务设置初始训练参数，确定参与客户端并进行联邦训练；其次，在新一轮训练前根据客户端数据量、计算性能及通信性能、在当前服务器等待时间内训练完成情况动态构建客户端空闲代价函数和终止代价函数；然后，遍历服务器等待时间的可能取值，最小化所有客户端总代价得到最优等待时间，进而更新训练参数并调整参与客户端；最后，通过多轮联邦训练达到全局模型准确率要求。本发明专利技术提出参与客户端的空闲代价和终止代价函数计算方法，将服务器固定的等待时间进行动态调整，有效提升了联邦学习训练效率。升了联邦学习训练效率。升了联邦学习训练效率。

【技术实现步骤摘要】
应用多代价函数的系统异构联邦学习效率提升方法


[0001]本专利技术涉及应用多代价函数的系统异构联邦学习效率提升方法，属于计算机与信息科学


技术介绍

[0002]近年来互联网和人工智能的飞速发展使机器学习与数据分析深入到生活中的各方各面。日常使用的手机，电脑会产生大量私人数据，在机器学习模型中加以利用能够极大地改善用户体验。然而这些数据往往涉及用户隐私，将其集中存储在服务器上存在风险和责任。同时在分布式网络中，相对将海量数据传输到服务器上后再进行训练的传统机器学习方法，用户在本地学习并生成模型的通信成本更低，更具实际效果。近年来兴起的联邦学习使用户数据在不出本地的条件下开展联邦建模，能够有效保护用户隐私。但在联邦学习过程中存在系统异构问题，即各用户使用的设备特性不同，其本地数据量、计算性能及通信性能都存在差异。这对联邦学习的效果与成本带来了挑战：当服务器将未在规定时间内完成训练的客户端模型丢弃时，如果被丢弃的模型中含有特定数据特征，则会对全局模型收敛产生负面影响；当服务器保持等待直到所有客户端完成训练时，则低效客户端会严重影响服务器利用其他客户端的资源。
[0003]现有的联邦学习方法固定参数提交的截止时间，主要通过改进机器学习算法缓解数据异构，大多忽略了更为重要的系统异构。在实际应用中，服务器需要考虑如何平衡客户端数据量、计算性能及通信性能，保证在聚合全局模型过程中的训练效率。同时客户端本地训练需要占用设备的计算资源及通信资源，即使选择在夜间开展训练，也可能遭遇通信受阻、电量不足等突发情况，影响服务器聚合全局模型。
[0004]基于计算卸载的联邦学习方法将客户端数据转移到边缘服务器上进行计算，以此降低客户端本地的计算压力，但使用通信网络传输客户端数据增大了用户隐私泄露的风险，违背了联邦学习保护隐私的初衷。面向计算资源异构的联邦学习方法通过判断客户端间迭代次数差是否达到阈值决定是否等待，虽利用了客户端的计算资源，但对所有客户端进行监控产生了更多的通信量，反而会降低联邦学习的训练效率。

技术实现思路

[0005]本专利技术的目的是针对现有联邦学习方法固定服务器等待时间，忽略客户端与服务器间通信效率的问题，提出了应用多代价函数的系统异构联邦学习效率提升方法。
[0006]本专利技术的设计原理为：首先，根据建模任务设置初始训练参数，确定参与客户端并进行联邦训练；其次，在新一轮训练前根据客户端数据量、计算性能及通信性能、在当前服务器等待时间内训练完成情况动态构建客户端空闲代价函数和终止代价函数；然后，遍历服务器等待时间的可能取值，最小化所有客户端总代价得到最优等待时间，进而更新训练参数并调整参与客户端；最后，通过多轮联邦训练达到全局模型准确率要求。
[0007]本专利技术的技术方案是通过如下步骤实现的：
[0008]步骤1，服务器根据建模任务设置初始训练参数，并向各客户端发出联邦建模请求。
[0009]步骤1.1，服务器根据建模任务设置初始训练参数。
[0010]步骤1.2，空闲客户端响应服务器，服务器生成参与客户端集合。
[0011]步骤2，服务器将全局模型下发至各客户端进行训练，开展联邦建模。
[0012]步骤2.1，参与客户端在建模过程中可根据自身情况主动退出联邦建模。
[0013]步骤2.2，空闲客户端可随时向服务器发送请求参与联邦建模。
[0014]步骤3，客户端完成训练后，服务器收集客户端数据并进行评估。
[0015]步骤3.1，客户端将性能参数与本地模型发送给服务器。
[0016]步骤3.2，服务器需保证收集到足够参数后再聚合模型，否则继续等待。
[0017]步骤4，服务器根据客户端计算性能及通信性能重新设置训练参数。
[0018]步骤4.1，服务器对客户端训练及通信总时间进行排序，选取阈值时间。
[0019]步骤4.2，根据客户端本地数据量、计算效率、通信效率计算客户端空闲代价和终止代价。
[0020]步骤4.3，遍历服务器等待时间的可能取值，最小化参与客户端总代价得到最优等待时间。
[0021]步骤4.4，计算服务器容忍时间和各客户端训练时间。
[0022]步骤4.5，为不能按时完成训练的客户端调整训练轮次。
[0023]步骤5，重复步骤2至步骤4直到全局模型准确率满足需求，服务器保留训练生成的模型，联邦建模结束。
[0024]有益效果
[0025]相比于传统联邦学习方法，本专利技术提出参与客户端的空闲代价和终止代价函数计算方法，根据各客户端性能将服务器固定的等待时间进行动态调整，保证客户端与服务器间通信效率，加强对客户端资源利用的同时提升联邦学习训练效率。
[0026]相比于基于计算卸载的联邦学习方法，本专利技术保证客户端数据不出本地，避免了因设备间通信而导致的隐私数据泄露风险。
附图说明
[0027]图1为本专利技术服务器组织联邦训练流程示意图。
[0028]图2为本专利技术客户端参与联邦训练流程示意图。
[0029]图3为本专利技术训练参数调整方法示意图。
具体实施方式
[0030]为了更好地说明本专利技术的目的和优点，下面结合本专利技术附图对本专利技术方法的实施方式做进一步详细说明。
[0031]步骤1，服务器根据建模任务设置初始训练参数，并向各客户端发出联邦建模请求。
[0032]步骤1.1，服务器根据联邦建模任务设置服务器初始等待时间T
W
，初始容忍时间T
O
，各客户端初始训练时间T
Ri
，初始训练轮次K，数据比例阈值H
W
，完成比例阈值H
K
，模型聚合轮
次阈值N
K
。
[0033]初始等待时间T
W
指服务器向各客户端发送全局模型及训练参数后的等待时间，服务器等待T
W
后对接收到的客户端数据进行评估。
[0034]设置容忍时间T
O
确保服务器在部分客户端计算或通信受阻时，仍能接收H
W
比例以上数据后再聚合全局模型，本例中取H
W
＝0.95。
[0035]不同建模任务需要的运算量及模型收敛情况不同，因此需要根据实际情况设置T
Ri
和K，其中i＝{1，...，m}，m为参与客户端总数，各客户端初始训练时间T
Ri
相同。
[0036]设置模型聚合轮次阈值N
K
＝f(K)，保证全局模型聚合效果，防止未完成N
K
轮训练的客户端模型影响全局模型收敛，本例中取N
K
＝K/2。
[0037]设置完成比例阈值H
K
，即能够完成K轮训练的客户端比例需大于H
K
，保证全局模型收敛，本例中取H
K
＝0.8。
[0038]步骤1.2，服务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.应用多代价函数的系统异构联邦学习效率提升方法，其特征在于所述方法包括如下步骤：步骤1，服务器根据建模任务设置初始训练参数，并向各客户端发出联邦建模请求，空闲客户端响应服务器，服务器生成参与客户端集合；步骤2，服务器将全局模型下发至各客户端进行训练，开展联邦建模，客户端在建模过程中可根据资源占用情况主动退出或加入联邦建模；步骤3，客户端完成训练后，服务器收集客户端数据并进行评估，保证收集到足够参数后再聚合模型，否则继续等待；步骤4，服务器根据客户端本地数据量、计算效率、通信效率计算客户端空闲代价和终止代价，遍历客户端等待时间的可能取值，最小化参与客户端总代价得到最优等待时间，从而重新设置训练参数，包括服务器等待时间，服务器容忍时间，各客户端训练时间，低效客户端训练轮次；步骤5，重复步骤2至步骤4直到全局模型准确率满足需求，服务器保留训练生成的模型，联邦建模结束。2.根据权利要求1所述的应用多代价函数的系统异构联邦学习效率提升方法，其特征在于：步骤1中使用通信时间T
c
，训练时间T
R
和容忍时间T
O
控制客户端本地模型训练及通信。3.根据权利要求1所述的应用多代价函数的系统异构联邦学习效率提升方法，其特征在于：步骤1中设置数据比例阈值H
W
，保证客户端接收H
W
比例以上数据后再聚合全局模型；设置完成比例阈值H
K
，保证H
K
比例以上客户端能够在服务器等待时间内完成K轮训练；设置模型聚合轮次阈值N
K
防止未完成N
K
轮训练的客户端模型影响全局模型收敛。4.根据权利要求1所述的应用多代价函数的系统异构联邦学习效率提升方法，其特征在于：步骤4中服务器根据客户端数据量D
i
、计算效率Eff
ri
、通信效率Eff
ci
，动态计算客户端空闲代价L
Tk<...

【专利技术属性】
技术研发人员：罗森林，徐泽豪，潘丽敏，杨得山，崔成钢，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：