一种自适应聚合的联邦学习系统、方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种自适应聚合的联邦学习系统、方法、装置及存储介质，通过中央服务器下发全局模型至所有客户机，使得客户机基于本地数据训练本地模型后将更新后的本地模型返回至中央服务器，中央服务器根据客户机的数据特征及模型特征自适应地计算出各个客户机的归一化权重，然后采取不同的聚合模式进行全局模型的聚合更新，并预测不同聚合模式下的第一模型准确率、第一时间成本以及第一通信成本，再对这些预测信息进行推送便于根据用户需求选择合适的聚合模式，然后根据该聚合模式进行正式的联邦学习训练。本发明专利技术实施例可以自适应地计算聚合权重并选择合适的聚合模式进行联邦学习训练，提高了联邦学习的训练效率，可广泛应用于联邦学习技术领域。应用于联邦学习技术领域。应用于联邦学习技术领域。

【技术实现步骤摘要】
一种自适应聚合的联邦学习系统、方法、装置及存储介质


[0001]本专利技术涉及联邦学习
，尤其是一种自适应聚合的联邦学习系统、方法、装置及存储介质。

技术介绍

[0002]近年来，随着大数据与深度学习的兴起，大量且多源异构的数据造成了数据的孤岛分布、数据隐私监管缺乏等问题，个人隐私和数据安全越发得到重视。同时，细粒度的数据孤岛也制衡数据服务的发展，其在实际应用过程中不仅难以避免敏感信息泄露的风险，而且降低了服务的精准度。近年来，利用联邦学习框架进行用户数据本地训练、模型参数全局优化，成为满足用户隐私保护和多源异构数据融合需求的有效解决方案之一。
[0003]传统的联邦学习框架采用同步聚合模式(Synchronous)，即每个训练轮次中，中央服务器将全局模型同步发送给多个客户机，多个客户机基于本地数据训练模型后将更新后的本地模型返回中央服务器，中央服务器等待所有客户机上传本地模型后再进行全局模型聚合更新。同步聚合模式在聚合时能够充分利用所有客户机的数据信息，保证全局模型能够高效地收敛，但由于同步聚合需等待所有客户机上传本地模型后才能进行全局模型聚合更新，因此当出现中央服务器端网络拥塞、某些客户机训练速度较慢等情况时，易导致全局模型更新低效的问题。
[0004]目前大多数联邦学习框架采用异步聚合模式(Asynchronous)，即中央服务器将全局模型异步发送给多个客户机，多个客户机基于本地数据训练模型后将更新后的本地模型返回中央服务器，中央服务器在规定的等待时间内等待客户机上传本地模型后，根据客户机从接收全局模型到返回更新后的本地模型的时间差来确定各个客户机上传的本地模型的权重，并进行全局模型的加权聚合更新。异步聚合模式无需等待所有客户机上传本地模型，并且能够根据本地模型的陈旧度来确定不同客户机的权重，保证了全局模型能够更高效地收敛。但是，在不同的场景下，不同的等待时间对聚合后全局模型的性能好坏有着直接的影响。同时，由于客户机的本地数据通常是粗粒度数据，即数量少，数据类别覆盖不足以及类别之间分配不平衡的数据，而目前的异步聚合模式隐含关于本地数据特征平均的假设，只关注客户机的时间异构性而不能更多地关注具有高质量数据的客户机，因此它不能根据现实情况下的数据特征区分客户机导致训练速度减速，模型性能下降和沟通成本提高。
[0005]因此，如何根据真实应用场景中客户机和本地模型的特征来自适应地计算聚合权重并选择合适聚合模式进行联邦学习训练以提高联邦学习的训练效率成为了亟需解决的问题。

技术实现思路

[0006]本专利技术的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
[0007]为此，本专利技术实施例的一个目的在于提供一种自适应聚合的联邦学习系统，该联
邦学习系统可以自适应地计算聚合权重并选择合适的聚合模式进行联邦学习训练，提高了联邦学习的训练效率。
[0008]本专利技术实施例的另一个目的在于提供一种自适应聚合的联邦学习方法。
[0009]为了达到上述技术目的，本专利技术实施例所采取的技术方案包括：
[0010]第一方面，本专利技术实施例提供了一种自适应聚合的联邦学习系统，包括：
[0011]本地训练层，用于客户机在接收到中央服务器发送的全局模型后，基于本地数据进行模型训练并将更新后的本地模型返回至所述中央服务器；
[0012]特征感知层，用于获取各所述客户机的数据特征和所述本地模型的模型特征；
[0013]权重分配层，用于根据所述数据特征和所述模型特征计算得到各所述客户机在全局模型加权聚合时的归一化权重；
[0014]聚合更新层，用于根据所述归一化权重和预设的多个聚合模式对各所述客户机上传的所述本地模型进行加权聚合，计算当前聚合轮次所述全局模型的模型准确率，并将更新后的所述全局模型下发至参与聚合的各所述客户机；
[0015]信息预测层，用于根据当前聚合轮次的所述模型准确率和前一聚合轮次的所述模型准确率进行预测，得到对应各所述聚合模式的预测信息，所述预测信息包括各所述聚合模式下在预设时间内可以达到的第一模型准确率，以及达到预设的第二模型准确率所需的第一时间成本和第一通信成本；
[0016]策略选择层，用于根据所述中央服务器推送的所述预测信息和预先获取的用户需求从所述聚合模式中选取出第一聚合模式，并根据所述第一聚合模式进行正式的联邦学习训练。
[0017]进一步地，在本专利技术的一个实施例中，所述数据特征包括所述客户机的本地数据样本占当前聚合轮次所有客户机的本地数据样本的总和的比例，以及所述客户机的本地数据样本的数据丰富度，所述模型特征包括所述本地模型的模型陈旧度。
[0018]进一步地，在本专利技术的一个实施例中，所述归一化权重的计算公式为：
[0019][0020]其中，表示第k个客户机参与全局模型加权聚合时的归一化权重，表示第k个客户机的时间归一化权重，DW
k
表示第k个客户机的数据量归一化权重，表示第k个客户机的数据丰富度归一化权重；
[0021]所述时间归一化权重的计算公式为：
[0022]TW
k
＝(r
‑
r
k
+1)
‑
α
[0023][0024][0025]其中，TW
k
表示第k个客户机的时间权重，K表示参与训练的客户机的总数，r表示当前的聚合轮次，r
k
表示第k个客户机接收到的全局模型所聚合的轮次，α表示预设的超参数，α∈(0,1)；
[0026]所述数据量归一化权重的计算公式为：
[0027][0028][0029]其中，n表示当前聚合轮次所有客户机的数据总量，n
k
表示第k个客户机的本地数据样本的数据量；
[0030]所述数据丰富度归一化权重的计算公式为：
[0031][0032][0033][0034]其中，IW
k
第k个客户机的本地数据样本的数据丰富度，p
i,
表示第k个客户机的本地数据样本中第i类样本所占的比例，l
k
表示第k个客户机的本地数据样本的样本类别总数。
[0035]进一步地，在本专利技术的一个实施例中，所述聚合模式包括同步聚合模式和多个不同最长等待时间的异步聚合模式，其中，所述同步聚合模式为所述中央服务器在各所述客户机均上传对应的所述本地模型后进行全局模型加权聚合，所述异步聚合模式为所述中央服务器在预设的最长等待时间后根据接收到的所述本地模型进行全局模型加权聚合。
[0036]进一步地，在本专利技术的一个实施例中，所述预测信息通过以下步骤得到：
[0037]根据当前聚合轮次的所述模型准确率和前一聚合轮次的所述模型准确率确定准确率提升梯度；
[0038]确定当前聚合轮次的第二时间成本和第二通信成本；
[0039]根据所述准确率提升梯度、所述第二时间成本和所述预设时间预测得到所述第一模型准确率；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应聚合的联邦学习系统，其特征在于，包括：本地训练层，用于客户机在接收到中央服务器发送的全局模型后，基于本地数据进行模型训练并将更新后的本地模型返回至所述中央服务器；特征感知层，用于获取各所述客户机的数据特征和所述本地模型的模型特征；权重分配层，用于根据所述数据特征和所述模型特征计算得到各所述客户机在全局模型加权聚合时的归一化权重；聚合更新层，用于根据所述归一化权重和预设的多个聚合模式对各所述客户机上传的所述本地模型进行加权聚合，计算当前聚合轮次所述全局模型的模型准确率，并将更新后的所述全局模型下发至参与聚合的各所述客户机；信息预测层，用于根据当前聚合轮次的所述模型准确率和前一聚合轮次的所述模型准确率进行预测，得到对应各所述聚合模式的预测信息，所述预测信息包括各所述聚合模式下在预设时间内可以达到的第一模型准确率，以及达到预设的第二模型准确率所需的第一时间成本和第一通信成本；策略选择层，用于根据所述中央服务器推送的所述预测信息和预先获取的用户需求从所述聚合模式中选取出第一聚合模式，并根据所述第一聚合模式进行正式的联邦学习训练。2.根据权利要求1所述的一种自适应聚合的联邦学习系统，其特征在于：所述数据特征包括所述客户机的本地数据样本占当前聚合轮次所有客户机的本地数据样本的总和的比例，以及所述客户机的本地数据样本的数据丰富度，所述模型特征包括所述本地模型的模型陈旧度。3.根据权利要求1所述的一种自适应聚合的联邦学习系统，其特征在于，所述归一化权重的计算公式为：其中，表示第k个客户机参与全局模型加权聚合时的归一化权重，表示第k个客户机的时间归一化权重，DW
k
表示第k个客户机的数据量归一化权重，表示第k个客户机的数据丰富度归一化权重；所述时间归一化权重的计算公式为：TW
k
＝(r
‑
r
k
+1)
‑
αα
其中，TW
k
表示第k个客户机的时间权重，K表示参与训练的客户机的总数，r表示当前的聚合轮次，r
k
表示第k个客户机接收到的全局模型所聚合的轮次，α表示预设的超参数，α∈(0,1)；所述数据量归一化权重的计算公式为：
其中，n表示当前聚合轮次所有客户机的数据总量，n
k
表示第k个客户机的本地数据样本的数据量；所述数据丰富度归一化权重的计算公式为：所述数据丰富度归一化权重的计算公式为：所述数据丰富度归一化权重的计算公式为：其中，IW
k
第k个客户机的本地数据样本的数据丰富度，p
i,
表示第k个客户机的本地数据样本中第i类样本所占的比例，l
k
表示第k个客户机的本地数据样本的样本类别总数。4.根据权利要求1所述的一种自适应聚合的联邦学习系统，其特征在于，所述...

【专利技术属性】
技术研发人员：侯英威，由林麟，李浩源，吴承瀚，林俊龙，郭子晗，
申请(专利权)人：中山大学，
类型：发明
国别省市：