【技术实现步骤摘要】
一种自适应聚合的联邦学习系统、方法、装置及存储介质
[0001]本专利技术涉及联邦学习
，尤其是一种自适应聚合的联邦学习系统、方法、装置及存储介质。
技术介绍
[0002]近年来，随着大数据与深度学习的兴起，大量且多源异构的数据造成了数据的孤岛分布、数据隐私监管缺乏等问题，个人隐私和数据安全越发得到重视。同时，细粒度的数据孤岛也制衡数据服务的发展，其在实际应用过程中不仅难以避免敏感信息泄露的风险，而且降低了服务的精准度。近年来，利用联邦学习框架进行用户数据本地训练、模型参数全局优化，成为满足用户隐私保护和多源异构数据融合需求的有效解决方案之一。
[0003]传统的联邦学习框架采用同步聚合模式(Synchronous)，即每个训练轮次中，中央服务器将全局模型同步发送给多个客户机，多个客户机基于本地数据训练模型后将更新后的本地模型返回中央服务器，中央服务器等待所有客户机上传本地模型后再进行全局模型聚合更新。同步聚合模式在聚合时能够充分利用所有客户机的数据信息，保证全局模型能够高效地收敛，但由于同步聚合需等待所有客户...
【技术保护点】
【技术特征摘要】
1.一种自适应聚合的联邦学习系统，其特征在于，包括：本地训练层，用于客户机在接收到中央服务器发送的全局模型后，基于本地数据进行模型训练并将更新后的本地模型返回至所述中央服务器；特征感知层，用于获取各所述客户机的数据特征和所述本地模型的模型特征；权重分配层，用于根据所述数据特征和所述模型特征计算得到各所述客户机在全局模型加权聚合时的归一化权重；聚合更新层，用于根据所述归一化权重和预设的多个聚合模式对各所述客户机上传的所述本地模型进行加权聚合，计算当前聚合轮次所述全局模型的模型准确率，并将更新后的所述全局模型下发至参与聚合的各所述客户机；信息预测层，用于根据当前聚合轮次的所述模型准确率和前一聚合轮次的所述模型准确率进行预测，得到对应各所述聚合模式的预测信息，所述预测信息包括各所述聚合模式下在预设时间内可以达到的第一模型准确率，以及达到预设的第二模型准确率所需的第一时间成本和第一通信成本；策略选择层，用于根据所述中央服务器推送的所述预测信息和预先获取的用户需求从所述聚合模式中选取出第一聚合模式，并根据所述第一聚合模式进行正式的联邦学习训练。2.根据权利要求1所述的一种自适应聚合的联邦学习系统，其特征在于：所述数据特征包括所述客户机的本地数据样本占当前聚合轮次所有客户机的本地数据样本的总和的比例，以及所述客户机的本地数据样本的数据丰富度，所述模型特征包括所述本地模型的模型陈旧度。3.根据权利要求1所述的一种自适应聚合的联邦学习系统，其特征在于，所述归一化权重的计算公式为：其中，表示第k个客户机参与全局模型加权聚合时的归一化权重，表示第k个客户机的时间归一化权重，DW
k
表示第k个客户机的数据量归一化权重，表示第k个客户机的数据丰富度归一化权重；所述时间归一化权重的计算公式为：TW
k
＝(r
‑
r
k
+1)
‑
αα
其中，TW
k
表示第k个客户机的时间权重，K表示参与训练的客户机的总数，r表示当前的聚合轮次，r
k
表示第k个客户机接收到的全局模型所聚合的轮次，α表示预设的超参数，α∈(0,1)；所述数据量归一化权重的计算公式为：
其中，n表示当前聚合轮次所有客户机的数据总量，n
k
表示第k个客户机的本地数据样本的数据量；所述数据丰富度归一化权重的计算公式为：所述数据丰富度归一化权重的计算公式为：所述数据丰富度归一化权重的计算公式为：其中，IW
k
第k个客户机的本地数据样本的数据丰富度，p
i,
表示第k个客户机的本地数据样本中第i类样本所占的比例，l
k
表示第k个客户机的本地数据样本的样本类别总数。4.根据权利要求1所述的一种自适应聚合的联邦学习系统，其特征在于，所述...
【专利技术属性】
技术研发人员：侯英威，由林麟，李浩源，吴承瀚，林俊龙，郭子晗，
申请(专利权)人：中山大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。