一种面向异质场景的异步联邦学习方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种面向异质场景的异步联邦学习方法、装置及存储介质，方法包括：从候选客户端中确定目标客户端，其中，所述目标客户端的自相关熵高于所述候选客户端中其他客户端；对所述目标客户端进行训练，得到目标参数，并将所述目标参数上传至服务器；所述服务器根据所述目标参数对模型聚合的过程进行聚合增强处理，得到第一联邦模型；对所述第一联邦模型进行策略集成处理，得到第二联邦模型；对所述第二联邦模型进行模型评估，确定目标联邦模型。本发明专利技术能够提高模型准确率并且降低通信成本，可广泛应用于人工智能技术领域。可广泛应用于人工智能技术领域。可广泛应用于人工智能技术领域。

【技术实现步骤摘要】
一种面向异质场景的异步联邦学习方法、装置及存储介质


[0001]本专利技术涉及人工智能
，尤其是一种面向异质场景的异步联邦学习方法、装置及存储介质。

技术介绍

[0002]随着物联网的快速发展，一个多功能网络得以创建，来连接交通运输、健康护理、行政管理等各领域的大量设备，以支持多样性数据感知和服务体验提升。但由于用户信息变得敏感，数据被统一收集在数据中心的模式可能违反数据安全和隐私保护相关的法律法规，使得数据处理范式开始从集中式数据集成转向分布式参数聚合。
[0003]为了消除数据安全和数据隐私造成的数据孤岛，一种名为联邦学习的去中心化机制被提出。该机制通过不共享原始数据的方式，利用每个学习参与者的本地数据和计算资源来训练一个全局模型。联邦学习可以在同步环境下工作，即所有的学习参与者都有相同的工作计划。而允许参与者相对独立、不受其他参与者制约地参与训练的异步联邦学习，更加适于泛在的异质物联网系统。
[0004]因目前的研究通常在同步环境下进行，所以异步联邦学习仍然面临诸多挑战。首先，由于本地数据的生成通常与用户的行为一致，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向异质场景的异步联邦学习方法，其特征在于，包括：从候选客户端中确定目标客户端，其中，所述目标客户端的自相关熵高于所述候选客户端中其他客户端；对所述目标客户端进行训练，得到目标参数，并将所述目标参数上传至服务器；所述服务器根据所述目标参数对模型聚合的过程进行聚合增强处理，得到第一联邦模型；对所述第一联邦模型进行策略集成处理，得到第二联邦模型；对所述第二联邦模型进行模型评估，确定目标联邦模型。2.根据权利要求1所述的一种面向异质场景的异步联邦学习方法，其特征在于，所述从候选客户端中确定目标客户端，包括：从所述候选客户端中的每个客户端获取感知数据；根据每个客户端中获取到的感知数据，计算每个客户端的自相关熵；根据每个客户端的自相关熵和信息性客户端激活策略，从所述候选客户端中选取自相关熵最高的客户端作为所述目标客户端。3.根据权利要求2所述的一种面向异质场景的异步联邦学习方法，其特征在于，对所述目标客户端进行训练，得到目标参数，并将所述目标参数上传至服务器，包括：所述目标客户端获取当前全局模型和本地数据进行训练，得到目标参数；所述目标客户端将所述目标参数发送至所述服务器；所述服务器轮询等待接收客户端发送的目标参数。4.根据权利要求3所述的一种面向异质场景的异步联邦学习方法，其特征在于，所述服务器根据所述目标参数对模型聚合的过程进行聚合增强处理，得到第一联邦模型，包括：所述服务器根据多周期分层更新策略，将通信划分为若干个周期；对模型聚合过程中的深度神经网络的浅层和深层的更新频率进行优化；根据所述若干个周期和优化后的更新频率，根据所述目标参数进行模型聚合，得到第一联邦模型。5.根据权利要求4所述的一种面向异质场景的异步联邦学习方法，其特征在于，所述对所述第一联...

【专利技术属性】
技术研发人员：由林麟，刘晟，蔡铭，章圣律，郭子晗，周檬，贺俊姝，
申请(专利权)人：中山大学，
类型：发明
国别省市：