基于异步通信的分层联邦学习方法、装置、终端设备及存储介质制造方法及图纸

本发明专利技术提供的基于异步通信的分层联邦学习方法、装置、终端设备及存储介质，涉及无线通信网络技术领域；该方法包括边缘服务器下发的全局模型至所属簇内客户端；客户端利用本地数据对模型进行更新并上传到各所属簇边缘服务器；边缘服务器根据客户端更新上传时间确定更新簇内客户端；边缘服务器对接收到的模型参数进行平均，并根据当前客户端更新次数选择异步上传到中央服务器或直接下发到客户端；中央服务器对边缘服务器上传参数进行加权平均，再下发至客户端训练，直到本地模型收敛或者达到预期标准；本发明专利技术能高效执行联邦学习任务，降低联邦学习模型参数所需的通信代价，并动态选择客户端对接的边缘服务器，提高联邦学习整体训练效率。

【技术实现步骤摘要】
基于异步通信的分层联邦学习方法、装置、终端设备及存储介质
本专利技术涉及无线通信网络
，具体涉及一种基于异步通信的分层联邦学习方法、装置、终端设备及存储介质。
技术介绍
近年来，随着物联网、移动通信、可穿戴设备等技术的兴起，网络中的数据量呈爆炸式地增长，直接推动了数据驱动的机器学习技术(尤其是深度学习)的迅速发展。然而，近期出现的几起信息泄露事件将人们的眼光拉回到数据安全上。手机、可穿戴设备收集的信息大多与个人隐私相关，随着人们对隐私保护的意识不断增强，用户往往不愿意将自己的信息分享给机构、组织或他人，导致传统的将各设备收集的信息上传到云中心进行统一分析处理的分布式计算体系面临新的巨大挑战。因此，数据不出本地的分布式计算框架——联邦学习应运而生，它允许参与训练的客户端将数据保存在本地并且训练过程不共享，只在训练过程中分享本地数据上训练的机器学习模型的参数，而且模型参数可以利用压缩机制、安全多方计算、差分隐私等技术进行保护，在很大程度上保护了用户的隐私安全。然而，作为新兴的技术，联邦学习仍然存在一些问题。通过浏览分析对比，发现现有联邦学习存在的问题和缺陷如下：联邦学习存在系统异构性问题，具体表现为：联邦学习的参与者之间计算能力不平均、网络条件难以预测、各自拥有的数据量差异较大等；联邦学习同步迭代存在等待时长问题，具体表现为：联邦服务器与客户端之间以同步的方式交换模型参数需要等待所有客户端模型全部更新完毕才能开始新的迭代过程，因为存在系统异构性问题，计算能力强的、网络状态好的客户端存在大量空闲等待时间；部分场景下联邦学习通信效率不高，例如工业网络环境，各传感器与服务器之间需要及时、高效的通信，而传统联邦学习每个客户端全部与中央服务器建立连接，并且需要等待所有客户端模型更新完毕，这显然不符合工业应用场景的需求，如何将联邦学习应用到工业网络环境也是一个难题。
技术实现思路
本专利技术目的在于提供一种基于异步通信的分层联邦学习方法、装置、终端设备及存储介质，解决联邦学习系统异构性问题，可以明显提升模型训练效率；解决同步迭代问题和通信效率问题可以更好地发挥联邦学习的特长，将联邦学习应用到更多实际场景中。为达成上述目的，本专利技术提出如下技术方案：一种基于异步通信的分层联邦学习方法，应用于联邦学习系统，所述联邦学习系统包括中央服务器、连接于中央服务器的若干边缘服务器，以及分别与各边缘服务器成簇分布的若干客户端；所述基于异步通信的分层联邦学习方法应用于边缘服务器，包括：边缘服务器接收广播的全局模型参数并下发至其所属簇内所有客户端；所述全局模型参数由中央服务器初始化并广播，所述全局模型参数用于各客户端根据其拥有的本地数据进行训练；边缘服务器接收其簇内所有客户端上传的经本地训练后更新的全局模型参数、记录各客户端信息上传时间，对接收的经本地训练后更新的全局模型参数进行平均，并统计边缘服务器接收其簇内客户端的更新次数；边缘服务器根据其预设的客户端信息上传时间阈值区间，更新其所属簇内客户端；所属簇内客户端更新过程为：集聚客户端信息上传时间在边缘服务器预设的客户端信息上传时间阈值区间内的所有客户端构成对应于该边缘服务器的簇；边缘服务器预设的接收其簇内客户端的更新次数阈值，边缘服务器在更新次数阈值内任一次客户端更新后下发该次更新平均得到的全局模型参数至其所属簇中所有客户端；边缘服务器向中央服务器上传客户端第更新次数阈值次更新平均得到的全局模型参数，并向其所属簇中所有客户端下发中央服务器根据其接收的客户端第更新次数阈值次更新平均得到的全局模型参数加权平均后反馈的加权平均全局模型参数，以便客户端根据加权平均全局模型参数进行本地训练；边缘服务器重复执行接收其所属簇内客户端更新上传的全局模型参数和接收中央服务器反馈的加权平均全局模型参数，直至联邦学习系统中所有客户端内全局模型收敛或达到设定全局模型精度。进一步的，所述基于异步通信的分层联邦学习方法应用于中央服务器，包括：中央服务器广播经其初始化的全局模型参数至各边缘服务器，以使得各边缘服务器将该全局模型参数下发至各边缘服务器所属簇中的所有客户端；所述全局模型参数用于各客户端根据其拥有的本地数据进行训练，以便将经本地训练后更新的全局模型参数上传至所属簇的边缘服务器进行平均、记录各客户端信息的上传时间和统计各客户端的更新次数；所述客户端信息的上传时间用于与边缘服务器预设的客户端信息上传时间阈值区间进行比对，以更新客户端至包含其上传时间在客户端信息上传时间阈值区间内的边缘服务器所在的簇；中央服务器接收边缘服务器发送的第更新次数阈值次更新平均得到的全局模型参数，并向该边缘服务器反馈加权平均全局模型参数，以便该边缘服务器向其所属簇中所有客户端下发该加权平均全局模型参数，使得客户端根据该加权平均全局模型参数进行本地训练；所述更新次数阈值为边缘服务器预设的向中央服务器上传全局模型参数时其所属簇内客户端最大更新次数，并且在更新次数阈值内任一次客户端经本地训练更新后上传至边缘服务器平均得到的全局模型参数直接经该边缘服务器下发至其所属簇中所有客户端，直至客户端更新次数达到更新次数阈值。中央服务器重复执行在客户端达到更新次数阈值时边缘服务器上传第更新次数阈值次更新平均得到的全局模型参数并向该边缘服务器反馈加权平均全局模型参数，直至联邦学习系统中所有客户端内全局模型收敛或达到设定全局模型精度。进一步的，所述基于异步通信的分层联邦学习方法应用于客户端，包括：客户端接收全局模型参数，并根据其拥有的本地数据进行训练；所述全局模型参数由中央服务器初始化并广播至边缘服务器，经由边缘服务器下发至其所属簇内所有客户端；客户端发送其经本地训练后更新的全局模型参数至其所属簇内边缘服务器，以便边缘服务器记录各客户端信息的上传时间、对各客户端更新的全局模型参数进行平均、以及统计其簇内客户端的更新次数；所述客户端信息的上传时间用于边缘服务器根据其预设的客户端信息上传时间阈值区间，更新其所属簇内客户端；所述客户端在边缘服务器的簇内更新过程为：客户端信息的上传时间与边缘服务器预设的客户端信息上传时间阈值区间进行比对，更新客户端至包含其上传时间在客户端信息上传时间阈值区间内的边缘服务器所在的簇；客户端的更新次数用于与边缘服务器预设的接收其簇内客户端的更新次数阈值进行比较；当客户端更新次数在更新次数阈值内，客户端在其任一次更新后接收其所属簇的边缘服务器发来的该次更新平均得到的全局模型参数，再根据其拥有的本地数据进行训练；当客户端更新次数达到更新次数阈值，客户端接收其所属簇的边缘服务器下发的、由该边缘服务器向中央服务器上传第更新次数阈值次更新平均得到的全局模型参数后反馈的加权平均全局模型参数，再根据其拥有的本地数据进行本地训练；客户端重复执行根据其所属簇的边缘服务器下发的全局模型参数进行本地训练，并将训练后更新的全局模型参数再上传至其所属簇的边缘服务器，直至联邦学习系统中所有客户端内全局模型收敛或达到设定全局模型精度。进一本文档来自技高网...

【技术保护点】
1.一种基于异步通信的分层联邦学习方法，其特征在于，所述基于异步通信的分层联邦学习方法应用于联邦学习系统，所述联邦学习系统包括中央服务器、连接于中央服务器的若干边缘服务器，以及分别与各边缘服务器成簇分布的若干客户端；所述基于异步通信的分层联邦学习方法应用于边缘服务器，包括：/n边缘服务器接收广播的全局模型参数并下发至其所属簇内所有客户端；所述全局模型参数由中央服务器初始化并广播，所述全局模型参数用于各客户端根据其拥有的本地数据进行训练；/n边缘服务器接收其簇内所有客户端上传的经本地训练后更新的全局模型参数、记录各客户端信息上传时间，对接收的经本地训练后更新的全局模型参数进行平均，并统计边缘服务器接收其簇内客户端的更新次数；/n边缘服务器根据其预设的客户端信息上传时间阈值区间，更新其所属簇内客户端；所属簇内客户端更新过程为：集聚客户端信息上传时间在边缘服务器预设的客户端信息上传时间阈值区间内的所有客户端构成对应于该边缘服务器的簇；/n边缘服务器预设接收其簇内客户端的更新次数阈值，边缘服务器在更新次数阈值内任一次客户端更新后下发该次更新平均得到的全局模型参数至其所属簇中所有客户端；边缘服务器向中央服务器上传客户端第更新次数阈值次更新平均得到的全局模型参数，并向其所属簇中所有客户端下发中央服务器根据其接收的客户端第更新次数阈值次更新平均得到的全局模型参数加权平均后反馈的加权平均全局模型参数，以便客户端根据加权平均全局模型参数进行本地训练；/n边缘服务器重复执行接收其所属簇内客户端更新上传的全局模型参数和接收中央服务器反馈的加权平均全局模型参数，直至联邦学习系统中所有客户端内全局模型收敛或达到设定全局模型精度。/n...

【技术特征摘要】
1.一种基于异步通信的分层联邦学习方法，其特征在于，所述基于异步通信的分层联邦学习方法应用于联邦学习系统，所述联邦学习系统包括中央服务器、连接于中央服务器的若干边缘服务器，以及分别与各边缘服务器成簇分布的若干客户端；所述基于异步通信的分层联邦学习方法应用于边缘服务器，包括：
边缘服务器接收广播的全局模型参数并下发至其所属簇内所有客户端；所述全局模型参数由中央服务器初始化并广播，所述全局模型参数用于各客户端根据其拥有的本地数据进行训练；
边缘服务器接收其簇内所有客户端上传的经本地训练后更新的全局模型参数、记录各客户端信息上传时间，对接收的经本地训练后更新的全局模型参数进行平均，并统计边缘服务器接收其簇内客户端的更新次数；
边缘服务器根据其预设的客户端信息上传时间阈值区间，更新其所属簇内客户端；所属簇内客户端更新过程为：集聚客户端信息上传时间在边缘服务器预设的客户端信息上传时间阈值区间内的所有客户端构成对应于该边缘服务器的簇；
边缘服务器预设接收其簇内客户端的更新次数阈值，边缘服务器在更新次数阈值内任一次客户端更新后下发该次更新平均得到的全局模型参数至其所属簇中所有客户端；边缘服务器向中央服务器上传客户端第更新次数阈值次更新平均得到的全局模型参数，并向其所属簇中所有客户端下发中央服务器根据其接收的客户端第更新次数阈值次更新平均得到的全局模型参数加权平均后反馈的加权平均全局模型参数，以便客户端根据加权平均全局模型参数进行本地训练；
边缘服务器重复执行接收其所属簇内客户端更新上传的全局模型参数和接收中央服务器反馈的加权平均全局模型参数，直至联邦学习系统中所有客户端内全局模型收敛或达到设定全局模型精度。


2.根据权利要求1所述的基于异步通信的分层联邦学习方法，其特征在于，所述基于异步通信的分层联邦学习方法应用于中央服务器，包括：
中央服务器广播经其初始化的全局模型参数至各边缘服务器，以使得各边缘服务器将该全局模型参数下发至各边缘服务器所属簇中的所有客户端；所述全局模型参数用于各客户端根据其拥有的本地数据进行训练，以便将经本地训练后更新的全局模型参数上传至所属簇的边缘服务器进行平均、记录各客户端信息的上传时间和统计各客户端的更新次数；所述客户端信息的上传时间用于与边缘服务器预设的客户端信息上传时间阈值区间进行比对，以更新客户端至包含其上传时间在客户端信息上传时间阈值区间内的边缘服务器所在的簇；
中央服务器接收边缘服务器发送的第更新次数阈值次更新平均得到的全局模型参数，并向该边缘服务器反馈加权平均全局模型参数，以便该边缘服务器向其所属簇中所有客户端下发该加权平均全局模型参数，使得客户端根据该加权平均全局模型参数进行本地训练；所述更新次数阈值为边缘服务器预设的向中央服务器上传全局模型参数时其所属簇内客户端最大更新次数，并且在更新次数阈值内任一次客户端经本地训练更新后上传至边缘服务器平均得到的全局模型参数直接经该边缘服务器下发至其所属簇中所有客户端，直至客户端更新次数达到更新次数阈值；
中央服务器重复执行在客户端达到更新次数阈值时边缘服务器上传第更新次数阈值次更新平均得到的全局模型参数并向该边缘服务器反馈加权平均全局模型参数，直至联邦学习系统中所有客户端内全局模型收敛或达到设定全局模型精度。


3.根据权利要求1所述的基于异步通信的分层联邦学习方法，其特征在于，所述基于异步通信的分层联邦学习方法应用于客户端，包括：
客户端接收全局模型参数，并根据其拥有的本地数据进行训练；所述全局模型参数由中央服务器初始化并广播至边缘服务器，经由边缘服务器下发至其所属簇内所有客户端；
客户端发送其经本地训练后更新的全局模型参数至其所属簇内边缘服务器，以便边缘服务器记录各客户端信息的上传时间、对各客户端更新的全局模型参数进行平均、以及统计其簇内客户端的更新次数；所述客户端信息的上传时间用于边缘服务器根据其预设的客户端信息上传时间阈值区间，更新其所属簇内客户端；所述客户端在边缘服务器的簇内更新过程为：客户端信息的上传时间与边缘服务器预设的客户端信息上传时间阈值区间进行比对，更新客户端至包含其上传时间在客户端信息上传时间阈值区间内的边缘服务器所在的簇；
客户端的更新次数用于与边缘服务器预设的接收其簇内客户端的更新次数阈值进行比较；当客户端更新次数在更新次数阈值内，客户端在其任一次更新后接收其所属簇的边缘服务器发来的该次更新平均得到的全...

【专利技术属性】
技术研发人员：吴宣够，张卫东，沈浩，郑啸，
申请(专利权)人：安徽工业大学，
类型：发明
国别省市：安徽;34