一种去中心化联邦学习系统、方法、存储介质及计算设备技术方案

本发明专利技术公开了一种去中心化联邦学习系统、方法、存储介质及计算设备，该系统包括：模型共享平面、与模型共享平面连接的边缘服务器，以及与边缘服务器连接的参与训练的终端设备；本发明专利技术基于终端设备资源信息进行全局模型分割，平衡各终端设备进行本地模型训练的时间差异，且分割策略会随着终端设备本地资源进行调整，保证每一次都选择最早训练完成时间最小的方案，可提高训练吞吐量、降低通信成本，从而加快训练进程。训练进程。训练进程。

【技术实现步骤摘要】
一种去中心化联邦学习系统、方法、存储介质及计算设备


[0001]本专利技术涉及联邦学习和边缘计算
，具体涉及一种去中心化联邦学习系统、方法、存储介质及计算设备。

技术介绍

[0002]机器学习(ML)是工业发展的关键技术驱动力之一，它使组织能够部署智能算法来优化效率和简化决策，随着物联网(IoT)的发展，各种设备数据作为驱动，为机器学习创造了十分有利的基础条件。但是物联网设备通常通信资源有限，这些数据全部上传到云服务器会占用大量的网络带宽，并且在浪费了终端设备出色的计算资源的同时也带来了隐私数据泄露的风险。
[0003]在应对需要并且可以并行处理大量数据的机器学习领域，联邦学习是一种新兴的方法。其目的在于保护大数据环境下模型学习中涉及的用户数据隐私。其详细工作步骤包括：1、发起者将全局模型下发到所有参与者；2、参与者将使用其私有数据训练得到的本地模型上传到云服务器中进行聚合，进行全局参数更新获得全局模型。
[0004]在典型的集中式联邦学习系统中的客户
‑
服务器架构中，由于存在中央服务器在一些实际应用中难本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种去中心化联邦学习系统，其特征在于，包括：模型共享平面、与模型共享平面连接的边缘服务器，以及与边缘服务器连接的终端设备；所述模型共享平面用于对所述边缘服务器上传的全局模型参数进行聚合优化，更新全局模型，并下发至所述边缘服务器；所述边缘服务器用于确定参与训练的终端设备，将所述模型共享平面下发的全局模型进行分割得到部分模型，并下发至所述参与训练的终端设备，以及用于将所述参与训练的终端设备上传的部分模型参数进行聚合得到全局模型参数，并上传至所述模型共享平面；所述终端设备用于对所述边缘服务器下发的部分模型进行训练得到部分模型参数，以及向所述边缘服务器发送运动信息、终端设备资源信息和训练后的部分模型参数。2.根据权利要求1所述的一种去中心化联邦学习系统，其特征在于，所述边缘服务器包括：数据平台和模型分割器；所述数据平台包括：数据接收模块，用于接收终端设备上传的运动信息、终端设备资源信息和训练后得到的部分模型参数，并发送至数据处理模块；数据处理模块，用于对接收到的数据进行预处理和判断，如果接收到的数据是移动的终端设备的运动信息，则对移动的终端设备进行选择计算，确定参与训练的移动的终端设备，并将相应的终端设备资源信息上传到智能算法模块；如果接收的数据是不动的终端设备上传的终端设备资源信息，则直接上传到智能算法模块；如果接收到的数据是终端设备训练后得到的部分模型参数，则上传到模型聚合模块；模型聚合模块，用于将所接收到的部分模型参数进行聚合得到全局模型参数，并上传至模型共享平面；所述模型分割器包括：智能算法模块，用于根据所接收到的终端设备资源信息，以终端设备进行部分模型联邦学习训练的总时延最小为目标，进行模型分割决策；模型分割模块，用于根据所述智能算法模块下发的模型分割决策对全局模型进行模型分割得到部分模型；部分模型下发模块，用于将所述模型分割模块得到的部分模型下发到对应的终端设备。3.根据权利要求2所述的一种去中心化联邦学习系统，其特征在于，所述数据处理模块还用于，对接收到的数据进行数据清洗、数据对齐以及准确性审核。4.根据权利要求1所述的一种去中心化联邦学习系统，其特征在于，所述模型共享平面包括：全局参数预处理模块，用于接收所述边缘服务器上传的全局模型参数，并进行数据清洗、数据对齐以及准确性审核；对等架构聚合模块，用于将所述全局参数预处理模块处理后的各全局模型参数进行聚合优化；全局模型管理模块，用于基于聚合优化后的全局模型参数更新全局模型，并下发至与所述模型共享平面连接的边缘服务器中。
5.一种去中心化联邦学习方法，其特征在于，采用权利要求1至4任意一项所述的去中心化联邦学习系统实现，所述方法包括：确定参与训练的终端设备；通过各边缘服务器从模型共享平面获取全局模型，根据参与训练的终端设备资源信息，以终端设备进行联邦学习训练的总时延最小为目标，对所获取的全局模型进行分割决策；基于所得到的分割决策对所述全局模型进行模型分割得到部分模型，并将部分模型下发至对应的终端设备；通过终端设备对接收到的部分模型进行连邦学习训练得到各自的部分模型参数；通过各边缘服务器对参与训练的终端设备的部分模型参数进行聚合得到全局模型参数；通过模型共享平面对各边缘服务器得到的全局模型参数进行聚合优化，更新全局模型；基于更新后的全局模型继续进行模型分割及联邦学习的迭代训练，直至达到终止条件。6.根据权利要求5所述的一种去中心化联邦学习方法，其特征在于，所述确定参与训练的终端设备，包括：如果终端设备为固定不动的，则确定参与训练的终端设备为与边缘服务器建立通信连接的终端设备；如果终端设备为移动的，则基于移动的终端设备的运动信息计算终端设备的停留时间：其中，表示边缘服务器k通信覆盖范围内移动的终端设备n的停留时间，R
k
表示边缘服务器k的通信覆盖范围，LOC
n
表示移动的终端设备n的位置，v
n
表示移动的终端设备n的速度；选择满足公式(2...

【专利技术属性】
技术研发人员：郭永安，李嘉靖，王宇翱，钱琪杰，
申请(专利权)人：边缘智能研究院南京有限公司，
类型：发明
国别省市：