一种计算分层的联邦学习训练方法技术

本发明专利技术属于物联网技术领域，公开了一种高效的计算分层的联邦学习训练方法，包括：步骤1：构建一个计算分层的联邦学习系统模型，步骤2：在联邦学习系统模型中允许用户在不需要进行本地梯度计算或连续数据传输的情况下参与联邦训练，该原则通过在线方法和离线方法实现；步骤3：针对联邦学习系统模型中的竞争、用户移动性、新的数据任务不断呈现给联邦学习系统模型和隐私保护的挑战提供解决方案。本发明专利技术使资源受限的设备能够在设备训练和轻量级消息传输的基础上执行联邦训练，在线和离线方法允许设备在不需要进行本地梯度计算或连续数据传输的情况下参与联邦训练，在保障性能的基础上减轻训练负担，减少通信开销。减少通信开销。

【技术实现步骤摘要】
一种计算分层的联邦学习训练方法


[0001]本专利技术属于物联网
，具体的说是一种计算分层的联邦学习训练方法。

技术介绍

[0002]随着移动设备和智能车辆、无人机等边缘设备的激增，用户生成的数据迎来了持续的爆炸式增长。在此背景下，数据驱动的人工智能技术，如机器学习，在广泛的应用中取得了显著的发展。然而，传统的机器学习方案需要将分布式用户数据收集到中央服务器进行模型训练，这引起了对数据隐私的担忧。在此情形下，联邦学习被提出，其通过使分散的节点能够在不发送本地数据的情况下合作训练全局模型来解决这个问题。基于隐私保护机制的联邦学习已经成为分布式机器学习的研究热点。
[0003]与集中式机器学习不同，联邦学习的模型训练过程发生在边缘设备上，也就是收集和存储原始数据之处。除此之外，为了整合跨设备学习到的知识，中央服务器将统一收集这些模型参数并将其聚合为全局模型。一般来说，参与设备需要承担主要的计算和数据传输任务，即用本地数据集训练全局模型，并将模型更新上传到服务器或从服务器下载。这要求边缘设备具有充足的能源供应、足够的算力和稳定的网络连接本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算分层的联邦学习训练方法，其特征在于：联邦学习训练方法包括如下步骤：步骤1：构建一个计算分层的联邦学习系统模型，所述联邦学习系统模型由服务提供商、用户和协调中心三个部分组成，服务提供商位于边缘层，用户位于用户层，协调中心位于云服务器层，在系统模型中，边缘节点协调用户节点之间的协同训练，为用户节点提供计算辅助；步骤2：构建实现步骤1联邦学习系统模型的原则，在联邦学习系统模型中允许用户在不需要进行本地梯度计算或连续数据传输的情况下参与联邦训练，该原则通过在线方法和离线方法实现；步骤3：针对联邦学习系统模型中的竞争、用户移动性、新的数据任务不断呈现给联邦学习系统模型和隐私保护的挑战提供解决方案。2.根据权利要求1所述的一种计算分层的联邦学习训练方法，其特征在于：在所述步骤(1)的联邦学习系统模型中，服务提供商和用户根据其计算能力和数据量分为两层：服务提供商位于边缘层，用户位于用户层，具体的：用户：作为服务的主要受益者，用户节点从边缘层的服务提供商选择性地请求全局模型，用户参与协同训练是通过在线方法和离线方法实现；服务提供商：在边缘层，每个服务提供商都配备了高性能计算硬件来执行联邦学习系统模型的训练，为用户提供高质量的智慧服务，每个所述服务提供商包含至少一个要执行的训练任务，在加入联邦系统之前，服务提供商向协调中心注册其元数据，然后，协调中心将这些服务提供商按照其训练任务进行聚类形成不同的任务集群，并在任务集群内执行联邦学习系统；协调中心：协调中心位于联邦学习系统模型的云层，负责记录服务提供商的元数据并响应其他实体的查询。3.根据权利要求2所述的一种计算分层的联邦学习训练方法，其特征在于：每个服务提供商的元数据包括三种类型的信息：服务提供商的身份、训练任务以及本地存储的任务数据量，元数据用于协调中心对连接的服务提供商进行聚类，并在其中实现联邦学习，个人用户在从服务提供商获得服务之前，需要先从协调中心查询信息，并选择最合适的服务提供商。4.根据权利要求1所述的一种计算分层的联邦学习训练方法，其特征在于：所述步骤2中的在线方法为将训练任务的计算负载从用户层“迁移”到边缘层或者在边缘侧构建数据增强器。5.根据权利要求4所述的一种计算分层的联邦学习训练方法，其特征在于：将训练任务的计算负载从用户层“迁移”到边缘层是引入一个可训练的损失函数以增强边缘侧的模型训练，具体流程包括如下步骤：步骤2
‑2‑
1：服务提供商首先对其具有监督损失和数据增强器的本地数据集进行模型训练；步骤2
‑2‑<...

【专利技术属性】
技术研发人员：陈思光，石雁航，黄宇虹，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：