一种计算分层的联邦学习训练方法技术

本发明专利技术属于物联网技术领域，公开了一种高效的计算分层的联邦学习训练方法，包括：步骤1：构建一个计算分层的联邦学习系统模型，步骤2：在联邦学习系统模型中允许用户在不需要进行本地梯度计算或连续数据传输的情况下参与联邦训练，该原则通过在线方法和离线方法实现；步骤3：针对联邦学习系统模型中的竞争、用户移动性、新的数据任务不断呈现给联邦学习系统模型和隐私保护的挑战提供解决方案。本发明专利技术使资源受限的设备能够在设备训练和轻量级消息传输的基础上执行联邦训练，在线和离线方法允许设备在不需要进行本地梯度计算或连续数据传输的情况下参与联邦训练，在保障性能的基础上减轻训练负担，减少通信开销。减少通信开销。

【技术实现步骤摘要】
一种计算分层的联邦学习训练方法


[0001]本专利技术属于物联网
，具体的说是一种计算分层的联邦学习训练方法。

技术介绍

[0002]随着移动设备和智能车辆、无人机等边缘设备的激增，用户生成的数据迎来了持续的爆炸式增长。在此背景下，数据驱动的人工智能技术，如机器学习，在广泛的应用中取得了显著的发展。然而，传统的机器学习方案需要将分布式用户数据收集到中央服务器进行模型训练，这引起了对数据隐私的担忧。在此情形下，联邦学习被提出，其通过使分散的节点能够在不发送本地数据的情况下合作训练全局模型来解决这个问题。基于隐私保护机制的联邦学习已经成为分布式机器学习的研究热点。
[0003]与集中式机器学习不同，联邦学习的模型训练过程发生在边缘设备上，也就是收集和存储原始数据之处。除此之外，为了整合跨设备学习到的知识，中央服务器将统一收集这些模型参数并将其聚合为全局模型。一般来说，参与设备需要承担主要的计算和数据传输任务，即用本地数据集训练全局模型，并将模型更新上传到服务器或从服务器下载。这要求边缘设备具有充足的能源供应、足够的算力和稳定的网络连接。然而，在物联网和边缘计算等应用中，电池、网络、内存和计算资源紧张的设备无法提供高效的协同训练。
[0004]大多数相关研究建议通过使用梯度压缩或稀疏化来减轻通信负载。有的研究者研究了使用局部累计梯度代替常规梯度，并且只传输足够大的梯度。通过应用以上方法，在不降低模型性能的情况下，传输的数据减少了99％以上。

技术实现思路

[0005]为了解决上述技术问题，本专利技术提供一种计算分层的联邦学习训练方法，该训练方法构建一种计算分层联邦学习系统，使资源受限的设备能够在设备训练和轻量级消息传输的基础上执行联邦训练。
[0006]为了达到上述目的，本专利技术是通过以下技术方案实现的：
[0007]本专利技术是一种计算分层的联邦学习训练方法，首先，构建了一个三层联邦体系结构的联邦学习系统模型架构CLFL，除了传统联邦中的边缘层和中央服务器之外，CLFL还包括一个由资源受限的设备节点组成的用户层，边缘层的节点不仅协调用户节点之间的协同训练，还为用户节点提供计算辅助；同时，给出了实现CLFL的原则，并设计了两种实例方法，它们允许设备在不需要进行本地梯度计算或连续数据传输的情况下参与联邦训练。最后，本专利技术为一些关键的相关研究挑战提供了可行的解决方案。
[0008]本专利技术是一种计算分层联邦学习训练方法，具体为：
[0009]步骤1：构建一个计算分层的联邦学习系统模型，所述联邦学习系统模型由服务提供商、用户和协调中心三个部分组成，服务提供商位于边缘层，用户位于用户层，协调中心位于云服务器层，在系统模型中，边缘节点协调用户节点之间的协同训练，为用户节点提供计算辅助；
[0010]步骤2：构建实现步骤1联邦学习系统模型的原则，在联邦学习系统模型中允许用户在不需要进行本地梯度计算或连续数据传输的情况下参与联邦训练，该原则通过在线方法和离线方法实现；
[0011]步骤3：针对联邦学习系统模型中的竞争、用户移动性、新的数据任务不断呈现给联邦学习系统模型和隐私保护的挑战提供解决方案。
[0012]优选的：在所述步骤(1)的联邦学习系统模型中，服务提供商和用户根据其计算能力和数据量分为两层：服务提供商位于边缘层，用户位于用户层，具体的：
[0013]用户：作为服务的主要受益者，用户节点从边缘层的服务提供商选择性地请求全局模型，用户参与协同训练是通过在线方法和离线方法实现；
[0014]服务提供商：在边缘层，每个服务提供商都配备了高性能计算硬件来执行联邦学习系统模型的训练，为用户提供高质量的智慧服务，每个所述服务提供商包含至少一个要执行的训练任务，在加入联邦系统之前，服务提供商向协调中心注册其元数据，然后，协调中心将这些服务提供商按照其训练任务进行聚类形成不同的任务集群，并在任务集群内执行联邦学习系统；
[0015]协调中心：协调中心位于联邦学习系统模型的云层，负责记录服务提供商的元数据并响应所有用户的查询。
[0016]优选的：每个服务提供商的元数据包括三种类型的信息：服务提供商的身份、训练任务以及本地存储的任务数据量，元数据用于协调中心对连接的服务提供商进行聚类，并在其中实现联邦学习，个人用户在从服务提供商获得服务之前，需要先从协调中心查询信息，并选择最合适的服务提供商。
[0017]优选的：所述步骤2中的在线方法为将训练任务的计算负载从用户层“迁移”到边缘层或者在边缘侧构建数据增强器。
[0018]优选的：将训练任务的计算负载从用户层“迁移”到边缘层是引入一个可训练的损失函数以增强边缘侧的模型训练，具体流程包括如下步骤：
[0019]步骤2
‑1‑
1：服务提供商首先对其具有监督损失和辅助损失的本地数据集进行模型训练；
[0020]步骤2
‑1‑
2：然后服务提供商随机选择连接用户的子集并将训练后的模型分发给子集；
[0021]步骤2
‑1‑
3：用户在本地数据集上评估更新后模型的质量，并将性能分数发送回服务提供商；
[0022]步骤2
‑1‑
4：服务提供商用辅助损失的参数和性能分数训练值函数；
[0023]步骤2
‑1‑
5：用值函数优化辅助损失函数。
[0024]优选的：在边缘侧构建数据增强器具体为：在服务提供商训练目标模型之前，数据增强器对局部数据提供扰动。
[0025]优选的：所述离线方法利用知识蒸馏方法实现，具体的，在知识蒸馏方法中，所有用户级节点仅在三个时间点与服务提供商通信，第一个时间点是服务提供商在没有用户节点参与的情况下完成了模型的训练即，在边缘完成了本地训练或协作训练，预训练模型将被每个用户下载，之后，用户进行微调以定制预训练模型，在此期间，服务提供商等待与用户的第二次通信，即用户将本地修改的模型上传到服务提供商，在接收到个性化模型后，服
务提供商执行知识蒸馏，通过聚合用户的知识来细化目标模型，此过程将在边缘侧执行几轮，直到模型收敛，最后，用户从服务提供商下载目标模型，并可以自由断开与服务提供商的网络连接。
[0026]优选的：所述步骤3具体为：
[0027]针对竞争的挑战，联邦学习系统模型是设计激励机制促进协同训练并实现共同获益；
[0028]针对用户移动性，可以在网络层和应用层解决，从网络层来看，通过扩大网络覆盖范围或在用户移动范围内通过相互转发来确保用户的连接性，从应用层来看，切换到其他服务器的连接并恢复中断的训练；
[0029]针对新的数据任务不断呈现给联邦学习系统模型，联邦学习系统模型采用自动化机器学习，通过基于训练任务和训练集的元特征自动制定合适的算法和训练超参数。
[0030]隐私和保护：当在节点之间共享梯度信息时，一些攻击可能会达到重建隐私数据或恶化全局模型性能的效果。例如，边缘节点可以构造数据推断攻击，以暴露本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算分层的联邦学习训练方法，其特征在于：联邦学习训练方法包括如下步骤：步骤1：构建一个计算分层的联邦学习系统模型，所述联邦学习系统模型由服务提供商、用户和协调中心三个部分组成，服务提供商位于边缘层，用户位于用户层，协调中心位于云服务器层，在系统模型中，边缘节点协调用户节点之间的协同训练，为用户节点提供计算辅助；步骤2：构建实现步骤1联邦学习系统模型的原则，在联邦学习系统模型中允许用户在不需要进行本地梯度计算或连续数据传输的情况下参与联邦训练，该原则通过在线方法和离线方法实现；步骤3：针对联邦学习系统模型中的竞争、用户移动性、新的数据任务不断呈现给联邦学习系统模型和隐私保护的挑战提供解决方案。2.根据权利要求1所述的一种计算分层的联邦学习训练方法，其特征在于：在所述步骤(1)的联邦学习系统模型中，服务提供商和用户根据其计算能力和数据量分为两层：服务提供商位于边缘层，用户位于用户层，具体的：用户：作为服务的主要受益者，用户节点从边缘层的服务提供商选择性地请求全局模型，用户参与协同训练是通过在线方法和离线方法实现；服务提供商：在边缘层，每个服务提供商都配备了高性能计算硬件来执行联邦学习系统模型的训练，为用户提供高质量的智慧服务，每个所述服务提供商包含至少一个要执行的训练任务，在加入联邦系统之前，服务提供商向协调中心注册其元数据，然后，协调中心将这些服务提供商按照其训练任务进行聚类形成不同的任务集群，并在任务集群内执行联邦学习系统；协调中心：协调中心位于联邦学习系统模型的云层，负责记录服务提供商的元数据并响应其他实体的查询。3.根据权利要求2所述的一种计算分层的联邦学习训练方法，其特征在于：每个服务提供商的元数据包括三种类型的信息：服务提供商的身份、训练任务以及本地存储的任务数据量，元数据用于协调中心对连接的服务提供商进行聚类，并在其中实现联邦学习，个人用户在从服务提供商获得服务之前，需要先从协调中心查询信息，并选择最合适的服务提供商。4.根据权利要求1所述的一种计算分层的联邦学习训练方法，其特征在于：所述步骤2中的在线方法为将训练任务的计算负载从用户层“迁移”到边缘层或者在边缘侧构建数据增强器。5.根据权利要求4所述的一种计算分层的联邦学习训练方法，其特征在于：将训练任务的计算负载从用户层“迁移”到边缘层是引入一个可训练的损失函数以增强边缘侧的模型训练，具体流程包括如下步骤：步骤2
‑2‑
1：服务提供商首先对其具有监督损失和数据增强器的本地数据集进行模型训练；步骤2
‑2‑<...

【专利技术属性】
技术研发人员：陈思光，石雁航，黄宇虹，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：