一种基于知识蒸馏的联邦学习性能优化方法技术

本发明专利技术涉及一种基于知识蒸馏的联邦学习性能优化方法。在物联网中，大量的设备生成和处理数据，这些设备通常具有分布式和异构性的特点，联邦学习(Federated Learning，FL)可以利用这些设备的计算能力进行并行化的模型训练，加快模型的训练速度。在物联网场景中，用于模型训练的数据一般由各设备自身提供，不同设备间的数据会存在异构性。异构的数据会降低全局模型的推理精度。为了解决这个问题，本专利提出一个新方案，本方案使用软标签传递客户端的知识，并且根据软标签的相似性对多个客户端分组，每轮联邦训练时从每组中选择一个最可靠的软标签参与聚合，这样来提高模型的准确度。

【技术实现步骤摘要】

本专利技术主要涉及联邦学习技术和知识蒸馏技术，可以在不增加额外通信开销的前提下提高训练模型的推理精度。

技术介绍

1、物联网将各种物理设备(如传感器、执行器、智能设备等)与互联网进行连接，使它们能够相互通信和交换数据的网络系统。通过物联网，各种设备和系统能够实现互联互通，实时监测和控制，提高资源利用效率，优化生产和服务流程，提供更安全、舒适和可持续的生活和工作环境。

2、随着物联网的发展，大量数据集中在企业或机构内部，限制了数据的开放和流通，导致数据孤岛的现象。此外，由于不同企业对信息化的需求不同，不同类型的数据被存储在不同的系统中，造成了资源的浪费。为了克服这些问题，联邦学习应运而生。联邦学习是一种分布式机器学习的方法，它允许在保护数据隐私的前提下，将分散在不同地方的数据进行协作训练，而无需将数据集中在一个地方。在联邦学习中，各个参与方可以在本地设备或服务器上训练自己的模型，只共享模型的参数更新而不共享原始数据。通过这种方式，数据可以保持在原始的位置，不被集中存储，从而减少了数据传输和隐私泄露的风险。

3、联邦学习机制如下：假设参本文档来自技高网...

【技术保护点】

1.一种基于知识蒸馏的联邦学习性能优化方法，其特征在于包括五个阶段：本地训练，预测软标签，基于软标签分组，软标签聚合，拟合软标签；设定有K个参与方，每个参与方拥有自己的私有数据集Dk，k表示第k个参与方；Dk＝(x,y),x是数据集中的样本，y是样本的类别；每个参与方只能访问自己的数据集，除此之外还有一个全部参与方都能访问的公共数据集D；

【技术特征摘要】

1.一种基于知识蒸馏的联邦学习性能优化方法，其特征在于包括五个阶段：本地训练，预测软标签，基于软标签分组，软标签聚合，拟合软标签；设定有k个参与方，每个参与方拥有自己的私...

【专利技术属性】
技术研发人员：公备，杨玉欣，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：