【技术实现步骤摘要】
本专利技术主要涉及联邦学习技术和知识蒸馏技术，可以在不增加额外通信开销的前提下提高训练模型的推理精度。
技术介绍
1、物联网将各种物理设备(如传感器、执行器、智能设备等)与互联网进行连接，使它们能够相互通信和交换数据的网络系统。通过物联网，各种设备和系统能够实现互联互通，实时监测和控制，提高资源利用效率，优化生产和服务流程，提供更安全、舒适和可持续的生活和工作环境。
2、随着物联网的发展，大量数据集中在企业或机构内部，限制了数据的开放和流通，导致数据孤岛的现象。此外，由于不同企业对信息化的需求不同，不同类型的数据被存储在不同的系统中，造成了资源的浪费。为了克服这些问题，联邦学习应运而生。联邦学习是一种分布式机器学习的方法，它允许在保护数据隐私的前提下，将分散在不同地方的数据进行协作训练，而无需将数据集中在一个地方。在联邦学习中，各个参与方可以在本地设备或服务器上训练自己的模型，只共享模型的参数更新而不共享原始数据。通过这种方式，数据可以保持在原始的位置，不被集中存储，从而减少了数据传输和隐私泄露的风险。
3、联邦学习机制如下：假设参与联邦学习的有m个客户端，在第r轮fl训练中，有k个客户端参与聚合。让w和wm代表全局模型和第m个客户端的本地模型。其中第m个客户端拥有的样本数为lm，参与聚合的k个客户端的样本数量lk之和为l，本地模型的损失函数为φ，fl的目标如公式(1)所示：
4、
5、在第r轮训练结束时，本地模型更新按公式(2)所示：
6、
7、其中η是学
8、
9、虽然联邦学习具有许多优势，但是在物联网中使用的设备之间存在差异，从而使得它们产生的数据具有异构性，异构数据会降低联邦学习模型的性能。知识蒸馏是一种模型压缩技术，其在教师网络中设置软标签作为损失函数的一部分，以达到教师网络和学生网络之间知识迁移的目的。在联邦学习中运用软标签来传递客户端之间的知识可以增加模型知识进而提升模型推理精度。因此，本专利技术提出一个基于知识蒸馏的联邦学习性能优化方案。
技术实现思路
1、本专利技术设计了一种基于知识蒸馏的联邦学习性能优化方法，将知识蒸馏技术中软标签应用到联邦学习知识传递过程中。
2、面对异构数据，联邦学习在模型训练过程中存在知识从数据到模型的映射效率低下的问题，本专利技术研究利用知识传递来提升训练模型精度的方法。由于知识蒸馏可以增加模型知识、所以其可以用来提升模型推理精度。作为kd的在线范式，联邦蒸馏(federateddistillation，fd)通过在云端中央服务器和各设备之间传输软标签而不是模型梯度来实现不同设备之间的协同学习。传统的基于硬标签的fl在模型训练过程中会丢失一些知识，从而导致fl训练所得到的模型的准确率下降。本专利技术将知识蒸馏中知识传递的形式应用在联邦学习中，客户端之间利用软标签传递知识来提升模型精度。软标签是概率分布形式的标签，它提供了关于样本属于每个类别的概率信息，而不仅仅是硬标签的单一类别指示。这使得软标签能够传达更多关于样本的信息。同时根据软标签的相似性将客户端分组，调整不同客户端软标签的权重，从而对数据偏移进行调整。
3、本专利技术所提出的方法在不增加额外通信开销的前提下明显提高了模型推理精度。
本文档来自技高网...【技术保护点】
1.一种基于知识蒸馏的联邦学习性能优化方法，其特征在于包括五个阶段：本地训练，预测软标签，基于软标签分组，软标签聚合，拟合软标签；设定有K个参与方，每个参与方拥有自己的私有数据集Dk，k表示第k个参与方；Dk＝(x,y),x是数据集中的样本，y是样本的类别；每个参与方只能访问自己的数据集，除此之外还有一个全部参与方都能访问的公共数据集D；
【技术特征摘要】
1.一种基于知识蒸馏的联邦学习性能优化方法，其特征在于包括五个阶段：本地训练，预测软标签，基于软标签分组，软标签聚合，拟合软标签；设定有k个参与方，每个参与方拥有自己的私...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。