【技术实现步骤摘要】
本专利技术属于计算机领域，专注于物联网设备异构模型联邦学习精度，提出了一种通过分层自蒸馏实现的异构联邦学习方法，借助异构设备上的各种层次结构模型完成全局模型的学习。
技术介绍
1、近些年，出于对用户隐私的保护和企业间的合作，联邦学习在物联网端云协同系统与信息物理融合系统等领域得到较为广泛的应用。联邦学习对于用户隐私性的保护，依赖于它的算法并不需要获得私人设备的数据，仅需将计算的梯度返回给云端服务器。现阶段联邦学习算法，由于各种限制，往往要求各设备端和云端模型一致。
2、但是，在现实生活中，上述条件往往难以满足。一方面，受限于每个设备自身计算、通讯、存储等差异性，统一使用相同模型往往会牺牲部分设备的性能；另一方面，由于各设备应用场景的不同，设备需要依据目的调整使用的模型，这也要求模型具有一定异构型。
3、然而，目前大多数算法并未考虑上述问题，仅考虑相同模型之间的协作，包括云端对相同模型的聚合，以及将更新的模型下发给具有相同模型的设备。如何在保证各设备依据自身条件选择训练的局部模型，同时使得云端可以有效利用各设备不同的局部模型进行聚合，成为现阶段联邦学习算法应用中亟待解决的问题。
4、综上所述，如何在保证联邦学习自身的隐私安全性不被打破的前提下，提出一种新方法，该方法允许各设备基于自身的条件选择异构的模型，并且使得云端可以对各异构模型进行聚合，这成为了联邦学习所面对的一个挑战。
技术实现思路
1、本专利技术的目的是针对传统技术的不足而提供的一种通过分
2、实现本专利技术目的的具体技术方案是：
3、一种通过分层自蒸馏的异构模型联邦学习方法，该方法在训练之前，要求所有参与联邦学习的物联网设备将云服务器中全局模型的子集作为本地层次模型。然后，云服务器将全局模型的一部分发送到相应设备上进行本地训练。当本地训练结束时，本方法将在云服务器上进行模型聚合和分层自蒸馏。在实际应用中，该方法的整个工作过程可分为六个步骤：
4、步骤1：模型同步
5、所有参与联邦学习的异构物联网设备将云服务器中全局模型的子集作为本地层次模型；初始阶段，云服务器初始化全局模型，同时根据每个异构物联网设备的内存和计算能力，设定层次模型；各异构物联网设备，根据设定的层次模型，从云服务器的全局模型获得参数；
6、步骤2：局部训练
7、基于接收到的全局模型参数，各异构物联网设备构建初始层次结构模型，即局部模型，利用交叉熵损失函数对异构物联网设备本地图像数据集进行训练，得到局部模型的梯度；
8、步骤3：梯度上传
9、本地训练完成后，每个参与的异构物联网设备将其最新的本地模型梯度上传到云服务器中的模型参数缓冲区；
10、步骤4：云聚合
11、在收到所有参与异构物联网设备的局部模型梯度后，收集的局部模型梯度都通过层对齐，对梯度取平均，并导出聚合的梯度；利用聚合的梯度与存储在模型参数缓冲区中的上一轮全局模型参数构建新的全局模型；
12、步骤5：集成预测器更新
13、在全局模型构建完成后，通过计算每个层次结构模型的集成预测与公共图像标签之间的交叉熵，使用梯度下降法更新元学习器；
14、步骤6：分层自蒸馏
15、所有层次模型都通过分层自蒸馏进行更新，包括特征蒸馏和预测蒸馏；之后，将更新的全局模型保存到全局模型参数中；重复步骤1至6，直到全局模型及其所有层次结构模型收敛。
16、步骤4所述云聚合，是为了将各设备所拥有的全局模型的子集，即各设备的局部模型，按照其在全局模型的对应关系对梯度进行平均，并更新对应的全局模型参数，提高全局模型的精确度。
17、步骤5所述的元学习器，用于对各层次结构模型的预测进行集成，并通过集成结果与真实标签之间的交叉熵进行更新；
18、所述计算每个层次结构模型的集成预测与公共图像标签之间的交叉熵，定义如下：
19、
20、式中，y为云服务器上公共数据的标签，ce_loss表示元学习器的交叉熵损失函数，wi表示第i个层次模型在所有模型中占有的权重，pi表示第i个层次模型预测结果，fi表示第i个层次模型的属性值。
21、步骤6所述通过分层自蒸馏进行更新，包括特征蒸馏和预测蒸馏，定义如下：
22、
23、
24、式中，kl(pi，pn)为预测蒸馏，mse(fi，fn)为特征蒸馏；具体来说，g为全局模型，n为异构物联网设备数量，kl和mse分别为kl散度和均值平方误差损失函数，β表示mse损失函数在分层自蒸馏中的权值，pi表示第i个层次模型预测结果，fi表示第i个层次模型的属性值，pw表示所有预测结果的加权和，fw表示所有属性值的加权和。
25、本专利技术的有益效果：由于联邦学习中物联网设备的资源具有差异性，联邦学习存在模型的异质性问题。本专利技术能够保证各设备根据自身条件选择异构模型，同时保证异构模型都可以相互学习，提高全局模型推理性能。
本文档来自技高网...【技术保护点】
1.一种通过分层自蒸馏的异构模型联邦学习方法，其特征在于，该方法包括以下具体步骤：
2.根据权利要求1所述的异构模型联邦学习方法，其特征在于，步骤4所述云聚合，是为了将各设备所拥有的全局模型的子集，即各设备的局部模型，按照其在全局模型的对应关系对梯度进行平均，并更新对应的全局模型参数，提高全局模型的精确度。
3.根据权利要求1所述的异构模型联邦学习方法，其特征在于，步骤5所述的元学习器，用于对各层次结构模型的预测进行集成，并通过集成结果与真实标签之间的交叉熵进行更新；
4.根据权利要求1所述的异构模型联邦学习方法，其特征在于，步骤6所述通过分层自蒸馏进行更新，包括特征蒸馏和预测蒸馏，定义如下：
【技术特征摘要】
1.一种通过分层自蒸馏的异构模型联邦学习方法，其特征在于，该方法包括以下具体步骤：
2.根据权利要求1所述的异构模型联邦学习方法，其特征在于，步骤4所述云聚合，是为了将各设备所拥有的全局模型的子集，即各设备的局部模型，按照其在全局模型的对应关系对梯度进行平均，并更新对应的全局模型参数，提高全局模型的精确度...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。