【技术实现步骤摘要】
本专利技术属于机器学习和图像处理，具体涉及一种基于域差异感知蒸馏的异构模型聚合方法及系统。
技术介绍
1、深度学习技术的不断推广，以及隐私保护需求的不断增加，基于联邦学习的联合机器学习技术近几年获得了大量关注。联邦学习允许多个客户端进行联合模型训练，其中客户端数据集不共享。在每一轮通信中，服务器将全局模型发送给客户端。随后，每个客户端使用其本地数据来基于全局模型训练出本地模型，服务器收集客户端更新的本地模型以进行聚合。通过多轮通信，聚合模型将逐渐收敛，最终能够同时处理多个客户端的数据。
2、在原始的联邦学习技术中，服务器利用模型参数平均进行聚合。这种方式下，聚合模型需要大量通信轮次的迭代才能收敛，并且模型参数平均只能应用于模型结构完全一致的情况。在真实场景中，由于客户端的存储和算力资源限制，不同客户端可能采用不同模型结构，例如手机端会采用轻量级网络模型，而电脑端可以采用更大规模的模型，此时，模型平均无法进行异构模型的聚合。
3、知识蒸馏是一种异构模型聚合的方式。假设服务器存在大量无标注数据，服务器可以利用这些无标...
【技术保护点】
1.一种基于域差异感知蒸馏的异构模型聚合方法，用于在参与多方联合学习的多个客户端存在数据域差异时对多方模型进行模型聚合，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于域差异感知蒸馏的异构模型聚合方法，其特征在于：
3.根据权利要求1所述的基于域差异感知蒸馏的异构模型聚合方法，其特征在于：
4.根据权利要求1所述的基于域差异感知蒸馏的异构模型聚合方法，其特征在于：
5.根据权利要求4所述的基于域差异感知蒸馏的异构模型聚合方法，其特征在于：
6.根据权利要求4所述的基于域差异感知蒸馏的异构模型聚合方法，
...【技术特征摘要】
1.一种基于域差异感知蒸馏的异构模型聚合方法，用于在参与多方联合学习的多个客户端存在数据域差异时对多方模型进行模型聚合，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于域差异感知蒸馏的异构模型聚合方法，其特征在于：
3.根据权利要求1所述的基于域差异感知蒸馏的异构模型聚合方法，其特征在于：
4.根据权利要求1所述的基于域差异感知蒸...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。