基于自适应本地模型初始化和双重知识蒸馏的个性化联邦学习方法技术

技术编号:44433117 阅读:16 留言:0更新日期:2025-02-28 18:44
本发明专利技术涉及一种基于自适应本地模型初始化和双重知识蒸馏的个性化联邦学习方法,属于边缘计算技术领域。该方法通过在每个客户端上根据全局模型与局部模型之间的余弦相似度进行本地模型初始化,获取自适应初始化后的局部模型;在每个客户端上根据全局模型和历史局部模型分别进行知识蒸馏,通过双重知识蒸馏更新局部模型的参数;中央服务器接收参与训练的所有客户端上传的局部模型,并基于数据质量和客户端贡献度的双重动态聚合权重,得到最终的全局模型。本发明专利技术在处理数据异质性问题时能够显著提高模型的精度和收敛速度,并在多种边缘计算场景中表现出较好的适应性与鲁棒性。

【技术实现步骤摘要】

本专利技术属于边缘计算,涉及一种基于自适应本地模型初始化和双重知识蒸馏的个性化联邦学习方法


技术介绍

1、边缘计算(edge computing)是一种分布式计算框架,它将计算、数据存储和处理能力从传统的集中式数据中心推送到更接近数据源的边缘设备,如物联网设备、智能手机等。这种架构设计旨在减少数据在设备与服务器之间传输的延迟,提升系统的实时性和响应速度,尤其适合那些对低延迟、实时性要求较高的应用场景,如智能制造、自动驾驶、ar/vr应用和视频监控等。随着科技的不断进步以及互联网技术的高速发展,智能移动设备、可穿戴设备以及物联网等设备规模不断增长和功能不断丰富,并时时刻刻产生海量的数据,使得全世界的数据呈现指数型爆炸增长,根据思科公司的调研报告,到2021年底全球数据总量将达到402eb,人类社会已然进入万物互联的大数据时代。大数据的兴起,给各行各业都带来了新的机遇与挑战。近年来,深度学习在计算机视觉、语音识别和内容推荐等领域都取得了非常大的进展。然而,在这些领域中,深度学习算法需要海量的数据才能得到高性能的模型。虽然在当今的数字时代,丰富的数据给深度学习本文档来自技高网...

【技术保护点】

1.一种基于自适应本地模型初始化和双重知识蒸馏的个性化联邦学习方法,其特征在于:所述方法包括以下步骤:

2.根据权利要求1所述的一种基于自适应本地模型初始化和双重知识蒸馏的个性化联邦学习方法,其特征在于:在步骤S1中,搭建的个性化联邦学习框架中,包含一个服务器S和N个客户端,每个客户端拥有私人数据集{D1,D2,...,Dk,...,DN};各客户端之间不进行本地数据交换,只与服务器交换在本地数据训练后的局部模型{W1,W2,...,Wk,...,WN};服务器聚合所有客户端上传的局部模型{W1,W2,...,Wk,...,WN}后得到全局模型Wg。>

3.根据权利...

【技术特征摘要】

1.一种基于自适应本地模型初始化和双重知识蒸馏的个性化联邦学习方法,其特征在于:所述方法包括以下步骤:

2.根据权利要求1所述的一种基于自适应本地模型初始化和双重知识蒸馏的个性化联邦学习方法,其特征在于:在步骤s1中,搭建的个性化联邦学习框架中,包含一个服务器s和n个客户端,每个客户端拥有私人数据集{d1,d2,...,dk,...,dn};各客户端之间不进行本地数据交换,只与服务器交换在本地数据训练后的局部模型{w1,w2,...,wk,...,wn};服务器聚合所有客户端上传的局部模型{w1,w2,...,wk,...,wn}后得到全局模型wg。

3.根据权利要求2所述的一种基于自适应本地模型初始化和双重知识蒸馏的个性化联邦学习方法,其特征在于:在步骤s2中,具体包括以下步骤:

4.根据权利要求3所述的一种基于自适应本地模型初始化...

【专利技术属性】
技术研发人员:苏畅李洋谢显中
申请(专利权)人:重庆邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1