一种基于动态稀疏脉冲神经网络优化的联邦学习方法及架构技术

技术编号:44825851 阅读:14 留言:0更新日期:2025-03-28 20:17
本发明专利技术涉及联邦学习算法框架、动态稀疏训练和脉冲神经网络的交叉领域,公开了一种动态稀疏脉冲神经网络优化的联邦学习方法及架构,所述方法包括:采用云边端分层架构,在边缘设备上通过脉冲神经网络对本地数据进行训练;边缘设备接收的全局模型和稀疏掩码,生成本地稀疏模型进行训练;在每轮本地训练后,边缘设备将新的模型参数上传至边缘服务器;边缘服务器在接收到模型参数后,结合历史贡献度等信息进行聚合,上传至中央云服务器;在云服务器上,模型参数进一步聚合,生成全局模型,并在下一轮训练前将其广播到各边缘服务器、边缘设备。本发明专利技术通过在联邦学习中引入稀疏训练和脉冲神经网络,显著降低计算通信开销,提高了全局模型的性能。

【技术实现步骤摘要】

本专利技术涉及分布式机器学习,涉及联邦学习算法框架、动态稀疏训练和脉冲神经网络的交叉领域,更具体地,涉及一种基于动态稀疏脉冲神经网络优化的联邦学习方法及架构


技术介绍

1、联邦学习作为一种分布式学习方法,能够在保护数据隐私的同时,将多个边缘设备的本地训练模型聚合为全局模型,从而减少中心化训练的通信负担和隐私风险。然而,传统的联邦学习方法通常基于密集神经网络,计算复杂度高、能耗大,且在资源受限的边缘设备上存在较大的通信压力,难以高效运行。

2、脉冲神经网络通过模拟生物神经元的脉冲活动,采用事件驱动计算模式,显著降低了计算复杂度和能耗,成为边缘设备上的潜在高效模型。然而,snn在资源受限环境下仍面临如何保持准确性和降低通信成本的挑战。

3、另外,动态稀疏训练通过减少神经网络中的参数,优化计算效率,降低了训练和推理的复杂度。尽管如此,传统的稀疏训练方法在减小模型规模的同时,可能增加计算和内存消耗,这限制了其在边缘设备上的应用。

4、因此,如何有效结合这些技术,提升边缘设备上的学习效率,仍是当前的研究重点。


<本文档来自技高网...

【技术保护点】

1.一种基于动态稀疏脉冲神经网络优化的联邦学习方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的一种基于动态稀疏脉冲神经网络优化的联邦学习方法,其特征在于,步骤1中在每个训练周期内所述根据时间步长的神经元激活模式进行稀疏化,包括:

3.根据权利要求2所述的一种基于动态稀疏脉冲神经网络优化的联邦学习方法,其特征在于,所述依据神经元激活频率,通过稀疏掩码对本地模型进行稀疏化,具体为:

4.根据权利要求1所述的一种基于动态稀疏脉冲神经网络优化的联邦学习方法,其特征在于,步骤2中所述边缘设备根据接收的全局模型和稀疏掩码,生成本地稀疏模型,具体为:...

【技术特征摘要】

1.一种基于动态稀疏脉冲神经网络优化的联邦学习方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的一种基于动态稀疏脉冲神经网络优化的联邦学习方法,其特征在于,步骤1中在每个训练周期内所述根据时间步长的神经元激活模式进行稀疏化,包括:

3.根据权利要求2所述的一种基于动态稀疏脉冲神经网络优化的联邦学习方法,其特征在于,所述依据神经元激活频率,通过稀疏掩码对本地模型进行稀疏化,具体为:

4.根据权利要求1所述的一种基于动态稀疏脉冲神经网络优化的联邦学习方法,其特征在于,步骤2中所述边缘设备根据接收的全局模型和稀疏掩码,生成本地稀疏模型,具体为:

5.根据权利要求1所述的一种基于动态稀疏脉冲神经网络优化的联邦学习方法,其特征在于,步骤2中所述使用...

【专利技术属性】
技术研发人员:谢满德张佳宁孙浩俞军
申请(专利权)人:浙江工商大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1