一种联邦学习中高移动性设备的空中模型压缩方法技术

本发明专利技术属于模型压缩技术领域，公开了一种联邦学习中高移动性设备的空中模型压缩方法，包括：进行稀疏化处理；利用K

【技术实现步骤摘要】
一种联邦学习中高移动性设备的空中模型压缩方法


[0001]本专利技术属于模型压缩
，尤其涉及一种联邦学习中高移动性设备的空中模型压缩方法。

技术介绍

[0002]目前，联邦学习(FL)算法在无线通信领域中引起了越来越多的兴趣。研究已经证明，FL方案使无线设备能够协作学习共享模型，而无需共享数据。由于可用功率和带宽有限，以及通信和计算服务无处不在，FL概念为多无人机无线网络提供了一种变通解决方案。由于带宽和功率等资源的有限可用性，无线FL网络中的通信仍然是分布式网络中的一个关键瓶颈。当设备遭受更高的延迟、更低的吞吐量和间歇性的不良连接时，情况会变得更加严重。FL系统中的通信挑战和实际问题促使开发新的方法来降低整体功耗、平均客户端
‑
服务器通信和模型参数，以确定足够的精度进行通信。
[0003]解决上述问题的关键技术为模型压缩技术。传统的机器学习(ML)模型压缩技术包括剪枝、量化和压缩感知。与传统的ML问题类似，目前联邦学习对梯度或模型进行压缩的方法是仅通过使用量化算子、稀疏化或两者的组合来传递压缩梯度或模型。现有技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联邦学习中高移动性设备的空中模型压缩方法，其特征在于，所述联邦学习中高移动性设备的空中模型压缩方法包括：步骤一，对DSGD进行Top_z梯度下降稀疏化处理；利用K
‑
means聚类进行量化处理将权值的方差替换为k个中心；步骤二，通过编码处理创建地址表，将较短的比特数分配给频繁值，将较长的比特数分配给不频繁值。2.如权利要求1所述联邦学习中高移动性设备的空中模型压缩方法，其特征在于，所述步骤一中，稀疏化处理如下：Δ＝Δ+γδ＝0δ[i]＝g[i]γ＝g
‑
δg＝sparse(δ)；其中，g表示稀疏梯度，δ表示下降的梯度值，γ代表本地存储的残差，所述本地存储的残差为删除值并在再次删除之前添加到下一个梯度；Δ中的每个值均被存储为float32的数据；若Δ中值的大小小于指定的稀疏界，则所述值被0代替；δ[i]表示稀疏化之后Δ最大值的一个子集。3.如权利要求1所述联邦学习中高移动性设备的空中模型压缩方法，其特征在于，所述步骤一中，对DSGD进行Top_z梯度下降稀疏化处理还包括：保留本地客户端中的残差，并将累积的小值添加到下一个梯度，再次下降。4.如权利要求1所述联邦学习中高移动性设备的空中模型压缩方法，其特征在于，所述步骤一中，利用K
‑
means聚类进行量化处理如下：其中，c
j
表示第j个预测中心、集群的数量决定CR。5.如权利要求1所述联邦学习中高移动性设备的空中模型压缩方法，其特征在于，所述步骤二中，编码处理包括：指定g中两个最不频繁的簇的位置，并将flatten g中位置之间的差异存储在地址表中；所述编码处理如下：其中，w
i
和b
i...

【专利技术属性】
技术研发人员：刘翔，骆春波，沙小豹，高海瑞，许燕，罗杨，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：