一种量化压缩的通信方法、系统、电子装置及存储介质制造方法及图纸

本发明专利技术公开了一种量化压缩的通信方法、系统、电子装置及存储介质，方法包括：采集预设数量客户端的通信参数；利用深梯度压缩算法选取通信参数的预定梯度范围；筛选梯度范围内梯度绝对值的最大值和最小值；在最大值和最小值之间将预定梯度范围划分成第一预定数量的区域，每个区域步长相同；将最小值作为基准值，并使用第二预定数量的比特位对每一个区域进行编码，编码的第一位是符号位；利用每个区域的基准值、步长、比特值量化相应区域的梯度值；将量化后的梯度值内的通信参数上传；本发明专利技术能够在深度梯度压缩的基础上，考虑上传部分梯度的数值分布规律，因此能够进一步将通信参数压缩，从而进一步降低了通信成本。从而进一步降低了通信成本。从而进一步降低了通信成本。

【技术实现步骤摘要】
一种量化压缩的通信方法、系统、电子装置及存储介质


[0001]本专利技术涉及数据传输
，尤其涉及一种量化压缩的通信方法、系统、电子装置及存储介质。

技术介绍

[0002]随着智能设备的广泛应用，数据收集的速度和规模也越来越大，可以将这些数据应用在人工智能上去训练模型，但是出于安全考虑，这些数据不能直接去训练模型，因此2016年出现了基于模型平均的联邦学习概念，但是这个方法需要大量的通信成本。
[0003]目前可通过深度梯度压缩的方法降低基于模型平均的联邦学习中的通信成本，但是深度梯度压缩没考虑到上传部分梯度的数值分布规律，因此有待进步一改进，从而进一步降低通信成本。

技术实现思路

[0004]本专利技术的主要目的在于提供一种量化压缩的通信方法，能够进一步降低通信成本。
[0005]为实现上述目的，本专利技术第一方面提供一种量化压缩的通信方法，包括：采集预设数量客户端的通信参数；利用深梯度压缩算法选取所述通信参数的预定梯度范围；筛选所述梯度范围内梯度绝对值的最大值和最小值；在所述最大值和所述最小值之间将所述预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种量化压缩的通信方法，其特征在于，包括：采集预设数量客户端的通信参数；利用深梯度压缩算法选取所述通信参数的预定梯度范围；筛选所述梯度范围内梯度绝对值的最大值和最小值；在所述最大值和所述最小值之间将所述预定梯度范围划分成第一预定数量的区域，每个所述区域步长相同；将所述最小值作为基准值，并使用第二预定数量的比特位对每一个所述区域进行编码，所述编码的第一位是符号位；利用每个所述区域的所述基准值、所述步长、所述比特值量化相应区域的所述梯度值；将量化后的梯度值内的所述通信参数上传。2.根据权利要求1所述的量化压缩的通信方法，其特征在于，所述量化的方法包括：计算每个所述区域的比特值和所述步长的乘积；计算所述基准值与所述乘积的和值，将所述和值作为对应区域的所述梯度值。3.根据权利要求1所述的量化压缩的通信方法，其特征在于，所述采集预设数量客户端的通信参数包括：使用动态采样的方式在每次上传所述参数时采集；所述动态采样的方式包括：随着所述参数上传次数的增加，减少所述客户端的预设数量，所述预设数量大于或等于5。4.根据权利要求3所述的量化压缩的通信方法，其特征在于，所述减少客户端的预设数量的方法包括：获取预先设置的递减的指数函数；将所述上传次数作为所述指数函数的自变量，计算所述指数函数的因变量，所述因变量为所述客户端的数量。5.根据权利要求1所述的量化压缩的通信方法，其特征在于，所述梯度范围为所有所述梯度的前1％；所述第一预定数量为7，且所述区域包括正区域和负区域，所述正区域位于正的所述最大值和正的所述最小值之间，所述负区域位于负的所述最大值和负的所述最小值之间，所述正区域和所述负区...

【专利技术属性】
技术研发人员：刘刚，蒋琬，陈晓枫，毛睿，
申请(专利权)人：深圳大学，
类型：发明
国别省市：