【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种浮点数的压缩方法、解压方法和计算设备。
技术介绍
1、随着gpt、chat ai等大语言模型发展，大语言模型的参数量越来越多，达到千亿规模。由于大语言模型的参数量比较多，所以大语言模型的训练过程需要多个设备参与。分布到多个设备的参数量进行训练时，多个设备之间需要相互通信，以便一个设备的参数量传输到另一个设备。通常情况下，设备之间的通信带宽很小，很难满足多个设备对大语言模型进行训练的通信需求。因此，在设备之间的通信带宽有限的情况下，如何实现多个设备对大语言模型进行训练是目前亟需解决的问题。
技术实现思路
1、为了解决上述的问题，本申请的实施例中提供了一种浮点数的压缩方法，对浮点数的指数部分进行熵编码以实现无损压缩，以及预留一个短编码作为零值的浮点数无损压缩的结果，从而实现对发送的数据无损压缩，减少传输过程中占用的通信带宽。另外，本申请还提供了与该浮点数的压缩方法对应的浮点数的压缩装置、浮点数的解压方法、该浮点数的解压方法对应的浮点数的解压装置和计算设备。<...
【技术保护点】
1.一种浮点数的压缩方法，其特征在于，所述方法由计算设备执行，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述获取目标浮点数之前，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，在所述对所述多个浮点数的数值求平均值，得到当前数据滑动窗口的预测值之前，所述方法还包括：
4.根据权利要求2所述的方法，其特征在于，当前数据滑动窗口的浮点数包括所述浮点数队列中的第一个浮点数，
5.根据权利要求1-4任意一项所述的方法，其特征在于，在所述将所述原始的指数部分与预测值作差，得到所述目标浮点数的指数差值之前...
【技术特征摘要】
1.一种浮点数的压缩方法，其特征在于，所述方法由计算设备执行，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述获取目标浮点数之前，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，在所述对所述多个浮点数的数值求平均值，得到当前数据滑动窗口的预测值之前，所述方法还包括：
4.根据权利要求2所述的方法，其特征在于，当前数据滑动窗口的浮点数包括所述浮点数队列中的第一个浮点数，
5.根据权利要求1-4任意一项所述的方法，其特征在于，在所述将所述原始的指数部分与预测值作差，得到所述目标浮点数的指数差值之前，所述方法还包括：
6.一种浮点数的解压方法，其特征在于，所述方法由计算设备执行，所述方法包括：
7.根据权利要求6所述的方法，其特征在于，所述数据报文包括特定编码，所述方法还包括：
8.一种浮点数的压缩装置，其特征在于，包括...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。