数据处理方法、装置和存储介质制造方法及图纸

技术编号:41305959 阅读:14 留言:0更新日期:2024-05-13 14:51
本申请涉及计算机技术领域,提供一种数据处理方法、装置和存储介质,该方法包括:基于算力网络中待传输数据的数据类型和传输需求信息,确定待传输数据的压缩方式;基于压缩方式,擦除待传输数据的二进制数或者压缩待传输数据的二进制数的连续位,并将压缩数据发送至接收方。本申请针对不同的数据类型和传输需求信息选择不同的压缩方式,对待传输数据进行擦除二进制位数或压缩连续位,在保证数据完整性和安全性的前提下,降低数据传输的开销、提高网络性能和二进制压缩传输效率以及优化资源利用,为高性能计算、分布式系统和云计算等领域带来更高的效率和竞争力。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种数据处理方法、装置和存储介质


技术介绍

1、在算力网络中,涉及到大量的计算任务、分布式系统和云计算应用,这些任务需要在不同节点之间传输大量的数据,包括输入、中间结果和输出。传输大量数据会导致多个问题,如带宽瓶颈、传输延迟、资源浪费以及数据安全等。目前,大量的数字信息以二进制的形式被传输,有效的二进制压缩算法可以通过减小数据的体积,解决或缓解上述问题。然而,算力网络现有数字二进制压缩传输的效率低。


技术实现思路

1、本申请提供一种数据处理方法、装置和存储介质,用以解决现有技术中算力网络的数字二进制压缩传输效率低的问题,通过针对不同的数据类型和传输需求信息选择不同的压缩方式,对待传输数据进行擦除二进制位数或压缩连续位,在保证数据完整性和安全性的前提下,降低数据传输的开销、提高网络性能和二进制压缩传输效率以及优化资源利用,为高性能计算、分布式系统和云计算等领域带来更高的效率和竞争力。

2、本申请提供一种数据处理方法,应用于发送方,包括:

3、基于算力网络中待传本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,应用于发送方,包括:

2.根据权利要求1所述的数据处理方法,其特征在于,若所述数据类型为浮点数,所述压缩方式为有损压缩;基于所述压缩方式,擦除所述待传输数据的二进制数,并将所述压缩数据发送至接收方,包括:

3.根据权利要求1所述的数据处理方法,其特征在于,若所述数据类型为浮点数,所述压缩方式为无损压缩;基于所述压缩方式,擦除所述待传输数据的二进制数,并将所述压缩数据发送至接收方,包括:

4.根据权利要求1所述的数据处理方法,其特征在于,若所述数据类型为整数,所述压缩方式为有损压缩;基于所述压缩方式,压缩所述待传输数据的...

【技术特征摘要】

1.一种数据处理方法,其特征在于,应用于发送方,包括:

2.根据权利要求1所述的数据处理方法,其特征在于,若所述数据类型为浮点数,所述压缩方式为有损压缩;基于所述压缩方式,擦除所述待传输数据的二进制数,并将所述压缩数据发送至接收方,包括:

3.根据权利要求1所述的数据处理方法,其特征在于,若所述数据类型为浮点数,所述压缩方式为无损压缩;基于所述压缩方式,擦除所述待传输数据的二进制数,并将所述压缩数据发送至接收方,包括:

4.根据权利要求1所述的数据处理方法,其特征在于,若所述数据类型为整数,所述压缩方式为有损压缩;基于所述压缩方式,压缩所述待传输数据的二进制数的连续位,并将所述压缩数据发送至接收方,包括:

5.根据权利要求1所述的数据处理方法,其特征在于,若所述数据类型为整数,所述压缩方式为无损压缩;基于所述压...

【专利技术属性】
技术研发人员:徐颜沈林江许俊东仇树卿
申请(专利权)人:浪潮通信信息系统有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1