【技术实现步骤摘要】
本申请涉及计算机,尤其涉及一种数据处理方法、装置和存储介质。
技术介绍
1、在算力网络中,涉及到大量的计算任务、分布式系统和云计算应用,这些任务需要在不同节点之间传输大量的数据,包括输入、中间结果和输出。传输大量数据会导致多个问题,如带宽瓶颈、传输延迟、资源浪费以及数据安全等。目前,大量的数字信息以二进制的形式被传输,有效的二进制压缩算法可以通过减小数据的体积,解决或缓解上述问题。然而,算力网络现有数字二进制压缩传输的效率低。
技术实现思路
1、本申请提供一种数据处理方法、装置和存储介质,用以解决现有技术中算力网络的数字二进制压缩传输效率低的问题,通过针对不同的数据类型和传输需求信息选择不同的压缩方式,对待传输数据进行擦除二进制位数或压缩连续位,在保证数据完整性和安全性的前提下,降低数据传输的开销、提高网络性能和二进制压缩传输效率以及优化资源利用,为高性能计算、分布式系统和云计算等领域带来更高的效率和竞争力。
2、本申请提供一种数据处理方法,应用于发送方,包括:
3
...【技术保护点】
1.一种数据处理方法,其特征在于,应用于发送方,包括:
2.根据权利要求1所述的数据处理方法,其特征在于,若所述数据类型为浮点数,所述压缩方式为有损压缩;基于所述压缩方式,擦除所述待传输数据的二进制数,并将所述压缩数据发送至接收方,包括:
3.根据权利要求1所述的数据处理方法,其特征在于,若所述数据类型为浮点数,所述压缩方式为无损压缩;基于所述压缩方式,擦除所述待传输数据的二进制数,并将所述压缩数据发送至接收方,包括:
4.根据权利要求1所述的数据处理方法,其特征在于,若所述数据类型为整数,所述压缩方式为有损压缩;基于所述压缩方式,
...【技术特征摘要】
1.一种数据处理方法,其特征在于,应用于发送方,包括:
2.根据权利要求1所述的数据处理方法,其特征在于,若所述数据类型为浮点数,所述压缩方式为有损压缩;基于所述压缩方式,擦除所述待传输数据的二进制数,并将所述压缩数据发送至接收方,包括:
3.根据权利要求1所述的数据处理方法,其特征在于,若所述数据类型为浮点数,所述压缩方式为无损压缩;基于所述压缩方式,擦除所述待传输数据的二进制数,并将所述压缩数据发送至接收方,包括:
4.根据权利要求1所述的数据处理方法,其特征在于,若所述数据类型为整数,所述压缩方式为有损压缩;基于所述压缩方式,压缩所述待传输数据的二进制数的连续位,并将所述压缩数据发送至接收方,包括:
5.根据权利要求1所述的数据处理方法,其特征在于,若所述数据类型为整数,所述压缩方式为无损压缩;基于所述压...
【专利技术属性】
技术研发人员:徐颜,沈林江,许俊东,仇树卿,
申请(专利权)人:浪潮通信信息系统有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。