本申请涉及计算机技术领域，提供一种数据处理方法、装置和存储介质，该方法包括：基于算力网络中待传输数据的数据类型和传输需求信息，确定待传输数据的压缩方式；基于压缩方式，擦除待传输数据的二进制数或者压缩待传输数据的二进制数的连续位，并将压缩数据发送至接收方。本申请针对不同的数据类型和传输需求信息选择不同的压缩方式，对待传输数据进行擦除二进制位数或压缩连续位，在保证数据完整性和安全性的前提下，降低数据传输的开销、提高网络性能和二进制压缩传输效率以及优化资源利用，为高性能计算、分布式系统和云计算等领域带来更高的效率和竞争力。
【技术实现步骤摘要】
本申请涉及计算机，尤其涉及一种数据处理方法、装置和存储介质。
技术介绍
1、在算力网络中，涉及到大量的计算任务、分布式系统和云计算应用，这些任务需要在不同节点之间传输大量的数据，包括输入、中间结果和输出。传输大量数据会导致多个问题，如带宽瓶颈、传输延迟、资源浪费以及数据安全等。目前，大量的数字信息以二进制的形式被传输，有效的二进制压缩算法可以通过减小数据的体积，解决或缓解上述问题。然而，算力网络现有数字二进制压缩传输的效率低。
技术实现思路
1、本申请提供一种数据处理方法、装置和存储介质，用以解决现有技术中算力网络的数字二进制压缩传输效率低的问题，通过针对不同的数据类型和传输需求信息选择不同的压缩方式，对待传输数据进行擦除二进制位数或压缩连续位，在保证数据完整性和安全性的前提下，降低数据传输的开销、提高网络性能和二进制压缩传输效率以及优化资源利用，为高性能计算、分布式系统和云计算等领域带来更高的效率和竞争力。
2、本申请提供一种数据处理方法，应用于发送方，包括：
3、基于算力网络中待传输数据的数据类型和传输需求信息，确定所述待传输数据的压缩方式；
4、基于所述压缩方式，擦除所述待传输数据的二进制数或者压缩所述待传输数据的二进制数的连续位，并将压缩数据发送至接收方。
5、根据本申请提供的一种数据处理方法，若所述数据类型为浮点数，所述压缩方式为有损压缩；基于所述压缩方式，擦除所述待传输数据的二进制数，并将所述压缩数据发送至接收方，包括：</p>6、基于第一传输误差，确定所述待传输数据的二进制数的第一有效小数位；
7、基于所述第一有效小数位，擦除所述待传输数据的二进制数，得到第一传输数据；
8、基于所述第一传输数据的二进制数中小数点的位置，将所述第一传输数据的二进制数划分为第一整数数据和第一小数数据；
9、将所述第一整数数据和所述第一小数数据，依次发送至所述接收方。
10、根据本申请提供的一种数据处理方法，若所述数据类型为浮点数，所述压缩方式为无损压缩；基于所述压缩方式，擦除所述待传输数据的二进制数，并将所述压缩数据发送至接收方，包括：
11、基于第二传输误差，确定所述待传输数据的二进制数的第二有效小数位；所述第二传输误差是基于所述待传输数据的十进制数的有效小数位确定的；
12、基于所述第二有效小数位，擦除所述待传输数据的二进制数，得到第二传输数据；
13、基于所述第二传输数据的二进制数中小数点的位置，将所述第二传输数据的二进制数划分为第二整数数据和第二小数数据；
14、将所述第二整数数据和所述第二小数数据，依次发送至所述接收方。
15、根据本申请提供的一种数据处理方法，若所述数据类型为整数，所述压缩方式为有损压缩；基于所述压缩方式，压缩所述待传输数据的二进制数的连续位，并将所述压缩数据发送至接收方，包括：
16、基于第三传输误差，确定所述待传输数据的二进制数的第一压缩位数；
17、基于所述第一压缩位数，确定第三传输数据；
18、基于所述第一压缩位数，将所述第三传输数据的二进制数划分为前缀数据和后缀数据；
19、压缩所述后缀数据，得到所述第一压缩位数的二进制表示，并将所述前缀数据和所述第一压缩位数的二进制数，依次发送至所述接收方。
20、根据本申请提供的一种数据处理方法，若所述数据类型为整数，所述压缩方式为无损压缩；基于所述压缩方式，压缩所述待传输数据的二进制数的连续位，并将所述压缩数据发送至接收方，包括：
21、基于所述待传输数据的二进制数中各数值连续出现的数量，确定待压缩二进制数；所述待压缩二进制数表征连续出现数量最多的二进制数；
22、压缩所述待压缩二进制数，得到所述待压缩二进制数的第二压缩位数的二进制表示；
23、将所述第二压缩位数的二进制数、所述待压缩二进制数的压缩标识以及所述待传输数据中的非连续二进制数，依次发送至所述接收方。
24、本申请提供一种数据处理方法，应用于接收方，包括：
25、接收发送方发送的压缩数据；
26、基于待传输数据的数据类型和压缩方式，确定所述压缩数据的解压方式；
27、基于所述解压方式，对所述压缩数据进行解压。
28、根据本申请提供的一种数据处理方法，若所述数据类型为浮点数，所述压缩方式为有损压缩；所述基于所述解压方式，对所述压缩数据进行解压，包括：
29、将所述压缩数据中的第一整数数据和第一小数数据转换为十进制数，得到第一解压数据，所述第一解压数据与所述待传输数据的误差小于第一传输误差；
30、若所述数据类型为浮点数，所述压缩方式为无损压缩；所述基于所述解压方式，对所述压缩数据进行解压，包括：
31、将所述压缩数据中的第二整数数据和第二小数数据转换为十进制数，得到第二解压数据，所述第二解压数据与第二传输误差的和值为所述待传输数据。
32、根据本申请提供的一种数据处理方法，若所述数据类型为整数，所述压缩方式为有损压缩；所述基于所述解压方式，对所述压缩数据进行解压，包括：
33、对所述压缩数据中的后缀数据进行解压，以获取第一压缩位数的十进制数；所述第一压缩位数的十进制数表征所述后缀数据中被压缩的二进制数的数量；
34、基于所述第一压缩位数的十进制数，恢复所述后缀数据；
35、将所述压缩数据中的前缀数据和所述后缀数据转换为十进制数，得到第三解压数据，所述第三解压数据与所述待传输数据的误差小于第三传输误差；
36、若所述数据类型为整数，所述压缩方式为无损压缩；所述基于所述解压方式，对所述压缩数据进行解压，包括：
37、基于压缩标识，对所述压缩数据中的待压缩二进制数进行解压，以获取第二压缩位数的十进制数；所述第二压缩位数的十进制数表征所述待压缩二进制数中被压缩的二进制数的数量；
38、基于所述第二压缩位数的十进制数，恢复所述待压缩二进制数；
39、将所述待传输数据中的非连续二进制数和所述待压缩二进制数转换为十进制数，得到所述待传输数据。
40、本申请提供一种数据处理装置，包括转换器、擦除器、压缩器和解压器；
41、所述转换器，用于对发送方或接收方的数据进行进制转换；
42、所述擦除器，用于对待传输数据进行擦除；
43、所述压缩器，用于对待传输数据进行压缩；
44、所述解压器，用于对压缩数据进行解压。
45、本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数据处理方法。
46、本申请提供的数据处理方法、装置和存储介质，通过基于算力网络中待传输数据的数据类型和传输需求信息，确定待传输数据的压缩方式；基于压缩本文档来自技高网
...
【技术保护点】
1.一种数据处理方法，其特征在于，应用于发送方，包括：
2.根据权利要求1所述的数据处理方法，其特征在于，若所述数据类型为浮点数，所述压缩方式为有损压缩；基于所述压缩方式，擦除所述待传输数据的二进制数，并将所述压缩数据发送至接收方，包括：
3.根据权利要求1所述的数据处理方法，其特征在于，若所述数据类型为浮点数，所述压缩方式为无损压缩；基于所述压缩方式，擦除所述待传输数据的二进制数，并将所述压缩数据发送至接收方，包括：
4.根据权利要求1所述的数据处理方法，其特征在于，若所述数据类型为整数，所述压缩方式为有损压缩；基于所述压缩方式，压缩所述待传输数据的二进制数的连续位，并将所述压缩数据发送至接收方，包括：
5.根据权利要求1所述的数据处理方法，其特征在于，若所述数据类型为整数，所述压缩方式为无损压缩；基于所述压缩方式，压缩所述待传输数据的二进制数的连续位，并将所述压缩数据发送至接收方，包括：
6.一种数据处理方法，其特征在于，应用于接收方，包括：
7.根据权利要求6所述的数据处理方法，其特征在于，若所述数据类型为浮点数，所述压缩方式为有损压缩；所述基于所述解压方式，对所述压缩数据进行解压，包括：
8.根据权利要求6所述的数据处理方法，其特征在于，若所述数据类型为整数，所述压缩方式为有损压缩；所述基于所述解压方式，对所述压缩数据进行解压，包括：
9.一种数据处理装置，其特征在于，应用于权利要求1至8中任一项所述的数据处理方法，包括转换器、擦除器、压缩器和解压器；
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述数据处理方法。
...
【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于发送方，包括：
2.根据权利要求1所述的数据处理方法，其特征在于，若所述数据类型为浮点数，所述压缩方式为有损压缩；基于所述压缩方式，擦除所述待传输数据的二进制数，并将所述压缩数据发送至接收方，包括：
3.根据权利要求1所述的数据处理方法，其特征在于，若所述数据类型为浮点数，所述压缩方式为无损压缩；基于所述压缩方式，擦除所述待传输数据的二进制数，并将所述压缩数据发送至接收方，包括：
4.根据权利要求1所述的数据处理方法，其特征在于，若所述数据类型为整数，所述压缩方式为有损压缩；基于所述压缩方式，压缩所述待传输数据的二进制数的连续位，并将所述压缩数据发送至接收方，包括：
5.根据权利要求1所述的数据处理方法，其特征在于，若所述数据类型为整数，所述压缩方式为无损压缩；基于所述压...
【专利技术属性】
技术研发人员：徐颜，沈林江，许俊东，仇树卿，
申请(专利权)人：浪潮通信信息系统有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。