【技术实现步骤摘要】
本专利技术涉及数据传输，尤其涉及一种数据传输方法、数据传输装置和数据传输系统。
技术介绍
1、随着计算机技术的发展，计算机需要处理的数据越来越大。在数据传输过程中，如果计算机传输的数据比较大，数据传输的时间则越长。因此，如何提高计算机的数据传输速度是目前亟需解决的问题。
技术实现思路
1、为了解决上述的问题，本申请的实施例中提供了一种数据传输方法，发送端将目标文件的数据分割成多个数据段。发送端与接收端之间建立多个数据传输链路。发送端与接收端之间进行数据传输时，发送端利用流式压缩技术，每个数据传输链路一边读取数据段，一边对读取的数据实时压缩，得到压缩数据流。发送端实时地发送压缩数据流。接收端利用流式解压技术，一边接收压缩数据流，一边对压缩数据流解压，得到原始数据。接收端根据每个数据传输链路传输的数据段在存储器中的存储位置，实时地将各个数据传输链路中的原始数据写入存储器中。本申请将目标文件的数据分段，各个数据段并行传输，可以提高数据传输效率。另外，各个数据传输链路通过对读取的数据实时压缩并进行传输，不仅降低了数据传输总量，而且不需要额外的存储器存储压缩包，降低了硬件成本。
2、为此，本申请的实施例中采用如下技术方案：
3、第一方面，本申请提供了一种数据传输方法，方法由发送端执行，包括：接收接收端发送的数据传输请求指令，数据传输请求指令携带有目标文件的标识；根据目标文件的标识，确定目标文件，并将目标文件的数据分割成n个数据段数据段，n为大于1的正整数；向接收端发送
4、在一种实施方式中，在接收n个数据传输链路发送的数据段存储请求指令之前，还包括：发送端根据数据段的数量，配置n个子处理器，发送端包括处理器，处理器配置n个子处理器，子处理器用于读取数据段的数据，并压缩读取出的数据。
5、在一种实施方式中，将目标文件分割成n个数据段，具体包括：确定目标文件的数据长度，将目标文件的数据均分成n个数据段。
6、在一种实施方式中，将目标文件分割成n个数据段，具体包括：根据发送端与接收端之间的通信带宽，确定发送端与接收端之间的通信通道的数量；根据通信通道的数量，确定目标文件的数据分割成数据段的数量。
7、在一种实施方式中，利用流式压缩算法，读取各个数据段并压缩读取出的数据，得到压缩数据流，具体包括：第一子处理器接收到第一数据段存储请求指令后，读取出第一数据段的数据，n个子处理器包括第一子处理器，n个数据段包括第一数据段，n个数据传输链路包括第一数据传输链路，第一数据段存储请求指令为第一数据传输链路传输的数据段存储请求指令；当第一子处理器读取出第一数据段的设定长度的数据后，将设定长度的数据进行压缩，得到第一压缩数据流，设定长度小于第一数据段的长度。
8、在一种实施方式中，还包括：检测发送端与接收端之间的通信带宽；当通信带宽小于第一设定阈值时，减少发送端的子处理器的数量，第一设定阈值为分配n个通信通道的通信带宽。
9、在一种实施方式中，还包括：向接收端发送第一反馈指令，第一反馈指令指示接收端减少建立数据传输链路的数量。
10、在一种实施方式中，还包括：检测发送端中的处理器的算力；当处理器的算力大于第二设定阈值时，减少发送端的子处理器的数量，第二设定阈值为处理器的算力不能配置n个子处理器的最小算力。
11、在一种实施方式中，还包括：向接收端发送第二反馈指令，第二反馈指令指示接收端减少配置子处理器的数量。
12、第二方面，本申请提供了一种数据传输方法，方法由接收端执行，包括：向发送端发送数据传输请求指令，数据传输请求指令指示发送端将目标文件的数据分割成n个数据段，n为大于1的正整数；接收发送端发送的分段信息，分段信息包括目标文件的数据长度、数据段的数量、各个数据段的数据长度和各个数据段的偏移量；根据数据段的数量，建立n个数据传输链路；通过n个数据传输链路向发送端发送数据段存储请求指令，数据段存储请求指令指示发送端读取并发送n个数据段；接收发送端通过n个数据传输链路发送的压缩数据流；利用流式解压算法，对压缩数据流进行解压，并将每个数据传输链路传输的数据存储在目标存储空间中的设定存储位置中。
13、在一种实施方式中，根据数据段的数量，建立n个数据传输链路，具体包括：接收端根据数据段的数量，配置n个子处理器，接收端包括处理器，处理器配置n个子处理器，子处理器用于对压缩数据流进行解压，并将解压后的数据写入目标存储空间中的设定存储位置中。
14、在一种实施方式中，利用流式解压算法，对压缩数据流进行解压，并将每个数据传输链路传输的数据存储在设定的存储位置中，具体包括：根据目标文件的数据长度，在存储器中确定存储目标文件的目标存储空间；根据各个数据段的数据长度和各个数据段的偏移量，确定各个数据段在目标存储空间中的存储位置；当第二子处理器通过第二数据传输链路接收到第二数据段的第二压缩数据流后，对第二压缩数据流进行解压，得到原始数据；n个子处理器包括第二子处理器，n个数据传输链路包括第二数据传输链路，n个数据段包括第二数据段，第二压缩数据流为发送端对读取设定长度的第二数据段进行压缩得到的压缩数据流，原始数据为发送端读取设定长度的第二数据段，原始数据的长度小于第二数据段的长度；第二子处理器将原始数据写入第二数据段的存储空间中，目标存储空间包括第二数据段的存储空间。
15、在一种实施方式中，还包括：检测接收端与发送端之间的通信带宽；当通信带宽小于第一设定阈值时，减少接收端的子处理器的数量，第一设定阈值为分配n个通信通道的通信带宽。
16、在一种实施方式中，还包括：向发送端发送第一反馈指令，第一反馈指令指示发送端减少配置子处理器的数量。
17、在一种实施方式中，还包括：检测接收端中的处理器的算力；当处理器的算力大于第二设定阈值时，减少接收端的子处理器的数量，第二设定阈值为处理器的算力不能配置n个子处理器的最小算力。
18、在一种实施方式中，还包括：向发送端发送第二反馈指令，第二反馈指令指示发送端减少配置子处理器的数量。
19、第三方面，本申请提供了一种数据传输装置，包括：收发器，用于接收接收端发送的数据传输请求指令，数据传输请求指令携带有目标文件的标识；处理器，用于根据目标文件的标识，确定目标文件，并将目标文件的数据分割成n个数据段数据段，n为大于1的正整数；收发器，还用于向接收端发送分段信息，分段信息包括目标文件的数本文档来自技高网...
【技术保护点】
1.一种数据传输方法，其特征在于，所述方法由发送端执行，包括：
2.根据权利要求1所述的方法，其特征在于，在所述接收N个数据传输链路发送的数据段存储请求指令之前，还包括：
3.根据权利要求1或2任意一项所述的方法，其特征在于，所述将所述目标文件分割成N个数据段，具体包括：
4.根据权利要求1或2任意一项所述的方法，其特征在于，所述将所述目标文件分割成N个数据段，具体包括：
5.根据权利要求2-4任意一项所述的方法，其特征在于，所述利用流式压缩算法，读取所述各个数据段并压缩读取出的数据，得到压缩数据流，具体包括：
6.根据权利要求1-5任意一项所述的方法，其特征在于，还包括：
7.根据权利要求6所述的方法，其特征在于，还包括：
8.根据权利要求1-7任意一项所述的方法，其特征在于，还包括：
9.根据权利要求8所述的方法，其特征在于，还包括：
10.一种数据传输方法，其特征在于，所述方法由接收端执行，包括：
11.根据权利要求9所述的方法，其特征在于，所述根据所述数
12.根据权利要求10或11任意一项所述的方法，其特征在于，所述利用流式解压算法，对所述压缩数据流进行解压，并将每个数据传输链路传输的数据存储在设定的存储位置中，具体包括：
13.根据权利要求10-12任意一项所述的方法，其特征在于，还包括：
14.根据权利要求13所述的方法，其特征在于，还包括：
15.根据权利要求10-14任意一项所述的方法，其特征在于，还包括：
16.根据权利要求15所述的方法，其特征在于，还包括：
17.一种数据传输装置，其特征在于，包括：
18.根据权利要求17所述的装置，其特征在于，所述处理器，还用于根据所述数据段的数量，配置N个子处理器，所述子处理器用于读取数据段的数据，并压缩读取出的数据。
19.根据权利要求17或18任意一项所述的装置，其特征在于，所述处理器，具体用于确定所述目标文件的数据长度，将所述目标文件的数据均分成所述N个数据段。
20.根据权利要求17或18任意一项所述的装置，其特征在于，所述处理器，具体用于根据所述发送端与所述接收端之间的通信带宽，确定所述发送端与所述接收端之间的通信通道的数量；以及
21.根据权利要求18-20任意一项所述的装置，其特征在于，所述处理器，具体用于第一子处理器接收到第一数据段存储请求指令后，读取出第一数据段的数据，所述N个子处理器包括所述第一子处理器，所述N个数据段包括所述第一数据段，所述N个数据传输链路包括第一数据传输链路，所述第一数据段存储请求指令为所述第一数据传输链路传输的数据段存储请求指令；以及
22.根据权利要求17-21任意一项所述的装置，其特征在于，所述处理器，还用于检测所述发送端与所述接收端之间的通信带宽；以及
23.根据权利要求22所述的装置，其特征在于，所述收发器，还用于向所述接收端发送第一反馈指令，所述第一反馈指令指示所述接收端减少建立数据传输链路的数量。
24.根据权利要求17-23任意一项所述的装置，其特征在于，所述处理器，还用于检测所述发送端中的处理器的算力；以及
25.根据权利要求24所述的装置，其特征在于，所述收发器，还用于向所述接收端发送第二反馈指令，所述第二反馈指令指示所述接收端减少配置子处理器的数量。
26.一种数据传输装置，其特征在于，包括：
27.根据权利要求26所述的装置，其特征在于，所述处理器，还用于根据所述数据段的数量，配置N个子处理器，所述子处理器用于对压缩数据流进行解压，并将解压后的数据写入所述目标存储空间中的设定存储位置中。
28.根据权利要求26或27任意一项所述的装置，其特征在于，所述处理器，具体用于根据所述目标文件的数据长度，在存储器中确定存储所述目标文件的所述目标存储空间；
29.根据权利要求26-28任意一项所述的装置，其特征在于，所述处理器，还用于检测所述接收端与所述发送端之间的通信带宽；以及
30.根据权利要求29所述的装置，其特征在于，所述收发器，还用于向所述发送端发送第一反馈指令，所述第一反馈指令指示所述发送端减少配置子处理器的数量。
31.根据权利要求26-30任意一项所述的装置，其特征在于，所述处理器，还用于检测所述接收端中的处理器的算力；以及
32.根据权利要求31所述的装置，其特征在于，所述收发器，还...
【技术特征摘要】
1.一种数据传输方法，其特征在于，所述方法由发送端执行，包括：
2.根据权利要求1所述的方法，其特征在于，在所述接收n个数据传输链路发送的数据段存储请求指令之前，还包括：
3.根据权利要求1或2任意一项所述的方法，其特征在于，所述将所述目标文件分割成n个数据段，具体包括：
4.根据权利要求1或2任意一项所述的方法，其特征在于，所述将所述目标文件分割成n个数据段，具体包括：
5.根据权利要求2-4任意一项所述的方法，其特征在于，所述利用流式压缩算法，读取所述各个数据段并压缩读取出的数据，得到压缩数据流，具体包括：
6.根据权利要求1-5任意一项所述的方法，其特征在于，还包括：
7.根据权利要求6所述的方法，其特征在于，还包括：
8.根据权利要求1-7任意一项所述的方法，其特征在于，还包括：
9.根据权利要求8所述的方法，其特征在于，还包括：
10.一种数据传输方法，其特征在于，所述方法由接收端执行，包括：
11.根据权利要求9所述的方法，其特征在于，所述根据所述数据段的数量，建立n个数据传输链路，具体包括：
12.根据权利要求10或11任意一项所述的方法，其特征在于，所述利用流式解压算法，对所述压缩数据流进行解压，并将每个数据传输链路传输的数据存储在设定的存储位置中，具体包括：
13.根据权利要求10-12任意一项所述的方法，其特征在于，还包括：
14.根据权利要求13所述的方法，其特征在于，还包括：
15.根据权利要求10-14任意一项所述的方法，其特征在于，还包括：
16.根据权利要求15所述的方法，其特征在于，还包括：
17.一种数据传输装置，其特征在于，包括：
18.根据权利要求17所述的装置，其特征在于，所述处理器，还用于根据所述数据段的数量，配置n个子处理器，所述子处理器用于读取数据段的数据，并压缩读取出的数据。
19.根据权利要求17或18任意一项所述的装置，其特征在于，所述处理器，具体用于确定所述目标文件的数据长度，将所述目标文件的数据均分成所述n个数据段。
20.根据权利要求17或18任意一项所述的装置，其特征在于，所述处理器，具体用于根据所述发送端与所述接收端之间的通信带宽，确定所述发送端与所述接收端之间的通信通道的数量；以及
21.根据权利要求18-20任意一项所述的装置，其特征在于，所述处理器，具体用于第一子处理器接收到第一数据段...
【专利技术属性】
技术研发人员：屈俊平，张磊强，杨奕，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。