一种基于文件破碎与重组的多链路并发传输方法和系统技术方案

本发明专利技术提供了一种基于文件破碎与重组的多链路并发传输方法和系统，该多链路并发传输方法和系统通过对不同碎片数据包进行哈希表标定处理，以对相应的碎片数据包进行缓存和查找，以便于将未可进行重组的碎片数据包进行寄存操作，从而保证后续重组处理的延续性和有效性，并且该多链路并发传输方法和系统还能够对处于空闲状态的传输链路进行传输复用，以使得多链路网络在同一时刻能够通过不同传输链路分别传输属于不同目标文件的碎片数据包，从而提高该多链路网络的数据传输效率以避免发生传输链路长时间闲置的情况。

A multi link concurrent transmission method and system based on file fragmentation and reorganization

【技术实现步骤摘要】
一种基于文件破碎与重组的多链路并发传输方法和系统
本专利技术涉及多链路网络数据传输的
，特别涉及一种基于文件破碎与重组的多链路并发传输方法和系统。
技术介绍
目前，在多链路网络中对文件进行多链路传输主要是将文件破碎分解为多个碎片数据包，再通过不同的传输链路分别将不同碎片数据包进行独立的传输，最终在所有碎片数据包都完成传输后，对所有碎片数据包进行重组以还原得到该文件。可见，该多链路网络能够有效地将大容量文件进行快速的传输，从而保证文件的传输效率。在实际传输过程中，由于系统需要等待所有碎片数据包都完成传输后才能进行后续的文件重组操作，但是多链路网络中不同传输链路的数据传输速度并不相同，这就导致在同一时间发送的碎片数据包并不能在同一时间完成传输，即不同碎片数据包不能实现同步完成传输的效果，这样会使得该多链路网络中的一部分传输链路处于数据传输的繁忙状态，而另一部分传输链路则处于非数据传输的空闲状态，从而严重地降低多链路网络的传输链路利用效率以及增加了碎片数据包进行传输重组的等待时间。
技术实现思路
针对现有技术存在的缺陷，本专利技术提供一种基于文件破碎与重组的多链路并发传输方法和系统，该基于文件破碎与重组的多链路并发传输方法和系统通过对目标文件进行破碎处理，以得到对应的若干碎片数据包，并将若干碎片数据包进行多链路并发传输，对若干碎片数据包进行哈希表标定，以实现对不同碎片数据包的缓存处理和/或查找处理，以及根据缓存处理的结果和/或查找处理的结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理，该多链路并发传输方法和系统通过对不同碎片数据包进行哈希表标定处理，以对相应的碎片数据包进行缓存和查找，以便于将未可进行重组的碎片数据包进行寄存操作，从而保证后续重组处理的延续性和有效性，并且该多链路并发传输方法和系统还能够对处于空闲状态的传输链路进行传输复用，以使得多链路网络在同一时刻能够通过不同传输链路分别传输属于不同目标文件的碎片数据包，从而提高该多链路网络的数据传输效率以避免发生传输链路长时间闲置的情况。可见，该基于文件破碎与重组的多链路并发传输方法和系统通过对碎片数据包进行标定缓存和查找处理，来保证不同目标文件对应的碎片数据包的重组延续性和有效性，并且还将不同传输链路进行数据传输复用切换，以避免该多链路网络长时间传输单一数据而造成传输链路闲置的情况。本专利技术提供一种基于文件破碎与重组的多链路并发传输方法，其特征在于，所述基于文件破碎与重组的多链路并发传输方法包括如下步骤：步骤S1，对目标文件进行破碎处理，以得到对应的若干碎片数据包，并将所述若干碎片数据包进行多链路并发传输；步骤S2，对所述若干碎片数据包进行哈希表标定，以实现对不同碎片数据包的缓存处理和/或查找处理；步骤S3，根据所述缓存处理的结果和/或所述查找处理的结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理；进一步，在所述步骤S1中，对目标文件进行破碎处理，以得到对应的若干碎片数据包，并将所述若干碎片数据包进行多链路并发传输具体包括，步骤S101，对所述目标文件进行关于预设破碎算法的破碎处理，以将所述目标文件破碎分解为所述若干碎片数据包；步骤S102，对所述若干碎片数据包进行统计处理，以获取每一个碎片数据包对应的属性信息；步骤S103，根据所述属性信息，对所述若干碎片数据包与多链路网络进行关于预设神经网络模型的学习处理，以确定每一个碎片数据包与所述多链路网络中每一个传输链路之间的匹配信息；步骤S104，根据所述匹配信息，将每一个碎片数据包匹配至相应的传输链路，以进行所述多链路并发传输；进一步，在所述步骤S2中，对所述若干碎片数据包进行哈希表标定，以实现对不同碎片数据包的缓存处理和/或查找处理具体包括，步骤S201，获取每一个碎片数据包对应的传输编号信息、传输顺序信息和传输起始时间信息中的至少一者，并以此对每一个碎片数据包进行哈希表标定，其中，对每一个碎片数据包进行哈希表标定具体是通过下面公式(A)计算每一个碎片数据包的哈希标定值hh＝s[0]·31L–1+…+s[L–3]·312+s[L–2]·311+s[L–1]·310(A)在上述公式(A)中，h为每一个碎片数据包的哈希标定值，s[0]、…s[L–3]、s[L–2]、s[L–1]为每一个碎片数据包作为哈希对象时字符对应的unicode值，L为所述哈希对象的长度；步骤S202，根据所述哈希表标定的结果，确定每一个碎片数据包对应的缓存位置信息和/或缓存时间信息；步骤S203，根据所述缓存位置信息和/或缓存时间信息，对每一个碎片数据包进行所述缓存处理和/或所述查找处理，其中，所述查找处理是通过通排序处理来实现的，所述通排序处理具体包括，先循环计算每一个碎片数据包中每一个关键字的桶映射函数，并根据所述通映射函数确定每一个碎片数据包对应的时间复杂度，再根据所述时间复杂度对所有碎片数据包卡进行通排序处理，以实现对每一个碎片数据包的查找处理；进一步，在所述步骤S3中，根据所述缓存处理的结果和/或所述查找处理的结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理具体包括，步骤S301，根据所述缓存处理的结果和/或所述查找处理的结果，确定不同碎片数据包相互之间的数据相关信息和/或每一碎片数据包对应的接收时间信息；步骤S302，根据所述数据相关信息和/或所述接收时间信息，判断所述目标文件对应的所有碎片数据包的传输完整性；步骤S303，根据所述传输完整性的判断结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理；进一步，在所述步骤S303中，根据所述传输完整性的判断结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理具体包括，步骤S3031，若所述判断结果指示所述目标文件对应的所有碎片数据包已传输完毕，则根据预设重组算法对所述所有碎片数据包进行重组处理；步骤S3032，若所述判断结果指示所述目标文件对应的所有碎片数据包未传输完毕，则将当前处于空闲状态的传输链路进行其他碎片数据包的传输，其中，对于当前处于空闲状态的传输链路进行其他碎片数据包的传输判定过程如下，假设i为所有传输链路对应的编号，i＝1、2、3、…、n，n为所有传输链路的总数量，根据下面公式(1)计算碎片数据包传输到编号为i的传输链路需要的最短等待处理时间WFiWFi＝max{ti1,ti2,…,tij}(1)在上述公式(1)中，tij为运行在编号为i的传输链路上的第j个进程所需要的时间，其中当j＝0时，WFi＝0，即当传输链路上没有传输进程时，最短等待处理时间为0；根据下面公式(2)，计算编号为i的传输链路的负载均衡程度wi，在上述公式(2)中，mi为编号为i的传输链路的总资源数，mij为运行在编号为本文档来自技高网...

【技术保护点】
1.一种基于文件破碎与重组的多链路并发传输方法，其特征在于，所述基于文件破碎与重组的多链路并发传输方法包括如下步骤：/n步骤S1，对目标文件进行破碎处理，以得到对应的若干碎片数据包，并将所述若干碎片数据包进行多链路并发传输；/n步骤S2，对所述若干碎片数据包进行哈希表标定，以实现对不同碎片数据包的缓存处理和/或查找处理；/n步骤S3，根据所述缓存处理的结果和/或所述查找处理的结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理。/n

【技术特征摘要】
1.一种基于文件破碎与重组的多链路并发传输方法，其特征在于，所述基于文件破碎与重组的多链路并发传输方法包括如下步骤：
步骤S1，对目标文件进行破碎处理，以得到对应的若干碎片数据包，并将所述若干碎片数据包进行多链路并发传输；
步骤S2，对所述若干碎片数据包进行哈希表标定，以实现对不同碎片数据包的缓存处理和/或查找处理；
步骤S3，根据所述缓存处理的结果和/或所述查找处理的结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理。


2.如权利要求1所述的基于文件破碎与重组的多链路并发传输方法，其特征在于：
在所述步骤S1中，对目标文件进行破碎处理，以得到对应的若干碎片数据包，并将所述若干碎片数据包进行多链路并发传输具体包括，
步骤S101，对所述目标文件进行关于预设破碎算法的破碎处理，以将所述目标文件破碎分解为所述若干碎片数据包；
步骤S102，对所述若干碎片数据包进行统计处理，以获取每一个碎片数据包对应的属性信息；
步骤S103，根据所述属性信息，对所述若干碎片数据包与多链路网络进行关于预设神经网络模型的学习处理，以确定每一个碎片数据包与所述多链路网络中每一个传输链路之间的匹配信息；
步骤S104，根据所述匹配信息，将每一个碎片数据包匹配至相应的传输链路，以进行所述多链路并发传输。


3.如权利要求1所述的基于文件破碎与重组的多链路并发传输方法，其特征在于：
在所述步骤S2中，对所述若干碎片数据包进行哈希表标定，以实现对不同碎片数据包的缓存处理和/或查找处理具体包括，
步骤S201，获取每一个碎片数据包对应的传输编号信息、传输顺序信息和传输起始时间信息中的至少一者，并以此对每一个碎片数据包进行哈希表标定，其中，对每一个碎片数据包进行哈希表标定具体是通过下面公式(A)计算每一个碎片数据包的哈希标定值h
h＝s[0]·31L–1+…+s[L–3]·312+s[L–2]·311+s[L–1]·310(A)
在上述公式(A)中，h为每一个碎片数据包的哈希标定值，s[0]、…s[L–3]、s[L–2]、s[L–1]为每一个碎片数据包作为哈希对象时字符对应的unicode值，L为所述哈希对象的长度；
步骤S202，根据所述哈希表标定的结果，确定每一个碎片数据包对应的缓存位置信息和/或缓存时间信息；
步骤S203，根据所述缓存位置信息和/或缓存时间信息，对每一个碎片数据包进行所述缓存处理和/或所述查找处理，
其中，所述查找处理是通过通排序处理来实现的，所述通排序处理具体包括，
先循环计算每一个碎片数据包中每一个关键字的桶映射函数，并根据所述通映射函数确定每一个碎片数据包对应的时间复杂度，再根据所述时间复杂度对所有碎片数据包卡进行通排序处理，以实现对每一个碎片数据包的查找处理。


4.如权利要求1所述的基于文件破碎与重组的多链路并发传输方法，其特征在于：
在所述步骤S3中，根据所述缓存处理的结果和/或所述查找处理的结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理具体包括，
步骤S301，根据所述缓存处理的结果和/或所述查找处理的结果，确定不同碎片数据包相互之间的数据相关信息和/或每一碎片数据包对应的接收时间信息；
步骤S302，根据所述数据相关信息和/或所述接收时间信息，判断所述目标文件对应的所有碎片数据包的传输完整性；
步骤S303，根据所述传输完整性的判断结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理。


5.如权利要求4所述的基于文件破碎与重组的多链路并发传输方法，其特征在于：
在所述步骤S303中，根据所述传输完整性的判断结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理具体包括，
步骤S3031，若所述判断结果指示所述目标文件对应的所有碎片数据包已传输完毕，则根据预设重组算法对所述所有碎片数据包进行重组处理；
步骤S3032，若所述判断结果指示所述目标文件对应的所有碎片数据包未传输完毕，则将当前处于空闲状态的传输链路进行其他碎片数据包的传输，其中，对于当前处于空闲状态的传输链路进行其他碎片数据包的传输判定过程如下，
假设i为所有传输链路对应的编号，i＝1、2、3、…、n，n为所有传输链路的总数量，根据下面公式(1)计算碎片数据包传输到编号为i的传输链路需要的最短等待处理时间WFi
WFi＝max{ti1,ti2,…,tij}(1)
在上述公式(1)中，tij为运行在编号为i的传输链路上的第j个进程所需要的时间，其中当j＝0时，WFi＝0，即当传输链路上没有传输进程时，最短等待处理时间为0；
根据下面公式(2)，计算编号为i的传输链路的负载均衡程度wi，



在上述公式(2)中，mi为编号为i的传输链路的总资源数，mij为运行在编号为i的传输链路的第j个进程占用的资源数，p为运行在编号为i的传输链路的总进程数...

【专利技术属性】
技术研发人员：张凯，郑应强，霍文阳，
申请(专利权)人：北京连山时代科技有限公司，
类型：发明
国别省市：北京;11