数据文件的传输方法及装置制造方法及图纸

本发明专利技术实施例提供一种数据文件的传输方法及装置，涉及通信技术领域，包括：接收端创建至少两个下载线程，并启动所有所述下载线程进行并发下载，每个所述下载线程从发送端独立下载各自对应的任务队列中的分块数据，并将下载的分块数据写入缓冲队列；所述接收端同时启动一个并行单线程，所述并行单线程依次获取缓冲队列中编号为i的分块数据，并对所述编号为i的分块数据进行满足有序迭代性的数据完整性校验，得到编号为i的分块数据和之前的所有分块数据有序组合后的数据完整性校验值；接收端将所述编号为i的分块数据写入目标文件。本发明专利技术实施例提高了单个大数据文件的传输速度，缩短了单个大数据文件的可靠传输时间，提高了网络带宽的利用率。

【技术实现步骤摘要】
数据文件的传输方法及装置
本专利技术涉及通信
，尤其涉及一种数据文件的传输方法及装置。
技术介绍
目前，在互联网环境下传输大数据文件的实现过程如下：发送方执行如下：步骤1)将大文件分成若干数据包；步骤2)为所述大文件和每个数据包分配标识；步骤3)判断数据包是否全部发送完，若没有发送完，执行步骤4)；若发送完，结束发送；步骤4)以数据包为单位向接收方发送数据；步骤5)若接收方返回的结果为正确接收，执行步骤3)，否则执行步骤4)。接收方执行如下：步骤1’)正确接收到发送方发送的数据后向发送方返回正确接收，否则返回错误；步骤2’)全部数据包都正确接收完毕后根据所述文件和数据包的标识将所有数据包重组成所述大文件。然而，在采用上述方法传输单个大数据文件时，一方面，由于主要采用单线程发送方式，因而造成单个大数据文件的传输速度较慢。另一方面，对单个大数据文件的完整性校验，通常在该大数据文件下载完成之后进行，因而，造成单个大数据文件在进行可靠传输时需要的时间较长，资源开销较大，进而造成网络带宽的利用率较低。
技术实现思路
本专利技术的实施例提供了一种数据文件的传输方法及装置，提高了单个大数据文件的本文档来自技高网...

【技术保护点】
一种数据文件的传输方法，其特征在于，包括：发送端将单个大数据文件进行分块，并为每个分块数据按顺序进行编号；所述发送端向接收端的至少两个下载线程同时发送所述至少两个下载线程各自对应的分块数据。

【技术特征摘要】
1.一种长宽网络(LongFatNetworks)环境下大数据文件的传输方法，其特征在于，包括：接收端创建至少两个下载线程，每个下载线程对应一个任务队列，每个所述任务队列与单个大数据文件中不同编号的分块数据相映射，所有所述任务队列中映射的分块数据组合后为所述单个大数据文件；所述接收端启动所有所述下载线程进行并发下载，每个所述下载线程从发送端独立下载各自对应的任务队列中的分块数据，并将下载的分块数据写入缓冲队列；所述接收端同时启动一个并行单线程，所述并行单线程依次获取缓冲队列中编号为i的分块数据，并对所述编号为i的分块数据进行满足有序迭代性的数据完整性校验，得到编号为i的分块数据和之前的所有分块数据有序组合后的数据完整性校验值，所述i的取值顺序为根据分块编号从小到大的顺序；所述接收端将所述编号为i的分块数据写入目标文件，并将所述编号为i的分块数据从所述缓冲队列中删除。2.根据权利要求1所述的方法，其特征在于，所述对所述编号为i的分块数据进行满足有序迭代性的数据完整性校验，得到编号为i的分块数据和之前的所有分块数据有序组合后的数据完整性校验值具体为：根据f(i)＝f(i-1)->h(Block(i))对所述编号为i的分块数据进行满足有序迭代性的数据完整性校验，得到编号为i的分块数据和之前的所有分块数据有序组合后的数据完整性校验值，其中，所述f(i)为编号为i的分块数据和之前的所有分块数据有序组合后的数据完整性校验值，即f(i)＝g(Block0+Block1…Block(i))，Block0为编号为0的分块数据，Block1为编号为1的分块数据，Block(i)为编号为i的分块数据，g表示校验算法，h表示叠加算法，f(i-1)->h(Block(i))表示在f(i-1)的值上以编号为i的分块数据为参数执行h算法。3.根据权利要求1所述的方法，其特征在于，所述接收端按照FTP协议...

【专利技术属性】
技术研发人员：史军，李皓，黄卓满，宋士伟，王冬生，赵威，邹永，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：