【技术实现步骤摘要】
一种大数据传输方法及系统
本专利技术属于大数据传输
,尤其涉及一种大数据传输方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息,不必然构成在先技术。随着网络带宽时延产品(BDP)的增加,通常的TCP协议变的低效。这是因为他的AIMD(additiveincreasemultiplicativedecrease)算法完全减少了TCP拥塞窗口,但不能快速的恢复可用带宽。理论上的流量分析表明TCP在BDP增加到很高的时候比较容易受包损失攻击。另外,继承自TCP拥塞控制制的不公平的RTT也成为在分布式数据密集程式中的严重问题。拥有不同RTT的并发TCP流将不公平地分享带宽。尽管在小的BDP网络中使用通常的TCP实现来相对平等的共享带宽,但在拥有大量BDP的网络中,通常的基于TCP的程式就必须承受严重的不公平的问题。这个RTT基于的算法严重的限制了其在广域网分布式计算的效率,例如:internet上的网格计算。一直到今天,对标准的TCP的提高一直都不能在高BDP环境中效率和公平性方面达到满意的程度 ...
【技术保护点】
1.一种大数据传输方法,其特征在于,包括以下步骤:/n发送端向接收端发送文件信息包,所述文件信息包中包括待发送文件的数据包数量和序号;/n发送端接收到接收端发送的确认接收反馈信息后,向接收端按序号依次发送数据包,并且,每发送一个数据包后,待接收到接收端发送的确认接收消息后发送下一个数据包,每个数据包均对应一个报文头,记录该数据包的序号,发送完成后,向接收端发送结束包;/n接收端接收到结束包后,根据接收到的数据包的报文头和文件信息包,确认是否存在未接受的数据包,若存在,向发送端发送补包请求。/n
【技术特征摘要】
1.一种大数据传输方法,其特征在于,包括以下步骤:
发送端向接收端发送文件信息包,所述文件信息包中包括待发送文件的数据包数量和序号;
发送端接收到接收端发送的确认接收反馈信息后,向接收端按序号依次发送数据包,并且,每发送一个数据包后,待接收到接收端发送的确认接收消息后发送下一个数据包,每个数据包均对应一个报文头,记录该数据包的序号,发送完成后,向接收端发送结束包;
接收端接收到结束包后,根据接收到的数据包的报文头和文件信息包,确认是否存在未接受的数据包,若存在,向发送端发送补包请求。
2.如权利要求1所述的一种大数据传输方法,其特征在于,各数据包相应的报文头还记录该数据包的数据大小,以及在待发送文件中的位置信息;接收端将接收到的数据包根据所述位置信息和大小还原文件。
3.如权利要求1所述的一种大数据传输方法,其特征在于,所述发送端维护协议数据区;发送端接收到接收端发送的确认接收反馈信息后,读取待发送文件的各数据包,按序号写入协议数据区,同时,读取各数据包相应的数据大小和在待发送文件中的位置信息,写入各数据包相应的报文头;将所述协议数据区所对应的数据包作为一个分组,将该分组内的数据包按序号依次向接收端传送。
4.如权利要求3所述的一种大数据传输方法,其特征在于,若待发送文件的数据包数量大于协议数据区所能容纳的数据包数量,超出的数据包将待当前分组的数据包发送完毕后,写入下一个分组进行发送。
5.如权利要求3所述的一种大数据传输方法,其特征在于,所述接收端维护动态数组,且所述动态数组的长度与协议数据区所能容纳的数据包数量一致;接收方将接收到的数据包,根据相应报文头中的位置信息和数据大小写入文件相应位置,并将该数据包的序号记录入动态数组。
6.如权利要求1所述的一种大数据传输方法,其特征在于,发送端和接收端均维护自动重发定时器;发送端/接收端每一次发送信息后,均启动相应的自动重发定时器,若设定时间间隔内未收到对端的信息,则将本次发送的信息进行重发,且重发次数加1,定时器归零重新计时;若在重发次数达到设定上限之前收到对端信息,则停止该自动重发定时器,重发次数归零;若重发次数达到上限仍未接收到对端的信息,则传输路径...
【专利技术属性】
技术研发人员:张中华,欧钰鹏,吕书万,金明林,刘晓涵,
申请(专利权)人:济南慧天云海信息技术有限公司,
类型:发明
国别省市:山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。