【技术实现步骤摘要】
以目的地分析和数据去重实现数据传输优化的方法和系统
本专利技术一般地涉及数据传输,具体地说,涉及通过目的地分析和数据去重实现数据传输优化。
技术介绍
跨慢速或拥挤的连接传输大量数据是一个普遍的难题。如果数据传输要求的增长超过带宽的增长,则此难题将继续存在或甚至更糟。
技术实现思路
根据本专利技术的一个方面,提供一种用于在从源节点到目的地节点且通过至少两个中间节点的节点链上传输被请求数据的方法。所述方法包括在文件系统级别,在所述至少两个中间节点中的每个节点处,标识先前发送到所述节点链中的后续节点或先前从所述节点链中的后续节点接收的与所述被请求数据的至少一部分匹配的在先数据。所述方法还包括当所述在先数据与所述被请求数据的所述至少一部分匹配时,将指向所述在先数据的至少一个指针和重构方案(recipe)传输到所述后续节点,所述重构方案用于至少基于所述至少一个指针而在所述后续节点处重构所述被请求数据。所述方法还包括将所述被请求数据的先前未发送到所述后续节点或未由所述后续节点接收的其它部分传输到所述后续节点。根据本专利技术的另一个方面,提供一种用于在从源节点到目的地节点且通过至少两个中间节点的节点链上传输被请求数据的系统。所述系统包括匹配数据部分标识器,其用于在文件系统级别,在所述至少两个中间节点中的每个节点处,标识先前发送到所述节点链中的后续节点或先前从所述节点链中的后续节点接收的与所述被请求数据的至少一部分匹配的在先数据。所述系统还包括传输设备,其用于当所述在先数据与所述被请求数据的所述至少一部分匹配时,将指向所述在先数据的至少一个指针和重构方案传输到所述后续节点,所 ...
【技术保护点】
一种用于在从源节点到目的地节点且通过至少两个中间节点的节点链上传输被请求数据的方法,所述方法包括:在文件系统级别,在所述至少两个中间节点中的每个节点处,标识先前发送到所述节点链中的后续节点或先前从所述节点链中的后续节点接收的与所述被请求数据的至少一部分匹配的在先数据;当所述在先数据与所述被请求数据的所述至少一部分匹配时,将指向所述在先数据的至少一个指针和重构方案传输到所述后续节点,所述重构方案用于至少基于所述至少一个指针而在所述后续节点处重构所述被请求数据;以及将所述被请求数据的先前未发送到所述后续节点或未由所述后续节点接收的其它部分传输到所述后续节点。
【技术特征摘要】
2012.08.14 US 13/585,1231.一种用于在从源节点到目的地节点且通过至少两个中间节点的节点链上传输被请求数据的方法,所述方法包括:在文件系统级别,在所述至少两个中间节点中的每个节点处,标识先前发送到所述节点链中的后续节点或先前从所述节点链中的后续节点接收的与所述被请求数据的至少一部分匹配的在先数据;当所述在先数据与所述被请求数据的所述至少一部分匹配时,将指向所述在先数据的至少一个指针和重构方案传输到所述后续节点,所述重构方案用于至少基于所述至少一个指针而在所述后续节点处重构所述被请求数据;以及将所述被请求数据的先前未发送到所述后续节点或未由所述后续节点接收的其它部分传输到所述后续节点。2.根据权利要求1的方法,其中所述标识先前发送到所述节点链中的后续节点或先前从所述节点链中的后续节点接收的与所述被请求数据的至少一部分匹配的在先数据包含在非传输层处标识与所述被请求数据的所述至少一部分匹配的所述在先数据。3.根据权利要求1的方法,其中所述文件系统级别处于字节级别。4.根据权利要求1的方法,其中所述数据传输方法还包括由所述至少两个中间节点中的至少每个节点执行以下操作:在多个分块级别对文件进行分块;在所述多个分块级别中的每个级别处,生成用于在所述后续节点处重构所述文件的相应重构方案以及用于存储所述文件的块的相应块存档;以及将与所述多个分块级别中的至少一个级别对应的所述重构方案和所述块存档传输到所述后续节点,其中所述文件包括在所述先前发送到所述节点链中的后续节点或先前从所述节点链中的后续节点接收的与所述被请求数据的至少一部分匹配的在先数据中。5.根据权利要求4的方法,其中所述生成步骤包括:生成多个重构方案和多个块存档;以及选择所述多个重构方案中的一个给定重构方案和与该给定重构方案对应的所述多个块存档中的一个给定块存档,该给定重构方案和该给定块存档导致在所述节点链上传输最少量的数据。6.根据权利要求4的方法,其中所述后续节点是所述节点链中的下一非目的地节点。7.根据权利要求4的方法,其中所述后续节点是所述目的地节点。8.根据权利要求1的方法,其中所述标识先前发送到所述节点链中的后续节点或先前从所述节点链中的后续节点接收的与所述被请求数据的至少一部分匹配的在先数据、所述将指向所述在先数据的至少一个指针和重构方案传输到所述后续节点和所述将所述被请求数据的先前未发送到所述后续节点或未由所述后续节点接收的其它部分传输到所述后续节点,被限于仅由所述至少两个中间节点中的一个节点在慢速连接的每一侧执行,所述慢速连接具有小于预定阈值的数据传输速率。9.根据权利要求1的方法,还包括在所述至少两个中间节点中的每个节点处维护相应索引和相应数据库,所述相应索引标识存储在所述至少两个中间节点中的同一节点处的所述相应数据库中的数据。10.根据权利要求9的方法,其中在所述至少两个中间节点中的每个节点处维护的所述相应索引进一步标识存储在所述至少两个中间节点中的其它节点处的所述相应数据库中的数据。11.根据权利要求10的方法,其中在所述至少两个中间节点中的每个节点处维护的所述相应索引进一步标识存储在所述源节点和所述目的地节点处的数据。12.根据权利要求9的方法,其中所述至少两个中间节点中的每个节点处的所述相应数据库未同步到所述至少两个中间节点中的其它节点处的所述相应数据库。13.根据权利要求1的方法,其中在所述至少两个中间节点中的一个节...
【专利技术属性】
技术研发人员:T·M·莱纳尔,K·C·斯蒂尔,
申请(专利权)人:国际商业机器公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。