以目的地分析和数据去重实现数据传输优化的方法和系统技术方案

本发明专利技术涉及一种以目的地分析和数据去重实现数据传输优化的方法和系统。提供了用于在从源节点到目的地节点且通过至少两个中间节点的节点链上传输被请求数据的方法和系统。所述方法包括：在文件系统级别，在所述至少两个中间节点中的每个节点处，标识先前发送到或接收自所述节点链中的后续节点的与被请求数据的至少一部分匹配的在先数据；当所述在先数据与被请求数据的所述至少一部分匹配时，将指向所述在先数据的至少一个指针和重构方案传输到所述后续节点，所述重构方案用于至少基于所述至少一个指针而在所述后续节点处重构所述被请求数据；以及将所述被请求数据的先前未发送到所述后续节点或未由所述后续节点接收的其它部分传输到所述后续节点。

【技术实现步骤摘要】
以目的地分析和数据去重实现数据传输优化的方法和系统
本专利技术一般地涉及数据传输，具体地说，涉及通过目的地分析和数据去重实现数据传输优化。
技术介绍
跨慢速或拥挤的连接传输大量数据是一个普遍的难题。如果数据传输要求的增长超过带宽的增长，则此难题将继续存在或甚至更糟。
技术实现思路
根据本专利技术的一个方面，提供一种用于在从源节点到目的地节点且通过至少两个中间节点的节点链上传输被请求数据的方法。所述方法包括在文件系统级别，在所述至少两个中间节点中的每个节点处，标识先前发送到所述节点链中的后续节点或先前从所述节点链中的后续节点接收的与所述被请求数据的至少一部分匹配的在先数据。所述方法还包括当所述在先数据与所述被请求数据的所述至少一部分匹配时，将指向所述在先数据的至少一个指针和重构方案（recipe）传输到所述后续节点，所述重构方案用于至少基于所述至少一个指针而在所述后续节点处重构所述被请求数据。所述方法还包括将所述被请求数据的先前未发送到所述后续节点或未由所述后续节点接收的其它部分传输到所述后续节点。根据本专利技术的另一个方面，提供一种用于在从源节点到目的地节点且通过至少两个中间节点的节点链上传输被请求数据的系统。所述系统包括匹配数据部分标识器，其用于在文件系统级别，在所述至少两个中间节点中的每个节点处，标识先前发送到所述节点链中的后续节点或先前从所述节点链中的后续节点接收的与所述被请求数据的至少一部分匹配的在先数据。所述系统还包括传输设备，其用于当所述在先数据与所述被请求数据的所述至少一部分匹配时，将指向所述在先数据的至少一个指针和重构方案传输到所述后续节点，所述重构方案至少基于所述至少一个指针而在所述后续节点处重构所述被请求数据。所述传输设备还将所述被请求数据的先前未发送到所述后续节点或未由所述后续节点接收的其它部分传输到所述后续节点。根据本专利技术的另一个方面，提供一种用于在从源节点到目的地节点且通过至少两个中间节点的节点链上传输被请求数据的方法。所述方法包括在多个分块级别对文件进行分块。所述方法还包括在所述多个分块级别中的每个级别处，生成用于在所述节点链中的后续节点处重构所述文件的相应重构方案以及用于存储所述文件的块的相应块存档。所述方法还包括选择所述相应重构方案和与所述相应重构方案对应的所述块存档，所述相应重构方案和所述块存档导致将最少量的数据传输到所述后续节点。所述方法还包括将所选择的重构方案和所选择的块存档传输到所述后续节点。根据本专利技术的另一个方面，提供一种用于在从源节点到目的地节点且通过至少两个中间节点的节点链上传输被请求数据的系统。所述系统包括数据分块器，其用于在多个分块级别对文件进行分块。所述系统还包括重构方案和块存档生成器，其用于在所述多个分块级别中的每个级别处，生成在所述节点链中的后续节点处重构所述文件的相应重构方案以及存储所述文件的块的相应块存档。所述重构方案和块存档生成器还选择所述相应重构方案和与所述相应重构方案对应的所述块存档，所述相应重构方案和所述块存档导致将最少量的数据传输到所述后续节点。所述系统还包括传输设备，其用于将所选择的重构方案和所选择的块存档传输到所述后续节点。从以下将结合附图阅读的对本专利技术的示例性实施例的详细描述，这些和其它特性和优点将变得显而易见。附图说明本公开将参考附图，在以下对优选实施例的描述中提供详细信息，这些附图是：图1示出了根据本专利技术的一个实施例的可以应用本专利技术的示例性处理系统100；图2示出了根据本专利技术的一个实施例的通过目的地分析和数据去重实现数据传输优化的示例性系统200；图3示出了根据本专利技术的一个实施例的可以应用本专利技术的节点的示例性网络300；图4示出了根据本专利技术的一个实施例的通过目的地分析和数据去重实现数据传输优化的示例性方法400；以及图5示出了根据本专利技术的一个实施例的通过目的地分析和数据去重实现数据传输优化的另一个示例性方法500。具体实施方式本专利技术涉及通过目的地分析和数据去重的数据传输优化。本专利技术通过战略性地在中间节点处维护数据仓库，减少数据重新传输。当用户希望在两个节点之间传输数据时，将检查以查看是否在更靠近接收者的节点处已经存在该数据的一部分或全部。在一个实施例中，然后仅发送以下项：（1）未存在于合适的中间节点上的数据；以及（2）组装原始数据所需的指令。此策略将提高传输速度并降低传输成本。应该指出，优选实施例消除在节点之间同步数据库的需要。在一个实施例中，本专利技术使用结合了动态分块优化的链式去重策略以减小数据传输的大小。如在此使用的，术语“链式去重策略”指公开的结合了多个主机上的文件级别去重的去重策略。此外，如在此使用的，术语“动态分块优化”指公开的用于选择随后相互比较的文件部分或“块”的最佳大小的方法。图1示出了根据本专利技术的一个实施例的可以应用本专利技术的示例性处理系统100。处理系统100包括至少一个处理器（CPU）102，其经由系统总线104在操作上耦合到其它组件。只读存储器（ROM）106、随机存取存储器（RAM）108、显示适配器110、I/O适配器112、用户接口适配器114和网络适配器198在操作上耦合到系统总线104。显示设备116通过显示适配器110在操作上耦合到系统总线104。磁盘存储设备（例如，磁盘或光盘存储设备）118通过I/O适配器112在操作上耦合到系统总线104。鼠标120和键盘122通过用户接口适配器114在操作上耦合到系统总线104。鼠标120和键盘122用于将信息输入系统100以及从系统100输出信息。收发器196通过网络适配器198在操作上耦合到系统总线104。当然，处理系统100还可以包括其它元件（未示出），如所属
的技术人员很容易地构想的那样，以及省略某些元件。此外，针对通过图1中的收发器196和/或某个其它元件（示出或未示出）与处理系统100连接的用户，可以省略处理系统100的元件，例如键盘122和鼠标120。所属
的技术人员很容易地构想处理器系统100的这些和其它变型以及其中包括的元件，同时保持本专利技术的精神。此外，应该理解，下面针对图2描述的系统200实际上是用于实现本专利技术的一个相应实施例的系统。处理系统100的部分或全部可以在系统200的一个或多个元件中实现。同样，下面针对图3描述的网络300实际上是根据本专利技术的一个实施例的可以应用本专利技术的网络。处理系统100的部分或全部可以在网络300的一个或多个元件中实现。进一步，应该理解，处理系统100可以执行在此描述的方法的至少一部分，例如包括图4的方法400的各部分。图2示出了根据本专利技术的一个实施例的通过目的地分析和数据去重实现数据传输优化的示例性系统200。系统200可以位于数据传输涉及的一个或多个节点上。系统200包括匹配数据部分标识器210、数据分块器220、重构方案和块存档生成器230、数据库240、索引250和收发器260。数据库240可以包括索引250以及块存档270。匹配数据部分标识器210将被请求数据与预先存储的数据相比较，以便判定被请求数据的任何部分是否与预先存储的数据相匹配。数据分块器220输入接收的文件并对接收的文件进行分块。在一个实施例中，在多个分块级别对接收的文件进行分块。重构方案和块存档生成器230生成用于重构至本文档来自技高网...

【技术保护点】
一种用于在从源节点到目的地节点且通过至少两个中间节点的节点链上传输被请求数据的方法，所述方法包括：在文件系统级别，在所述至少两个中间节点中的每个节点处，标识先前发送到所述节点链中的后续节点或先前从所述节点链中的后续节点接收的与所述被请求数据的至少一部分匹配的在先数据；当所述在先数据与所述被请求数据的所述至少一部分匹配时，将指向所述在先数据的至少一个指针和重构方案传输到所述后续节点，所述重构方案用于至少基于所述至少一个指针而在所述后续节点处重构所述被请求数据；以及将所述被请求数据的先前未发送到所述后续节点或未由所述后续节点接收的其它部分传输到所述后续节点。

【技术特征摘要】
2012.08.14 US 13/585,1231.一种用于在从源节点到目的地节点且通过至少两个中间节点的节点链上传输被请求数据的方法，所述方法包括：在文件系统级别，在所述至少两个中间节点中的每个节点处，标识先前发送到所述节点链中的后续节点或先前从所述节点链中的后续节点接收的与所述被请求数据的至少一部分匹配的在先数据；当所述在先数据与所述被请求数据的所述至少一部分匹配时，将指向所述在先数据的至少一个指针和重构方案传输到所述后续节点，所述重构方案用于至少基于所述至少一个指针而在所述后续节点处重构所述被请求数据；以及将所述被请求数据的先前未发送到所述后续节点或未由所述后续节点接收的其它部分传输到所述后续节点。2.根据权利要求1的方法，其中所述标识先前发送到所述节点链中的后续节点或先前从所述节点链中的后续节点接收的与所述被请求数据的至少一部分匹配的在先数据包含在非传输层处标识与所述被请求数据的所述至少一部分匹配的所述在先数据。3.根据权利要求1的方法，其中所述文件系统级别处于字节级别。4.根据权利要求1的方法，其中所述数据传输方法还包括由所述至少两个中间节点中的至少每个节点执行以下操作：在多个分块级别对文件进行分块；在所述多个分块级别中的每个级别处，生成用于在所述后续节点处重构所述文件的相应重构方案以及用于存储所述文件的块的相应块存档；以及将与所述多个分块级别中的至少一个级别对应的所述重构方案和所述块存档传输到所述后续节点，其中所述文件包括在所述先前发送到所述节点链中的后续节点或先前从所述节点链中的后续节点接收的与所述被请求数据的至少一部分匹配的在先数据中。5.根据权利要求4的方法，其中所述生成步骤包括：生成多个重构方案和多个块存档；以及选择所述多个重构方案中的一个给定重构方案和与该给定重构方案对应的所述多个块存档中的一个给定块存档，该给定重构方案和该给定块存档导致在所述节点链上传输最少量的数据。6.根据权利要求4的方法，其中所述后续节点是所述节点链中的下一非目的地节点。7.根据权利要求4的方法，其中所述后续节点是所述目的地节点。8.根据权利要求1的方法，其中所述标识先前发送到所述节点链中的后续节点或先前从所述节点链中的后续节点接收的与所述被请求数据的至少一部分匹配的在先数据、所述将指向所述在先数据的至少一个指针和重构方案传输到所述后续节点和所述将所述被请求数据的先前未发送到所述后续节点或未由所述后续节点接收的其它部分传输到所述后续节点，被限于仅由所述至少两个中间节点中的一个节点在慢速连接的每一侧执行，所述慢速连接具有小于预定阈值的数据传输速率。9.根据权利要求1的方法，还包括在所述至少两个中间节点中的每个节点处维护相应索引和相应数据库，所述相应索引标识存储在所述至少两个中间节点中的同一节点处的所述相应数据库中的数据。10.根据权利要求9的方法，其中在所述至少两个中间节点中的每个节点处维护的所述相应索引进一步标识存储在所述至少两个中间节点中的其它节点处的所述相应数据库中的数据。11.根据权利要求10的方法，其中在所述至少两个中间节点中的每个节点处维护的所述相应索引进一步标识存储在所述源节点和所述目的地节点处的数据。12.根据权利要求9的方法，其中所述至少两个中间节点中的每个节点处的所述相应数据库未同步到所述至少两个中间节点中的其它节点处的所述相应数据库。13.根据权利要求1的方法，其中在所述至少两个中间节点中的一个节...

【专利技术属性】
技术研发人员：T·M·莱纳尔，K·C·斯蒂尔，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：