用于优化的签名比较和数据复制的系统和方法技术方案

用于节点间数据复制同时减少用于远程备份的网络流量的系统、方法和计算机可读储存介质。系统接收把位于源网络节点上的数据集复制到远程网络节点的命令，在源网络节点上访问数据集的先前快照的签名和数据集的当前快照的签名，在源网络节点处执行在先前快照和当前快照之间的本地签名比较以标识不匹配的一个或多个签名，将不匹配的签名发送到远程网络节点，在远程网络节点上搜索不匹配的签名，以及如果它们不存在于当前远程网络节点上，则将与不匹配的签名相关联的数据发送到远程网络节点以并入到当前远程快照内。

【技术实现步骤摘要】
【国外来华专利技术】用于优化的签名比较和数据复制的系统和方法优先权本申请要求在2015年1月13日提交的美国临时申请No.62/102,808的权益，其公开内容通过引用被整体并入本文。
本专利技术涉及数据复制，并且更具体地，涉及用于执行数据储存备份的签名比较或其它数据复制操作的系统和方法。
技术介绍
计算机服务器和计算机服务器集群朝向虚拟机不断移动以提供计算服务。在这种环境中，管理员经常为虚拟机配置远程备份任务。在远程备份期间，源虚拟机的数据的快照被复制给目标(例如，远程数据中心)。在当前的解决方案中，签名被发送到目标，并且在目标上进行比较，目标通常驻留在WAN连接上。WAN连接通常慢并且昂贵，并且许多其他任务竞争WAN连接上的带宽。由于单个远程备份任务可以触发数百万计的签名比较的事实，日益普遍和大规模的备份任务会导致显著的延时、堵塞WAN连接以及占用服务器资源。
技术实现思路
提供用于改善的远程备份操作的系统、方法以及计算机可读介质，该操作可以减少WAN流量和远程备份持续时间。响应于远程备份命令，源网络节点执行数据集的先前快照和当前快照之间的本地签名比较。以这种方式，源网络节点仅需要将本地不匹配的签名发送到远程网络节点。然后远程网络节点可以搜索不匹配的签名，并且向源网络节点发送标识出不存在于远程网络节点上的签名的响应。源网络节点随后发送仅与不存在于远程网络节点上的签名相关联的数据，以并入到数据集的远程快照中。根据本公开进行操作的系统特别有益于某些远程备份使用情况，诸如具有大量的随机写使用模式的、大小的范围高达数百千兆字节或更大的特大虚拟盘(VMDK)，其中大百分比的签名比较将以匹配为结果。系统可以减少显著百分比的跨WAN发送的远程签名比较。由于在远程签名比较的数量上的减少，所以系统也减少了总体WAN的利用。另外，系统缩短了跨高延迟WAN环境的远程备份的持续时间。即使是在低延迟LAN环境中，系统也可以进一步减少完成远程备份所要求的时间。在一些实施例中，系统包括检测导致差的性能的使用模式的辨识算法。在辨识这种使用模式时，系统应用不同的备份方法，无论是应用不同的专用备份例程还是默认为标准或常规的备份例程。根据本公开的一个实施例，提供了一种系统，该系统包括源网络节点和远程网络节点，每个节点具有处理器和存储指令的存储器，该指令在被处理器执行时使得处理器执行用于在远程网络节点上生成位于源网络节点上的数据集的远程备份副本的操作，所述操作包括：接收把位于所述源网络节点上的所述数据集复制到所述远程网络节点的命令，所述数据集包括树型结构文件系统中的数据和元数据的签名，其中所述文件系统数据和元数据作为对象被存储在对象仓库(objectstore)中，每个对象具有全局唯一的内容衍生签名；响应于所述命令，在所述源网络节点上访问所述数据集的先前存储快照的签名和所述数据集的当前快照的签名，其中所述先前快照包括树型结构文件系统的所述数据和元数据对象的所述签名的树，并且其中存储在所述源网络节点上的所述先前快照对应于存储在所述远程网络节点处的先前远程快照；在所述源网络节点处执行所述先前快照和所述当前快照之间的本地签名比较以识别在所述先前快照和所述当前快照之间不匹配的一个或多个签名，其中所述本地签名比较是从所述树的根开始的迭代的自上而下比较(top-downcomparison)，并且其中不匹配的签名在所述树中具有不同内容或不同定位中的至少一个；将不匹配的签名发送到所述远程网络节点；在所述远程网络节点上执行对于不匹配的签名的搜索；从所述远程网络节点接收关于不匹配的签名是否存在于所述远程网络节点处的响应；以及如果不匹配的签名不存在于所述远程网络节点处，则把与不匹配的签名相关联的数据发送到所述远程网络节点以供并入当前远程快照内。在一个实施例中，源网络节点和远程网络节点跨广域网(WAN)进行通信。在一个实施例中，不匹配的签名跨WAN被异步地发送。在一个实施例中，不匹配的签名在跨WAN发送之前被批处理。在一个实施例中，被批处理的签名包括来自树的不同兄弟节点的签名。根据本公开的另一实施例，提供了一种用于在远程网络节点上生成位于源网络节点上的数据集的远程备份副本的方法，包括：接收把位于源网络节点上的数据集复制到远程网络节点的命令，所述数据集包括树型结构文件系统中的数据和元数据的签名，其中所述文件系统数据和元数据作为对象被存储在对象仓库中，每个对象具有全局唯一的内容衍生签名；响应于所述命令，在所述源网络节点上访问所述数据集的先前存储快照的签名和所述数据集的当前快照的签名，其中所述先前快照包括树型结构文件系统的所述数据和元数据对象的所述签名的树，并且其中存储在所述源网络节点上的所述先前快照对应于存储在所述远程网络节点处的先前远程快照；在所述源网络节点处执行所述先前快照和所述当前快照之间的本地签名比较以识别在所述先前快照和所述当前快照之间不匹配的一个或多个签名，其中所述本地签名比较是从所述树的根开始的迭代的自上而下比较，并且其中不匹配的签名在所述树中具有不同内容或不同定位中的至少一个；将不匹配的签名发送到所述远程网络节点；在所述远程网络节点上执行对于不匹配的签名的搜索；从所述远程网络节点接收关于不匹配的签名是否存在于所述远程网络节点处的响应；以及如果不匹配的签名不存在于所述远程网络节点处，则把与不匹配的签名相关联的数据发送到所述远程网络节点以供并入当前远程快照内。在一个实施例中，源网络节点和远程网络节点跨广域网(WAN)进行通信。在一个实施例中，不匹配的签名跨WAN被异步地发送。在一个实施例中，该方法包括在跨WAN发送之前批处理不匹配的签名。在一个实施例中，被批处理的签名包括来自树的不同兄弟节点的签名。根据本公开的另一个实施例，提供了一种其中存储有指令的非暂时性计算机可读储存介质，该指令在由处理器执行时使得处理器执行操作，所述操作包括：接收把位于源网络节点上的数据集复制到远程网络节点的命令，所述数据集包括树型结构文件系统中的数据和元数据的签名，其中所述文件系统数据和元数据作为对象被存储在对象仓库中，每个对象具有全局唯一的内容衍生签名；响应于所述命令，在所述源网络节点上访问所述数据集的先前存储快照的签名和所述数据集的当前快照的签名，其中所述先前快照包括树型结构文件系统的所述数据和元数据对象的所述签名的树，并且其中存储在所述源网络节点上的所述先前快照对应于存储在所述远程网络节点处的先前远程快照；在所述源网络节点处执行所述先前快照和所述当前快照之间的本地签名比较以识别在所述先前快照和所述当前快照之间不匹配的一个或多个签名，其中所述本地签名比较是从所述树的根开始的迭代的自上而下比较，并且其中不匹配的签名在所述树中具有不同内容或不同定位中的至少一个；将不匹配的签名发送到所述远程网络节点；在所述远程网络节点上执行对于不匹配的签名的搜索；从所述远程网络节点接收关于不匹配的签名是否存在于所述远程网络节点处的响应；以及如果不匹配的签名不存在于所述远程网络节点处，则把与不匹配的签名相关联的数据发送到所述远程网络节点以供并入当前远程快照内。在一个实施例中，源网络节点和远程网络节点跨广域网(WAN)进行通信。在一个实施例中，不匹配的签名跨WAN被异步地发送。在一个实施例中，该非暂时性计算机可本文档来自技高网...

【技术保护点】
一种系统，包括源网络节点和远程网络节点，每个节点具有处理器和存储指令的存储器，所述指令在被所述处理器执行时使得所述处理器执行用于在远程网络节点上生成位于源网络节点上的数据集的远程备份副本的操作，所述操作包括：接收把位于所述源网络节点上的所述数据集复制到所述远程网络节点的命令，所述数据集包括树型结构文件系统中的数据和元数据的签名，其中所述文件系统数据和元数据作为对象被存储在对象仓库中，每个对象具有全局唯一的内容衍生签名；响应于所述命令，在所述源网络节点上访问所述数据集的先前存储快照的签名和所述数据集的当前快照的签名，其中所述先前快照包括树型结构文件系统的所述数据和元数据对象的所述签名的树，并且其中存储在所述源网络节点上的所述先前快照对应于存储在所述远程网络节点处的先前远程快照；在所述源网络节点处执行所述先前快照和所述当前快照之间的本地签名比较以识别在所述先前快照和所述当前快照之间不匹配的一个或多个签名，其中所述本地签名比较是从所述树的根开始的迭代的自上而下比较，并且其中不匹配的签名在所述树中具有不同内容或不同定位中的至少一个；将不匹配的签名发送到所述远程网络节点；在所述远程网络节点上执行对于不匹配的签名的搜索；从所述远程网络节点接收关于不匹配的签名是否存在于所述远程网络节点处的响应；以及如果不匹配的签名不存在于所述远程网络节点处，则把与不匹配的签名相关联的数据发送到所述远程网络节点以供并入当前远程快照内。...

【技术特征摘要】
【国外来华专利技术】2015.01.13 US 62/102,8081.一种系统，包括源网络节点和远程网络节点，每个节点具有处理器和存储指令的存储器，所述指令在被所述处理器执行时使得所述处理器执行用于在远程网络节点上生成位于源网络节点上的数据集的远程备份副本的操作，所述操作包括：接收把位于所述源网络节点上的所述数据集复制到所述远程网络节点的命令，所述数据集包括树型结构文件系统中的数据和元数据的签名，其中所述文件系统数据和元数据作为对象被存储在对象仓库中，每个对象具有全局唯一的内容衍生签名；响应于所述命令，在所述源网络节点上访问所述数据集的先前存储快照的签名和所述数据集的当前快照的签名，其中所述先前快照包括树型结构文件系统的所述数据和元数据对象的所述签名的树，并且其中存储在所述源网络节点上的所述先前快照对应于存储在所述远程网络节点处的先前远程快照；在所述源网络节点处执行所述先前快照和所述当前快照之间的本地签名比较以识别在所述先前快照和所述当前快照之间不匹配的一个或多个签名，其中所述本地签名比较是从所述树的根开始的迭代的自上而下比较，并且其中不匹配的签名在所述树中具有不同内容或不同定位中的至少一个；将不匹配的签名发送到所述远程网络节点；在所述远程网络节点上执行对于不匹配的签名的搜索；从所述远程网络节点接收关于不匹配的签名是否存在于所述远程网络节点处的响应；以及如果不匹配的签名不存在于所述远程网络节点处，则把与不匹配的签名相关联的数据发送到所述远程网络节点以供并入当前远程快照内。2.根据权利要求1所述的系统，其中所述源网络节点和所述远程网络节点跨广域网(WAN)进行通信。3.根据权利要求2所述的系统，其中跨所述WAN异步地发送不匹配的签名。4.根据权利要求2所述的系统，其中不匹配的签名在跨所述WAN被发送之前被批处理。5.根据权利要求4所述的系统，其中被批处理的签名包括来自所述树的不同兄弟节点的签名。6.一种用于在远程网络节点上生成位于源网络节点上的数据集的远程备份副本的方法，包括：接收把位于源网络节点上的数据集复制到远程网络节点的命令，所述数据集包括树型结构文件系统中的数据和元数据的签名，其中所述文件系统数据和元数据作为对象被存储在对象仓库中，每个对象具有全局唯一的内容衍生签名；响应于所述命令，在所述源网络节点上访问所述数据集的先前存储快照的签名和所述数据集的当前快照的签名，其中所述先前快照包括树型结构文件系统的所述数据和元数据对象的所述签名的树，并且其中存储在所述源网络节点上的所述先前快照对应于存储在所述远程网络节点处的先前远程快照；在所述源网络节点处执行所述先前快照和所述当前快照之间的本地签名比较以识别在所述先前快照和所述当前快照之间不匹配的一个或多个签名，其中所述本地签名比较是从所...

【专利技术属性】
技术研发人员：G·A·柯拉吉斯，肖彦，T·G·奥尔森，
申请(专利权)人：森普利维蒂公司，
类型：发明
国别省市：美国,US