一种基于RDC不定长分块策略的数据同步方法及装置制造方法及图纸

本发明专利技术公开了一种基于RDC不定长分块策略的数据同步系统及方法，所述方法包括如下步骤：步骤S1，由源端将需要同步的块设备/文件信息发送至备端；步骤S2，获取备端发送的该块设备/文件对应的备份块设备/文件的各数据块的校验和；步骤S3，源端读取所述块设备/文件的各数据块，并计算校验和，将计算获得的校验和与获得的备份块设备/文件对应数据块的校验和对比；步骤S4，根据步骤S3的对比结果基于不定长策略确定连续性不变数据块以及连续性增量数据块，并对连续性不变数据块以及连续性增量数据块采用不同策略分别进行同步，本发明专利技术可实现不定长地发送增量数据块和不变数据块，提高数据同步效率。

【技术实现步骤摘要】
一种基于RDC不定长分块策略的数据同步方法及装置
本专利技术涉及计算机数据备份
，特别是涉及一种基于RDC(RemoteDifferentialCompression，远程差分压缩)不定长分块策略的数据同步方法及装置。
技术介绍
数据备份是容灾的基础。数据备份的过程就是将生产机的数据同步到目标机。在数据同步过程中，目前普遍采用的方法是将需要备份的文件或块设备(例如磁盘)分成等长的数据块，对每个数据块进行校验和同步。这种等长的数据块方法有效地提高了数据同步效率，同时缓解了内存压力。但同时，该方法也有不小的弊端，其中较为明显的一个弊端就是：当生产机增量数据不多或增量数据块比较集中时，该方法会对不变的数据块多次等长发送，导致同步效率较低。
技术实现思路
为克服上述现有技术存在的不足，本专利技术之目的在于提供一种基于RDC不定长分块策略的数据同步方法及装置，以实现不定长地发送增量数据块和不变数据块，从而提高数据同步效率。为达上述目的，本专利技术提供一种基于RDC不定长分块策略的数据同步系统，包括：源端，将需要同步的块设备/文件信息发送至备端，获取所述备端发送的该块设备/文件对应的备份块设备/文件的各数据块的校验和，读取源端所述块设备/文件的各数据块并计算校验和，将计算获得的校验和与获得的备份块设备/文件对应数据块的校验和对比，根据对比结果基于不定长策略确定连续性不变数据块以及连续性增量数据块，并对连续性不变数据块以及连续性增量数据块采用不同策略分别进行同步；备端，用于获取所述源端发送的需要同步的块设备/文件信息，根据需要同步的块设备/文件信息获取备端本机的所述备份块设备/文件，读取并计算所述备份块设备/文件各数据块的校验和，并发送至所述源端，于接收到所述源端的同步数据后，对连续性不变数据块以及连续性增量数据块采用对应策略进行同步处理。优选地，所述源端包括：发送单元，用于将需要同步的块设备或文件信息发送至所述备端；备端校验和接收单元，用于接收所述备端发送的对应备份块设备/文件的各数据块的校验和；源端校验和计算比对单元，用于读取所述块设备/文件的各数据块，计算各数据块的校验和，与接收的备份块设备/文件的对应数据块的校验和进行比对；统计单元，用于根据所述源端校验和计算比对单元的计算比对结果累计校验和相同的和校验和不同的连续性数据块；同步单元，用于根据统计结果，分别发送校验和相同的连续多个数据块偏移量和大小，以及校验和不同的连续多个数据块偏移量和增量数据至所述备端。优选地，所述备端校验和接收单元于接收到所述备端发送的对应备份块设备/文件的各数据块的校验和后，将其加载至一校验和线性表中。优选地，所述统计单元分别累计统计连续性的校验和相同的数据块直到校验结果不同，以及累计统计连续性的校验和不同的数据块，直到校验结果相同。优选地，所述统计单元将各累计值与预设的最大发送数据块阈值进行比对，当其中之一或全部累计值到达所述最大发送数据块阈值时，启动所述同步单元。优选地，所述备端进一步包括：接收单元，用于接收所述源端发送的需要同步的块设备/文件信息，并于本机获取对应的备份块设备/文件；备端校验和计算单元，用于读取该备份块设备/文件的各数据块，计算其校验和，并发送至所述源端；同步处理单元，根据接收到源端同步单元发送的校验和相同的连续多个数据块偏移量和大小于备端本机获取对应的备份块设备/文件的相应数据，并与接收到的源端同步单元发送的校验和不同的连续多个数据块偏移量和增量数据合并形成新的备份块设备/文件。优选地，所述同步处理单元于所述备端创建一用于备份该块设备/文件的临时文件，对接收到的源端同步单元发送的校验和相同的连续多个数据块偏移量和大小，根据该偏移量和大小读取备端本机中对应的备份块设备/文件的相应数据写入所述临时文件中，对接收到的源端同步单元发送的校验和不同的连续多个数据块偏移量和增量数据，根据偏移量和大小，将增量数据写入该临时文件中，并于备份完成后，将所述临时文件设置为所述新的备份块设备/文件，同时删除备端原备份块设备/文件。为达到上述目的，本专利技术还提供一种基于RDC不定长分块策略的数据同步方法，包括如下步骤：步骤S1，由源端将需要同步的块设备/文件信息发送至备端；步骤S2，获取备端发送的该块设备/文件对应的备份块设备/文件的各数据块的校验和；步骤S3，源端读取所述块设备/文件的各数据块，并计算校验和，将计算获得的校验和与获得的备份块设备/文件对应数据块的校验和对比；步骤S4，根据步骤S3的对比结果基于不定长策略确定连续性不变数据块以及连续性增量数据块，并对连续性不变数据块以及连续性增量数据块采用不同策略分别进行同步。优选地，于步骤S4中，分别累计统计连续性的校验和相同的数据块，以及连续性的校验和不同的数据块，分别发送校验和相同的连续多个数据块偏移量和大小，以及校验和不同的连续多个数据块偏移量和增量数据至备端。优选地，于步骤S4后，还包括如下步骤：步骤S5，于备端创建一用于备份该块设备/文件的临时文件对接收到源端发送的校验和相同的连续多个数据块偏移量和大小，根据该偏移量和大小读取备端本机中对应的备份块设备/文件的相应数据写入临时文件中，对接收到源端发送的校验和不同的连续多个数据块偏移量和增量数据，则根据偏移量和大小，将增量数据写入该临时文件中，并于备份完成后，将所述临时文件设置为所述新的备份块设备/文件，同时删除备端原备份块设备/文件。与现有技术相比，本专利技术一种基于RDC不定长分块策略的数据同步系统及方法通过在源端获取备端发送的备份块设备/文件的各数据块的校验和，然后读取源端块设备/文件的各数据块并计算校验和，将计算获得的校验和与获得的备份块设备/文件对应数据块的校验和对比，根据对比结果基于不定长策略确定连续性不变数据块以及连续性增量数据块，并对连续性不变数据块以及连续性增量数据块采用不同策略分别进行同步，实现了不定长地发送增量数据块和不变数据块的目的，从而提高了数据同步的效率。附图说明图1为本专利技术一种基于RDC不定长分块策略的数据同步系统的系统架构图；图2为本专利技术一种基于RDC不定长分块策略的数据同步方法的步骤流程图；图3为本专利技术实施例中基于RDC不定长分块策略的数据同步流程图；图4为本专利技术实施例中不定长策略的流程图。具体实施方式以下通过特定的具体实例并结合附图说明本专利技术的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本专利技术的其它优点与功效。本专利技术亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本专利技术的精神下进行各种修饰与变更。图1为本专利技术一种基于RDC不定长分块策略的数据同步系统的系统架构图。如图1所示，本专利技术一种基于RDC不定长分块策略的数据同步系统，包括：源端10，即生产端，将需要同步的块设备/文件本文档来自技高网...

【技术保护点】
1.一种基于RDC不定长分块策略的数据同步系统，包括：/n源端，将需要同步的块设备/文件信息发送至备端，获取所述备端发送的该块设备/文件对应的备份块设备/文件的各数据块的校验和，读取源端所述块设备/文件的各数据块并计算校验和，将计算获得的校验和与获得的备份块设备/文件对应数据块的校验和对比，根据对比结果基于不定长策略确定连续性不变数据块以及连续性增量数据块，并对连续性不变数据块以及连续性增量数据块采用不同策略分别进行同步；/n备端，用于获取所述源端发送的需要同步的块设备/文件信息，根据需要同步的块设备/文件信息获取备端本机的所述备份块设备/文件，读取并计算所述备份块设备/文件各数据块的校验和，并发送至所述源端，于接收到所述源端的同步数据后，对连续性不变数据块以及连续性增量数据块采用对应策略进行同步处理。/n

【技术特征摘要】
1.一种基于RDC不定长分块策略的数据同步系统，包括：
源端，将需要同步的块设备/文件信息发送至备端，获取所述备端发送的该块设备/文件对应的备份块设备/文件的各数据块的校验和，读取源端所述块设备/文件的各数据块并计算校验和，将计算获得的校验和与获得的备份块设备/文件对应数据块的校验和对比，根据对比结果基于不定长策略确定连续性不变数据块以及连续性增量数据块，并对连续性不变数据块以及连续性增量数据块采用不同策略分别进行同步；
备端，用于获取所述源端发送的需要同步的块设备/文件信息，根据需要同步的块设备/文件信息获取备端本机的所述备份块设备/文件，读取并计算所述备份块设备/文件各数据块的校验和，并发送至所述源端，于接收到所述源端的同步数据后，对连续性不变数据块以及连续性增量数据块采用对应策略进行同步处理。


2.如权利要求1所述的一种基于RDC不定长分块策略的数据同步系统，其特征在于，所述源端包括：
发送单元，用于将需要同步的块设备或文件信息发送至所述备端；
备端校验和接收单元，用于接收所述备端发送的对应备份块设备/文件的各数据块的校验和；
源端校验和计算比对单元，用于读取所述块设备/文件的各数据块，计算各数据块的校验和，与接收的备份块设备/文件的对应数据块的校验和进行比对；
统计单元，用于根据所述源端校验和计算比对单元的计算比对结果累计校验和相同的和校验和不同的连续性数据块；
同步单元，用于根据统计结果，分别发送校验和相同的连续多个数据块偏移量和大小，以及校验和不同的连续多个数据块偏移量和增量数据至所述备端。


3.如权利要求2所述的一种基于RDC不定长分块策略的数据同步系统，其特征在于：所述备端校验和接收单元于接收到所述备端发送的对应备份块设备/文件的各数据块的校验和后，将其加载至一校验和线性表中。


4.如权利要求2所述的一种基于RDC不定长分块策略的数据同步系统，其特征在于：所述统计单元分别累计统计连续性的校验和相同的数据块直到校验结果不同，以及累计统计连续性的校验和不同的数据块，直到校验结果相同。


5.如权利要求4所述的一种基于RDC不定长分块策略的数据同步系统，其特征在于：所述统计单元将各累计值与预设的最大发送数据块阈值进行比对，当其中之一或全部累计值到达所述最大发送数据块阈值时，启动所述同步单元。


6.如权利要求5所述的一种基于RDC不定长分块策略的数据同步系统，其特征在于，所述备端进一步包括：
接收单元，用于接收所述源端发送的需要同步的块设备/文件信息，并于本...

【专利技术属性】
技术研发人员：刘举，高志会，苏亮彪，陈勇铨，江俊，
申请(专利权)人：上海英方软件股份有限公司，
类型：发明
国别省市：上海;31