【技术实现步骤摘要】
一种基于RDC不定长分块策略的数据同步方法及装置
本专利技术涉及计算机数据备份
,特别是涉及一种基于RDC(RemoteDifferentialCompression,远程差分压缩)不定长分块策略的数据同步方法及装置。
技术介绍
数据备份是容灾的基础。数据备份的过程就是将生产机的数据同步到目标机。在数据同步过程中,目前普遍采用的方法是将需要备份的文件或块设备(例如磁盘)分成等长的数据块,对每个数据块进行校验和同步。这种等长的数据块方法有效地提高了数据同步效率,同时缓解了内存压力。但同时,该方法也有不小的弊端,其中较为明显的一个弊端就是:当生产机增量数据不多或增量数据块比较集中时,该方法会对不变的数据块多次等长发送,导致同步效率较低。
技术实现思路
为克服上述现有技术存在的不足,本专利技术之目的在于提供一种基于RDC不定长分块策略的数据同步方法及装置,以实现不定长地发送增量数据块和不变数据块,从而提高数据同步效率。为达上述目的,本专利技术提供一种基于RDC不定长分块策略的数据同步系统,包括:源端,将需要同步的块设备/文件信息发送至备端,获取所述备端发送的该块设备/文件对应的备份块设备/文件的各数据块的校验和,读取源端所述块设备/文件的各数据块并计算校验和,将计算获得的校验和与获得的备份块设备/文件对应数据块的校验和对比,根据对比结果基于不定长策略确定连续性不变数据块以及连续性增量数据块,并对连续性不变数据块以及连续性增量数据块采用不同策略分别进行同步;备端,用于 ...
【技术保护点】
1.一种基于RDC不定长分块策略的数据同步系统,包括:/n源端,将需要同步的块设备/文件信息发送至备端,获取所述备端发送的该块设备/文件对应的备份块设备/文件的各数据块的校验和,读取源端所述块设备/文件的各数据块并计算校验和,将计算获得的校验和与获得的备份块设备/文件对应数据块的校验和对比,根据对比结果基于不定长策略确定连续性不变数据块以及连续性增量数据块,并对连续性不变数据块以及连续性增量数据块采用不同策略分别进行同步;/n备端,用于获取所述源端发送的需要同步的块设备/文件信息,根据需要同步的块设备/文件信息获取备端本机的所述备份块设备/文件,读取并计算所述备份块设备/文件各数据块的校验和,并发送至所述源端,于接收到所述源端的同步数据后,对连续性不变数据块以及连续性增量数据块采用对应策略进行同步处理。/n
【技术特征摘要】
1.一种基于RDC不定长分块策略的数据同步系统,包括:
源端,将需要同步的块设备/文件信息发送至备端,获取所述备端发送的该块设备/文件对应的备份块设备/文件的各数据块的校验和,读取源端所述块设备/文件的各数据块并计算校验和,将计算获得的校验和与获得的备份块设备/文件对应数据块的校验和对比,根据对比结果基于不定长策略确定连续性不变数据块以及连续性增量数据块,并对连续性不变数据块以及连续性增量数据块采用不同策略分别进行同步;
备端,用于获取所述源端发送的需要同步的块设备/文件信息,根据需要同步的块设备/文件信息获取备端本机的所述备份块设备/文件,读取并计算所述备份块设备/文件各数据块的校验和,并发送至所述源端,于接收到所述源端的同步数据后,对连续性不变数据块以及连续性增量数据块采用对应策略进行同步处理。
2.如权利要求1所述的一种基于RDC不定长分块策略的数据同步系统,其特征在于,所述源端包括:
发送单元,用于将需要同步的块设备或文件信息发送至所述备端;
备端校验和接收单元,用于接收所述备端发送的对应备份块设备/文件的各数据块的校验和;
源端校验和计算比对单元,用于读取所述块设备/文件的各数据块,计算各数据块的校验和,与接收的备份块设备/文件的对应数据块的校验和进行比对;
统计单元,用于根据所述源端校验和计算比对单元的计算比对结果累计校验和相同的和校验和不同的连续性数据块;
同步单元,用于根据统计结果,分别发送校验和相同的连续多个数据块偏移量和大小,以及校验和不同的连续多个数据块偏移量和增量数据至所述备端。
3.如权利要求2所述的一种基于RDC不定长分块策略的数据同步系统,其特征在于:所述备端校验和接收单元于接收到所述备端发送的对应备份块设备/文件的各数据块的校验和后,将其加载至一校验和线性表中。
4.如权利要求2所述的一种基于RDC不定长分块策略的数据同步系统,其特征在于:所述统计单元分别累计统计连续性的校验和相同的数据块直到校验结果不同,以及累计统计连续性的校验和不同的数据块,直到校验结果相同。
5.如权利要求4所述的一种基于RDC不定长分块策略的数据同步系统,其特征在于:所述统计单元将各累计值与预设的最大发送数据块阈值进行比对,当其中之一或全部累计值到达所述最大发送数据块阈值时,启动所述同步单元。
6.如权利要求5所述的一种基于RDC不定长分块策略的数据同步系统,其特征在于,所述备端进一步包括:
接收单元,用于接收所述源端发送的需要同步的块设备/文件信息,并于本...
【专利技术属性】
技术研发人员:刘举,高志会,苏亮彪,陈勇铨,江俊,
申请(专利权)人:上海英方软件股份有限公司,
类型:发明
国别省市:上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。