一种基于块复制的周期同步系统及方法技术方案

本发明专利技术公开了一种基于块复制的周期同步系统及方法，所述方法包括如下步骤：步骤S1，对源端磁盘创建保护策略，并对源端磁盘空间进行划分，根据划分结果于驱动模块中构建源端磁盘的位图；步骤S2，于源端的文件系统之下和硬件磁盘驱动之上设置驱动模块，以捕捉源端磁盘上的数据变化，将产生该些变化的IO操作转化成对应位图中的位图信息，并根据源端磁盘对应的保护策略将位图传送至备份模块；步骤S3，所述备份模块于接收到驱动模块发送的位图后，将当前接收到的位图与前一次接收到的位图进行整合，根据整合后的位图的位图信息将源端磁盘上相应块的数据备份到备端。

【技术实现步骤摘要】
一种基于块复制的周期同步系统及方法
本专利技术涉及数据同步
，特别是涉及一种基于块复制的周期同步系统及方法。
技术介绍
数据备份是容灾的基础，是指为防止系统出现操作失误或系统故障导致数据丢失，而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。其实数据备份的本质就是数据的拷贝，当然数据备份这也不仅仅是数据复制那么简单，但是毫无疑问数据复制是数据备份最重要也是最基础的一步，无论什么样的数据备份技术或方法都是以数据同步为前提的。传统的数据备份技术一般都是定时或监测到源端磁盘数据变化时，将源端磁盘的数据全部同步到备端磁盘上，这种方式简单易行，但是很多时候的数据同步都只是磁盘很小一部分数据发生了变化，很多数据同步都是在做无用功，造成了磁盘读写资源的大量浪费。随着数据同步技术的发展，基于块复制的数据同步技术应运而生。基于块复制的数据同步技术的原理是：首先提供一个驱动，用于捕获上层发往磁盘上的所有IO，在这里主要关注写操作，使用位图bitmap来记录源磁盘中数据是否发生变化，位图Bitmap位数的多少主要取决于源磁盘的大小和定义一个块的大小，假设源磁盘的容量是1G，定义一个块的大小为10M，则为位图bitmap的位数为1G/10M＝102.4个位数(一位代表认为定义的一个块)。可以看出这里最后一个块表示数据没有之前设置10M，仅仅为4M。驱动程序一旦捕捉到写操作，则计算出这次写操作的数据落盘的位置，可以明确知道源磁盘的哪些块发生了变化，这时会将事先生成好的位图bitmap对应的哪一个或一些位置1(假设规定0表示无数据变化，1表示有数据变化)，在进行数据同步时，则可以根据位图bitmap记录的位置仅同步发生了变化的数据块。基于块复制的数据同步技术，在备份的过程中，可以忽略文件及其结构，处理过程简洁，因此在执行过程中所花费在搜索操作上的开销较小，备份性能很高。但是现有的基于块复制的数据同步技术都是基于块复制的实时同步技术，也就是说，只要捕捉到数据的写操作就进行数据块的同步，这虽然能够保证数据及时得到同步，但在有些情况下，例如公司有些日常工作时间内产生的数据，并不需要及时同步，有时候可能一周同步一次即可，而这样如果每天实时进行同步，也是在做无用功，同样造成了磁盘读写资源的大量浪费。
技术实现思路
为克服上述现有技术存在的不足，本专利技术之目的在于提供一种基于块复制的周期同步系统及方法，以通过基于块复制的周期同步，减少磁盘读写资源的浪费，提高备份的效率。为达上述目的，本专利技术提出一种基于块复制的周期同步系统，包括：策略创建及位图构建模块，用于对源端磁盘创建保护策略，并对源端磁盘空间进行划分，根据划分结果于驱动模块中构建源端磁盘的位图；驱动模块，用于捕捉源端磁盘上的数据变化，将产生该些变化的IO操作转化成对应位图中的位图信息，并根据源端磁盘的保护策略将位图传送至备份模块，所述保护策略包括但不限于周期同步与实时同步；备份模块，根据获得的位图，将源端磁盘上相应块的数据备份到备端。优选地，对于周期同步的保护策略，所述策略创建及位图构建模块还需确定周期同步的触发条件。优选地，所述周期同步的触发条件包括但不限于时间触发条件和/或数据量触发条件。优选地，所述时间触发条件为设置周期同步的时间点，于当前时间到达所设置的周期同步的时间点时，触发周期同步。优选地，所述数据量触发条件通过设置同步数据量阈值实现，通过统计需同步的数据量，于需同步的数据量超过预设的同步数据量阈值时，触发周期同步。优选地，所述数据量触发条件为将通过统计得到当前保护策略下预设时间段内的备份的数据量平均值作为同步数据量阈值，通过统计需同步的数据量，于需同步的数据量超过预设的同步数据量阈值时，触发周期同步。优选地，当所述驱动模块捕捉源端磁盘上的数据变化并转化成对应位图中的位图信息后，所述源端磁盘的保护策略未触发周期同步，而若源端磁盘又有新的数据写入时，则将前后形成的位图进行合并形成新的位图。优选地，所述备份模块于接收到所述驱动模块的位图时，将当前接收到的位图与前一次接收到的位图进行整合，根据整合后位图的位图信息将源端磁盘上相应块的数据备份到备端。优选地，若源端机器突然出现异常，所述备份模块先将当前位图保存在一文件中，若保存成功，则当源端机器开机重启后，在下次同步条件触发时，所述备份模块优先将该文件中的位图和此时驱动模块发过来的位图整合之后进行备份，若保存失败，则当源端机器开机之后下次同步条件触发前，所述备份模块进行一次全同步，以保证数据的一致性。为达到上述目的，本专利技术还提供一种基于块复制的周期同步方法，包括如下步骤：步骤S1，对源端磁盘创建保护策略，并对源端磁盘空间进行划分，根据划分结果于驱动模块中构建源端磁盘的位图；步骤S2，利用设置于源端的文件系统之下和硬件磁盘驱动之上的驱动模块，捕捉源端磁盘上的数据变化，将产生该些变化的IO操作转化成对应位图中的位图信息，并根据源端磁盘对应的保护策略将位图传送至备份模块；步骤S3，所述备份模块于接收到驱动模块发送的位图后，将当前接收到的位图与前一次接收到的位图进行整合，根据整合后位图的位图信息将源端磁盘上相应块的数据备份到备端。与现有技术相比，本专利技术一种基于块复制的周期同步系统及方法通过利用策略创建及位图构建模块对源端磁盘创建保护策略，并对源端磁盘空间进行划分，根据划分结果于驱动模块中构建源端磁盘的位图，于源端的文件系统之下和硬件磁盘驱动之上设置驱动模块，利用驱动模块捕捉源端磁盘的IO的操作，将产生该些变化的IO操作转化成位图中的位图信息传送至备份模块，由备份模块根据位图信息将源端磁盘上相应块的数据备份到备端，实现了基于块复制的周期同步目的，从而减少磁盘读写资源的浪费，提高备份的效率。附图说明图1为本专利技术一种基于块复制的周期同步系统的系统架构图；图2为本专利技术具体实施例中驱动模块所应用的系统的系统结构图；图3为本专利技术具体实施例中驱动模块监控处理的示意图；图4为本专利技术具体实施例中位图创建及更新的示意图；图5为本专利技术一种基于块复制的周期同步方法的步骤流程图。具体实施方式以下通过特定的具体实例并结合附图说明本专利技术的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本专利技术的其它优点与功效。本专利技术亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本专利技术的精神下进行各种修饰与变更。图1为本专利技术一种基于块复制的周期同步系统的系统架构图。如图1所示，本专利技术一种基于块复制的周期同步系统，应用于源端，包括：策略创建及位图构建模块100，用于对源端磁盘创建保护策略，并对源端磁盘空间进行划分，根据划分结果于驱动模块101中构建源端磁盘的位图(bitmap)。在本专利技术中，若源端存在多个磁盘，策略创建及位图构建模块100则分别对各源端磁盘创建保护策略，并对各源端磁盘空间进行本文档来自技高网...

【技术保护点】
1.一种基于块复制的周期同步系统，包括：/n策略创建及位图构建模块，用于对源端磁盘创建保护策略，并进行空间划分，根据划分结果于驱动模块中构建源端磁盘的位图；/n驱动模块，用于捕捉源端磁盘上的数据变化，将产生该些变化的IO操作转化成对应位图中的位图信息，并根据源端磁盘的保护策略将位图传送至备份模块，所述保护策略包括但不限于周期同步与实时同步；/n备份模块，根据获得的位图，将源端磁盘上相应块的数据备份到备端。/n

【技术特征摘要】
1.一种基于块复制的周期同步系统，包括：
策略创建及位图构建模块，用于对源端磁盘创建保护策略，并进行空间划分，根据划分结果于驱动模块中构建源端磁盘的位图；
驱动模块，用于捕捉源端磁盘上的数据变化，将产生该些变化的IO操作转化成对应位图中的位图信息，并根据源端磁盘的保护策略将位图传送至备份模块，所述保护策略包括但不限于周期同步与实时同步；
备份模块，根据获得的位图，将源端磁盘上相应块的数据备份到备端。


2.如权利要求1所述的一种基于块复制的周期同步系统，其特征在于：对于周期同步的保护策略，所述策略创建及位图构建模块还需确定周期同步的触发条件。


3.如权利要求2所述的一种基于块复制的周期同步系统，其特征在于：所述周期同步的触发条件包括但不限于时间触发条件和/或数据量触发条件。


4.如权利要求3所述的一种基于块复制的周期同步系统，其特征在于：所述时间触发条件为设置周期同步的时间点，于当前时间到达所设置的周期同步的时间点时，触发周期同步。


5.如权利要求3所述的一种基于块复制的周期同步系统，其特征在于：所述数据量触发条件通过设置同步数据量阈值实现，通过统计需同步的数据量，于需同步的数据量超过预设的同步数据量阈值时，触发周期同步。


6.如权利要求3所述的一种基于块复制的周期同步系统，其特征在于：所述数据量触发条件为将通过统计得到当前保护策略下预设时间段内的备份的数据量平均值作为同步数据量阈值，通过统计需同步的数据量，于需同步的数据量超过预设的同步数据量阈值时，触发周期同步。

<...

【专利技术属性】
技术研发人员：秦文航，严崇文，陈勇铨，
申请(专利权)人：上海英方软件股份有限公司，
类型：发明
国别省市：上海;31