一种多时间粒度的数据备份方法技术

本发明专利技术涉及一种多时间粒度的数据备份方法，包括以下步骤：步骤1、系统主控模块进行初始化处理；步骤2、数据同步模块进行源端数据同步处理；步骤3、前端接收模块接收源端的数据流，读取读取数据块、位置信息和时间戳信息并填入记录的数据结构中，此时，如果增量存储文件空间已满则进行快照生成处理，如果增量存储区域内可用文件数量小于最少可用个数则进行快照回收处理，然后将新数据流写入到增量存储区域的可用文件中。本发明专利技术有效地将定时备份方法和CDP备份方法结合在一起，提高了CDP服务器端的读写效率和并发性，同时支持对源端数据的定时、实时不同时间粒度的数据备份方法，提供了离线备份功能，保证了CDP服务器上数据的安全。

【技术实现步骤摘要】

本专利技术属于数据备份
，尤其是。
技术介绍
目前，现有的数据备份类方法主要包括定时备份方法和CDP (持续数据保护)备份方法。定时备份方法通过备份代理和备份服务器来实现，通过在备份服务器上设定备份任务，备份代理每隔一定时间(时间粒度至少为1小时)对数据(包括文件和数据库) 进行备份，备份介质可以为在线磁盘或离线磁带库，恢复时由备份代理在备份服务器的控制下从在线磁盘或离线磁带库调用备份过的数据进行恢复，恢复的时间粒度由需要恢复的数据量而定，一般在几十分钟到几个小时之间。定时备份方法的缺点是对数据备份的时间粒度过大，不能对数据进行实时保护，数据恢复速度慢。⑶P备份方法通过⑶P代理端和⑶P服务器来实现，⑶P代理端通过对底层卷或裸设备写IO的捕获和复制，获得需要保护卷或裸设备中变化的数据块，然后加入控制信息传输到CDP服务器端，在CDP服务器端存储变化的数据块，同时保留原有的数据块，这样 CDP服务器端就不仅保留了当前时刻的数据，而且记录了以前的数据，它实际上反映了数据的变化历史，允许将数据回滚到以前的某个时刻。CDP备份方法能够实时记录数据(包括文件和数据库)的变化，可以使数据备份的时间粒度减少到秒级，数据恢复时，可以直接加载CDP备份过的数据，时间粒度不受需要恢复的数据量的限制，一般在几分钟_几十分钟之间。CDP备份方法要求实现对随机IO读写的高速访问。CDP备份方法的缺点是多采用先读出原有数据块、将原有数据块写入另外区域、写入变化数据块的方式实现，增加了 CDP服务器端读写的次数，降低了性能；对历史数据的记录占用了大量的CDP服务器端存储空间， 为了降低对存储空间的占用，使得CDP服务器端只能记载几天到一周的数据，对于再早的数据不能提供保护；备份的数据全部存储在CDP服务器上，一旦发生问题，则会失去所有备份过的数据。综上所述，现有的数据备份方法普遍存在安全性差、工作效率低等问题，不能有效地对数据进行实时保护，如果用户需要完善的数据备份方案，往往需要购买定时备份产品和CDP两套不同的产品，增加了用户的采购成本和维护压力。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种安全性好、工作效率高并能够有效地对数据进行实时保护的多时间粒度的数据备份方法。本专利技术解决现有的技术问题是采取以下技术方案实现的，包括以下步骤步骤1 系统主控模块进行初始化处理；步骤2 数据同步模块进行源端数据同步处理；步骤3 前端接收模块接收源端的数据流，读取读取数据块、位置信息和时间戳信息并填入记录的数据结构中，此时，如果增量存储文件空间已满则进行快照生成处理，如果增量存储区域内可用文件数量小于最少可用个数则进行快照回收处理，然后将新数据流写入到增量存储区域的可用文件中。而且，还包括一定时器处理步骤，该定时器处理步骤通过定时器模块判断快照生成触发时间或快照回收触发时间是否达到，当到达快照生成触发时间或快照回收触发时间时，分别触发快照生成处理和快照回收触处理。而且，所述步骤1包括系统主控模块进行系统参数的设定、创建镜像存储区域和增量存储区域、调用数据同步模块并且启动前端接收模块和定时器模块的处理过程。而且，所述步骤2包括将源端数据同步到镜像存储区域中并且生成当前镜像存储区域的一个只读快照的处理过程。而且，所述的快照生成处理包括以下处理步骤(1)将增量存储区域内记录写入镜像存储区域；(2)生成当前镜像存储区域的一个只读快照。而且，所述快照回收处理包括以下处理步骤(1)搜索创建时间最早的一个文件和与之对应的快照；(2)加载对应的快照，进行离线磁带备份；(3)删除最早的一个文件和与之对应的快照。本专利技术的优点和积极效果是本专利技术有效地将定时备份方法和⑶P备份方法结合在一起，其将⑶P代理端产生的数据按顺序写入前端接收模块，将随机IO模式转变为顺序IO模式，并且通过对SSD (固态硬盘)的支持，提高了 CDP服务器端的读写效率和并发性，同时支持对源端数据的定时、 实时不同时间粒度的数据备份方法，提供了离线备份功能，保证了 CDP服务器上数据的安全。附图说明图1是本专利技术的应用拓扑图2是本专利技术的处理模块连接示意图图3是本专利技术的处理过程示意图4是快照生成处理方法示意图5是快照回收处理方法示意图6是初始化处理流程图7是数据同步处理流程图8是前端接收处理流程图9是定时处理流程图10是快照生成处理流程图11是快照回收处理流程图。具体实施方式以下结合附图对本专利技术实施例做进一步详述。，是在图1所示的网络拓扑结构上实现的，该网络拓扑结构包括客户端、CDP服务器、CDP代理端、磁带机、光纤交换机，客户端、CDP服务器、 CDP代理端、磁带机、光纤交换机连接在一起组成千兆以太网。在CDP服务器中安装有本专利技术的多时间粒度的数据备份软件，该CDP服务器使用X86 PC服务器或SPARC小型机，其采用的 ZFS(Zettabyte File System)文件系统。本专利技术以⑶P代理端(源端)至⑶P服务器的数据流作为数据输入，以⑶P服务器输出到离线磁带库的备份数据数据流作为数据输出，从而完成将源端至离线磁带库的数据备份功能。为此，本专利技术利用硬件平台磁盘已有存储空间，划分出两块特定的系统用存储区域一块区域为镜像存储区域该区域用于存储某一时刻源端数据的全部备份版本，存储方式为裸设备存储方式；另一块区域为增量存储区域该区域用于存储一定时间内源端数据的增量备份版本，存储方式为一组固定大小的文件。如图2所示，本专利技术包括以下功能处理模块1、系统主控模块初始化并协调调度各个子模块；2、前端接收模块以后台进程的方式运行，用于实时接收源端传输过来的数据流 (变化的数据块、位置信息和时间戳信息)，填入到一个数据结构中(记录)并存储到增量存储区域的一个文件中；3、快照生成模块按照一定算法和机制生成镜像存储区域的只读快照；4、快照回收模块按照一定算法和机制生成回收镜像存储区域的只读快照；5、数据同步模块将源端数据同步到镜像存储区域；6、定时器模块以后台进程的方式运行，用于触发快照生成模块或快照回收模块。，包括以下步骤步骤1 系统主控模块进行初始化处理在本步骤中，系统主控模块进行系统参数的设定、创建镜像存储区域和增量存储区域、调用数据同步模块并且启动前端接收模块和定时器模块。步骤2 数据同步模块进行源端数据同步处理在本步骤中，数据同步模块主要将源端数据同步到镜像存储区域中，生成当前镜像存储区域的一个只读快照。步骤3 前端接收模块接收新数据流并将新数据流写入到增量存储区域的可用文件中在本步骤中，前端接收模块接收源端的数据流，读取读取数据块、位置信息和时间戳信息，填入记录的数据结构中，判断增量存储文件空间是否已满或增量存储区域内可用文件数量是否小于最少可用个数，如果增量存储文件空间已满则进行快照生成处理，如果增量存储区域内可用文件数量小于最少可用个数则进行快照回收处理，然后将新数据流写入到增量存储区域的可用文件中。本数据备份方法还包括一个定时器处理步骤，快照生成处理和快照回收处理除了按照上述实时方式触发外，还可以通过定时器处理步骤通过定时方式触发，即通过设定快照生成触发时间和快照回收触发时间，当定时器模块判断快照生成触发时间到或快照回收触发时间到时，分别触发快照生成处理和快照回收触处理本文档来自技高网...

【技术保护点】
１．一种多时间粒度的数据备份方法，其特征在于：包括以下步骤：步骤１：系统主控模块进行初始化处理；步骤２：数据同步模块进行源端数据同步处理；步骤３：前端接收模块接收源端的数据流，读取读取数据块、位置信息和时间戳信息并填入记录的数据结构中，此时，如果增量存储文件空间已满则进行快照生成处理，如果增量存储区域内可用文件数量小于最少可用个数则进行快照回收处理，然后将新数据流写入到增量存储区域的可用文件中。

【技术特征摘要】

【专利技术属性】
技术研发人员：黄疆，
申请(专利权)人：天津火星科技有限公司，
类型：发明
国别省市：12