一种持续数据保护系统及其实现方法技术方案

本发明专利技术提出了一种持续数据保护（Ｃｏｎｔｉｎｕｏｕｓ　　Ｄａｔａ　　Ｐｒｏｔｅｃｔｉｏｎ　　ＣＤＰ）系统及其实现方法，所述系统包括管理工具模块、主体模块和物理设备，所述系统可以进行灵活的堆栈。使用管理工具模块建立带有时间点的主体模块，并对主体模块进行读、写和存储操作，按照数据访问频度和数据等级的不同，将最近访问和重要的数据采用细粒度的ＣＤＰ技术，不经常访问和非重要的数据采用粗粒度的备份保护技术，使得可以支持不同保护粒度的持续数据保护，并且通过灵活的堆栈结构，在不降低对数据持续保护的可靠性的同时减少数据存储量的需求。

【技术实现步骤摘要】

本专利技术涉及数据保护
，更具体地，本专利技术涉及一种持续数据保护(Continuous Data Protection, CDP)系统及其实现方法。
技术介绍
CDP技术是一种数据连续时间点保护技术，用来解决传统快照-*数 据保护技术中费时的数据*和低效的恢复能力的问题。目前，根据数据 保护粒度，CDP技术分为准CDP (Near CDP)技术和真CDP (True CDP)技 术。准CDP技术采用快照技术，在某一个时间点对源数据作一个只读快照， 是当时数据的一个静态映像，仅反映做快照时间点的数据情况，在运行时， 可以定时作快照，也可以手工做快照，当读取历史版本数据时，只能访问 快照时间点的数据，属于离散数据保护技术，数据保护的粒度依赖于快照 的频度，真CDP技术是采用每次写进行数据拷贝的技术， 一般只提供单一 粒度的保护支持，数据写入到持久空间(Permanent Storage, PS)时执行 C0W操作，将原始数据W,再写入新的数据，然后在元数据空间(Metadata Storage, MS)中做数据变动记录，方便以后的查找，数据保护粒度为每次 更新操作，可恢复时间点是连续的。上述两种技术对数据保护没有进行分级，为了实现全数据的任意时间 点的CDP,则需要巨大的存储空间。从数据生命周期的角度看CDP，可以发 现， 一方面，数据具有不同的重要性等级；另一方面，数据的存储行为是不均匀的，数据访问行为符合80/20原则，在大多数情况下，80%的访问集 中在20%的数据上，现有技术中对数据采用同等存储代价进行保存，忽略 这种差异性，导致数据持续保护可靠性的降低和巨大数据存储量的需求。
技术实现思路
为克服现有技术中持续数据保护可靠性差和数据存储量需求大的缺 陷，本专利技术提出了。根据本专利技术的一个方面，提供一种持续数据保护系统，包括管理工具模块，所述管理工具模块负责向内核空间中主体模块发出逻 辑设备创建和删除命令，由主体模块完成具体任务；物理设备，所述物理i殳备为存储i更备，用于存放元数据和用户数据；主体模块，所述主体模块由时间戳空间TS、元数据空间MS和持久空 间PS子模块组成；当所述管理工具模块的创建命令发送给主体模块时，所 述主g块在内核空间中创建出一个逻辑块i殳备LD设备，所述TS， MS和 PS与逻辑块设备建立关系，当外部应用通过LD设备进行读写操作时，主 体模块负责数据在TS， PS上的转发和元数据的记录；所述系统对最近时间段内的数据采用所述TS连续保护，超出TS的时 间段数据，将TS段内的数据合并存储到PS，其中，所述最近时间段的长 度由所述TS的大小确定，所述PS使用原位置写方式存储，逻辑空间与所 述逻辑设备一一映射。其中，所述TS提供时间戳，标记不同时间的历史数据，采用可恢复日 志方式记录每次数据更新，所述TS使用回收策略，保证空间在被回收前将 数据写到所述PS上。其中，所述MS用于存储带有时间信息的逻辑地址到物理地址的映射表，所述MS采用日志方式记录和循环使用方式。其中，所述PS提供持久数据的存储，通过数据合并迁移机制、连续远 程复制机制提供不同时间粒度的数据保护支持。其中，所述系统可以是一种可以堆叠使用的结构。其中，在所述系统的一个逻辑设备中，可以使用另一个逻辑设备代替 所述一个逻辑设备中的PS或者TS。其中，多个逻辑i殳备可以采用设备间堆叠，所述多个LD设备进行横向 层次堆叠，层次中每一个LD设备具有不同的保护粒度，各LD设备之间没 有直接关系；或者多个LD设备可以采用设备内堆叠，所述多个LD设备进 行纵向层次堆叠，每一个层次具有不同的保护粒度，下层LD的保护粒度为 上层保护粒度的倍数；或者多个LD设备可以同时具有所述设备间堆叠和所 述设备内堆叠；其中，不同的堆叠方式可以提供不同等级的数据保护和不同长短的恢 复时间。根据本专利技术的另一方面，提供一种持续数据保护的方法，包括步骤10)、用户4吏用管理工具模块创建带有时间戳空间TS的逻辑设 备LD，接收用户请求；步骤20)、如果所述用户请求是读请求，根据元数据空间MS中的元 数据判断数据位置；如果数据在时间戳空间TS上，将所述用户请求转发到 所述TS，否则，转发到持久空间PS;步骤30)、如果所述用户请求是写请求，首先根据设定的所述逻辑设 备LD数据记录方式进行元数据记录，然后将数据写入到所述TS，根据设 定的LD设4^数据连续复制方式启动数据复制，写元数据到所述MS中，如 果所述TS资源不足，启动所述TS到所述PS的数据合并过程。其中，所述逻辑设备LD支持多种数据历史记录方式，包括周期记录、 每写记录和应用驱动记录，所述数据历史记录方式在创建所述逻辑设备时 指定。其中，TS可以釆用循环使用方式进行数据变动记录，当使用到所述TS 尾部时，重新从所述TS头部开始记录。其中，当创建所述LD时，根据用户对数据的可靠性要求，配置数据复 制方式为同步复制方式或者异步复制方式，在所述LD内部建立远程设备 名，不区分本地盘和网络盘，当TS产生元数据记录时，触发数据连续复制 过程。其中，所述方法进一步包括如果数据复制方式是同步复制方式，数 据同时采用镜像方式分别写入到本地盘和网络盘中，等两个写都返回后， 返回给用户；如果数据复制方式是异步方式，数据先写入本地TS，同时将 数据挂接到异步复制链表中，唤醒异步复制进程。其中，在准备阶段，标识写元数据开始标志，然后将元数据映射表写 入MS中；在提交阶段，确定元数据均已写入MS后，标识写元数据结束标 志，提交该时刻的元^L据，该时刻的元数据有效。其中，所述TS进行数据合并时，同时使用正常读写时使用的读写空间 和合并数据时使用的合并空间，进行细粒度到粗粒度的合并操作。其中，步骤20)中，在LD设备创建时，只构建所述LD设备映射表的 初始一部分，用于用户使用所述LD设备；当访问到LD设备未构建的映射 表部分时，触发在线映射表构建过程。其中，步骤20)中，当用户读取某一个时间版本的数据时，创建所述 时间版本的块设备，构造所述时间版本的逻辑地址到物理地址的映射关系 表，用户通过所述映射关系表读取数据。其中，步骤20)中，当用户扫描元数据的重构时间版^t据映射表时， 以离所述所读数据的时间戳最近的一个时间版本为起点向前遍历，如果在 遍历的元数据映射表中找到所述数据的映射关系，到所述映射关系指定的 设备读取所述数据；如果未发现映射关系，则到所述PS中读取数据。使用本专利技术，按照数据访问频度和数据等级的不同，将最近访问和重 要的数据采用细粒度的CDP技术，不经常访问和非重要的数据采用粗粒度 的备份保护技术，使得可以支持不同保护粒度的持续数据保护，并且通过 灵活的堆栈结构，在不降低对数据持续保护的可靠性的同时减少数据存储 量的需求。附图说明图l是可层叠持续数据保护系统结构图2是逻辑i殳备结构图3是设备间堆叠组织图4是设备内堆叠组织图5是混合堆叠组织图6是LD设^^读写流程图7是连续数据复制示意图8是无检查点元数据格式图9是有检查点元数据格式图IO是写元数据流程图11是读版本数据^^图。具体实施方式下面结合附图和具体实施例，对本专利技术提供的一种持续数据保护系统 及其实现方法作进一步说明。在根据本专利技术的一个实施例中，持续数据保本文档来自技高网...

【技术保护点】
一种持续数据保护系统，包括：管理工具模块，所述管理工具模块负责向内核空间中主体模块发出逻辑设备创建和删除命令，由主体模块完成具体任务；物理设备，所述物理设备为存储设备，用于存放元数据和用户数据；主体模块，所述主体模块 由时间戳空间ＴＳ、元数据空间ＭＳ和持久空间ＰＳ子模块组成；当所述管理工具模块的创建命令发送给主体模块时，所述主体模块在内核空间中创建出一个逻辑块设备ＬＤ设备，所述ＴＳ，ＭＳ和ＰＳ与逻辑块设备建立关系，当外部应用通过ＬＤ设备进行读写操作时，主体模块负责数据在ＴＳ，ＰＳ上的转发和元数据的记录；所述系统对最近时间段内的数据采用所述ＴＳ连续保护，超出ＴＳ的时间段数据，将ＴＳ段内的数据合并存储到ＰＳ，其中，所述最近时间段的长度由所述ＴＳ的大小确定，所述ＰＳ使用原位置写方式存储， 逻辑空间与所述逻辑设备一一映射。

【技术特征摘要】
1、一种持续数据保护系统，包括管理工具模块，所述管理工具模块负责向内核空间中主体模块发出逻辑设备创建和删除命令，由主体模块完成具体任务；物理设备，所述物理设备为存储设备，用于存放元数据和用户数据；主体模块，所述主体模块由时间戳空间TS、元数据空间MS和持久空间PS子模块组成；当所述管理工具模块的创建命令发送给主体模块时，所述主体模块在内核空间中创建出一个逻辑块设备LD设备，所述TS，MS和PS与逻辑块设备建立关系，当外部应用通过LD设备进行读写操作时，主体模块负责数据在TS，PS上的转发和元数据的记录；所述系统对最近时间段内的数据采用所述TS连续保护，超出TS的时间段数据，将TS段内的数据合并存储到PS，其中，所述最近时间段的长度由所述TS的大小确定，所述PS使用原位置写方式存储，逻辑空间与所述逻辑设备一一映射。2、 权利要求l的系统，其中，所述TS提供时间戳，标记不同时间的 历史数据，采用可恢复日志方式记录每次数据更新，所述TS使用回收策略， 保证空间在被回收前将数据写到所述PS上，3、 权利要求l的系统，其中，所述MS用于存储带有时间信息的逻辑 地址到物理地址的映射表，所述MS采用日志方式记录和循环使用方式。4、 权利要求l的系统，其中，所述PS提供持久数据的存储，通过数 据合并迁移机制、连续远程复制机制提供不同时间粒度的数据保护支持。5、 权利要求l的系统，其中，所述系统可以是一种可以堆叠使用的结构。6、 权利要求l的系统，其中，在所述系统的一个逻辑设备中，可以使 用另 一个逻辑设备代替所述一个逻辑设备中的PS或者TS。7、 权利要求6的系统，其中，多个逻辑设备可以采用设备间堆叠，所 述多个LD设备进行横向层次堆叠，层次中每一个LD设备具有不同的保护 粒度，各LD设备之间没有直接关系；或者多个LD设备可以采用设备内堆 叠，所述多个LD设备进行纵向层次堆叠，每一个层次具有不同的保护粒度， 下层LD的保护粒度为上层保护粒度的倍数；或者多个LD设备可以同时具 有所述设备间堆叠和所述设备内堆叠；其中，不同的堆叠方式可以提供不同等级的数据保护和不同长短的恢 复时间。8、 一种持续数据保护的方法，包括步骤10)、用户使用管理工具模块创建带有时间戳空间TS的逻辑设 备LD，接收用户请求；步骤20)、如果所述用户请求是读请求，根据元数据空间MS中的元 数据判断数据位置；如果数据在时间戳空间TS上，将所述用户请求转发到 所述TS,否则，转发到持久空间P...

【专利技术属性】
技术研发人员：柯剑，许金萍，吴忠杰，朱旭东，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：11[中国|北京]