应用于数据仓库的数据增量备份与恢复的方法技术

本发明专利技术涉及数据仓库技术领域，公开了一种应用于数据仓库的数据增量备份与恢复的方法，该方法利用基于时间压缩的数据记录的更新前映像（ＢＥＦＯＲＥ　　ＩＭＡＧＥ）和更新后映像（ＡＦＴＥＲ　　ＩＭＡＧＥ）进行数据增量的备份与恢复。利用本发明专利技术，数据备份过程不用再对数据仓库加载的结果作存量备份，通过对ＢＥＦＯＲＥ　　ＩＭＡＧＥ和ＡＦＴＥＲ　　ＩＭＡＧＥ的备份，便可以实现对系统的增量备份，大大提高了数据仓库系统中数据备份与恢复的效率，而且占用的备份所需的存储空间非常小。

【技术实现步骤摘要】

本专利技术涉及数据仓库
，尤其涉及一种。
技术介绍
在数据仓库领域，常用的数据组织方式都是使用星型模型架构，以事实表上的各类维度为核心，辅以各类信息维，支撑起维度建模的数据仓库架构。由于数据仓库主要特点为数据量大，数据属性更新频率相对不高，所以一般情况下事实表和维表都采用时间压缩方式来存储数据，通过在事实表与维表中加上有效开始日期和有效结束日期两个字段来表示记录的时间有效性，这样一段时间内相同记录可以压缩为一条记录。如表1与表2所示，表1为没有进行时间压缩的数据，表2为采用了时间压缩后的数据，可以看出原来10条记录被压缩成了1条记录。实践证明，该方式可以有效地压缩冗余数据，节省存储空间，但这种方式压缩的数据，数据的备份和恢复变得非常不便。 表1 表2在数据仓库
，由于数据库管理系统本身提供的增量备份和恢复功能，只能用于没有进行时间压缩的数据，对于已经进行过时间压缩的数据则无法处理。因此，目前对于经过时间压缩的数据都是采用全量备份方式进行数据备份和恢复。由于数据仓库数据量非常庞大，一般都是海量数据，所以全量备份方式处理效率非常低，备份速度很慢，需要耗费很长的时间，甚至需要中止系统正常的业务处理来进行数据备份与恢复，对生产造成了较大的影响，严重影响了系统24小时提供服务。
技术实现思路
(一)要解决的技术问题有鉴于此，本专利技术的主要目的在于提供一种，以提高数据增量备份与恢复的效率。(二)技术方案为达到上述目的，本专利技术提供了一种，该方法利用基于时间压缩的数据记录的更新前映像BEFORE IMAGE和更新后映像AFTER IMAGE进行数据增量的备份与恢复；在进行数据增量备份时，首先根据本次数据加载所需要更新的数据生成基于时间压缩的更新数据记录，然后根据被更新表中需要删除的数据记录生成BEFORE IMAGE，并根据被更新表中需要增加的数据记录生成AFTER IMAGE，将BEFORE IMAGE和AFTER IMAGE追加到加载日志日志文件中，最后将本次的加载日志文件进行备份；在进行数据增量恢复时，包括正向恢复和逆向恢复；正向恢复先将系统恢复到最近的一次全量备份状态，再对该次全量备份以来的增量备份进行恢复，在恢复过程中运用加载日志中的BEFORE IMAGE和AFTERIMAGE，首先将被更新表与BEFORE IMAGE进行匹配，将匹配上的记录删除，然后将AFTER IMAGE插入被更新表；逆向恢复先将被更新表与AFTER IMAGE进行匹配，将匹配上的记录删除，然后将BEFORE IMAGE插入被更新表。上述方案中，所述数据增量备份的过程具体包括步骤10根据本次数据加载所需要更新的数据，生成基于时间压缩的更新数据记录；步骤11根据生成的基于时间压缩的更新数据记录，确定被更新表中需要删除的数据，生成BEFORE IMAGE，将生成的BEFORE IMAGE追加到加载日志文件中；步骤12根据基于时间压缩的更新数据记录，确定被更新表中需要增加的数据，生成AFTER IMAGE，将生成的AFTER IMAGE追加到加载日志文件中；步骤13将被更新表中与BEFORE IMAGE对应的数据记录删除；步骤14将与AFTER IMAGE对应的数据记录增加到被更新表中；步骤15将本次的加载日志文件进行备份。上述方案中，所述步骤10包括在进行数据加载时，先读取被加载数据，根据被加载数据中的日期字段，确定被加载数据的最早日期和最大日期；再查询被更新表，找到有效结束日期比被加载数据最早日期小但最接近的记录，并找到有效开始日期比被加载数据最大日期大但最接近的记录，将上述找到的两条记录与被加载数据一起，按基于时间压缩方式进行压缩处理，生成基于时间压缩的更新数据。上述方案中，所述步骤11包括根据生成的更新数据中的有效起始日期、有效结束日期字段，确定更新数据的有效区间为上述更新数据中的最小有效起始日期到最大有效结束日期；然后查找被更新表，将被更新表中数据有效时间落入上述更新数据有效区间的数据找出来，这些数据是被更新表更新时需要删除的数据，将这些数据生成BEFORE IMAGE，并用追加方式保存到加载日志日志文件中。上述方案中，所述数据增量正向恢复的过程具体包括步骤20将系统恢复到最近的一次全量备份状态；步骤21选取所述全量备份状态至需要恢复的指定日期的状态内所有加载日志文件；步骤22按时间先后顺序读取所述加载日志文件，读取加载文件中的BEFORE IMAGE和AFTER IMAGE，在被更新表中查找与该BEFOREIMAGE内容一致的数据记录，并在被更新表中删除查找到的与该BEFORE IMAGE内容一致的数据记录；步骤23根据加载日志文件中的AFTER IMAGE，在被更新表中增加与AFTER IMAGE对应的数据记录。上述方案中，所述数据增量逆向恢复的过程具体包括步骤30选取需要恢复的指定日期的状态至目前的所有加载日志文件；步骤31对加载日志文件中的记录进行逆序处理，将第一条记录变为最后一条记录，第二条记录变为倒数第二条记录，以此递推；再按时间逆序对各个文件进行处理，最先处理距目前时间最近的加载日志文件，最后处理距目前时间最远的加载日志文件；步骤32顺序读取已经逆序处理的加载日志文件，读取加载文件中的BEFORE IMAGE和AFTER IMAGE，在被更新表中查找与该AFTERIMAGE内容一致的数据记录，在被更新表中删除查找到的与该AFTERIMAGE内容一致的数据记录；步骤33根据加载日志文件中的BEFORE IMAGE记录，在被更新表中增加与BEFORE IMAGE对应的数据记录。(三)有益效果从上述技术方案可以看出，本专利技术具有以下有益效果1、本专利技术提供的这种，数据备份过程不用再对数据仓库加载的结果作存量备份，通过对更新前映像(BEFORE IMAGE)和更新后映像(AFTER IMAGE)的备份，便可以实现对系统的增量备份，大大提高了数据仓库系统中数据备份与恢复的效率，而且占用的备份所需的存储空间非常小。2、本专利技术提供的这种，数据备份过程只需要对加载产生的BEFORE IMAGE和AFTER IMAGE进行备份，备份工作对系统的生产没有任何影响，更不用中断业务来完成备份，大大提高了系统的可用性。附图说明图1为本专利技术提供的数据增量备份的方法流程图；图2为本专利技术提供的数据增量正向恢复的方法流程图；图3为本专利技术提供的数据增量逆向恢复的方法流程图。具体实施例方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。数据仓库中存放的数据都是历史数据，历史数据一般是不需要进行更新，然而数据仓库中需要不断将新产生的数据增加进来。如企业的日常联机处理系统中每天都要产生大量的交易数据，这些交易数据过了某个时间点就会变成历史数据，这里历史数据就需要导出，再导入到数据仓库系统中，导入的过程即为数据仓库系统的数据加载过程。本专利技术的增量备份与恢复方法，通过在数据仓库系统的数据加载过程中采用加载日志(LOG)记录系统的修改痕迹，包括应用数据修改前后的状态，也就是所谓的BEFORE IMAGE和AFTER IMAGE，从而实现数据的增量备份，数据的恢复则通过加载日志本文档来自技高网...

【技术保护点】
一种应用于数据仓库的数据增量备份与恢复的方法，其特征在于，该方法利用基于时间压缩的数据记录的更新前映像ＢＥＦＯＲＥＩＭＡＧＥ和更新后映像ＡＦＴＥＲＩＭＡＧＥ进行数据增量的备份与恢复；在进行数据增量备份时，首先根据本次数据加载 所需要更新的数据生成基于时间压缩的更新数据记录，然后根据被更新表中需要删除的数据记录生成ＢＥＦＯＲＥＩＭＡＧＥ，并根据被更新表中需要增加的数据记录生成ＡＦＴＥＲＩＭＡＧＥ，将ＢＥＦＯＲＥＩＭＡＧＥ和ＡＦＴＥＲＩＭＡＧＥ追加到 加载日志日志文件中，最后将本次的加载日志文件进行备份；在进行数据增量恢复时，包括正向恢复和逆向恢复；正向恢复先将系统恢复到最近的一次全量备份状态，再对该次全量备份以来的增量备份进行恢复，在恢复过程中运用加载日志中的ＢＥＦＯＲＥＩ ＭＡＧＥ和ＡＦＴＥＲＩＭＡＧＥ，首先将被更新表与ＢＥＦＯＲＥＩＭＡＧＥ进行匹配，将匹配上的记录删除，然后将ＡＦＴＥＲＩＭＡＧＥ插入被更新表；逆向恢复先将被更新表与ＡＦＴＥＲＩＭＡＧＥ进行匹配，将匹配上的记录删除，然后将ＢＥＦ ＯＲＥＩＭＡＧＥ插入被更新表。...

【技术特征摘要】
1.一种应用于数据仓库的数据增量备份与恢复的方法，其特征在于，该方法利用基于时间压缩的数据记录的更新前映像BEFORE IMAGE和更新后映像AFTER IMAGE进行数据增量的备份与恢复；在进行数据增量备份时，首先根据本次数据加载所需要更新的数据生成基于时间压缩的更新数据记录，然后根据被更新表中需要删除的数据记录生成BEFORE IMAGE，并根据被更新表中需要增加的数据记录生成AFTER IMAGE，将BEFORE IMAGE和AFTER IMAGE追加到加载日志日志文件中，最后将本次的加载日志文件进行备份；在进行数据增量恢复时，包括正向恢复和逆向恢复；正向恢复先将系统恢复到最近的一次全量备份状态，再对该次全量备份以来的增量备份进行恢复，在恢复过程中运用加载日志中的BEFORE IMAGE和AFTERIMAGE，首先将被更新表与BEFORE IMAGE进行匹配，将匹配上的记录删除，然后将AFTER IMAGE插入被更新表；逆向恢复先将被更新表与AFTER IMAGE进行匹配，将匹配上的记录删除，然后将BEFORE IMAGE插入被更新表。2.根据权利要求1所述的应用于数据仓库的数据增量备份与恢复的方法，其特征在于，所述数据增量备份的过程具体包括步骤10根据本次数据加载所需要更新的数据，生成基于时间压缩的更新数据记录；步骤11根据生成的基于时间压缩的更新数据记录，确定被更新表中需要删除的数据，生成BEFORE IMAGE，将生成的BEFORE IMAGE追加到加载日志文件中；步骤12根据基于时间压缩的更新数据记录，确定被更新表中需要增加的数据，生成AFTER IMAGE，将生成的AFTER IMAGE追加到加载日志文件中；步骤13将被更新表中与BEFORE IMAGE对应的数据记录删除；步骤14将与AFTER IMAGE对应的数据记录增加到被更新表中；步骤15将本次的加载日志文件进行备份。3.根据权利要求2所述的应用于数据仓库的数据增量备份与恢复的方法，其特征在于，所述步骤10包括在进行数据加载时，先读取被加载数据，根据被加载数据中的日期字段，确定被加载数据的最早日期和最大日期；再查询被更新表，找到有效结束日期比被加载数据最早日期小但最接近的记录，并找到有效开始...

【专利技术属性】
技术研发人员：张昀，金焰，朱敏，赵戬，徐民，吴璇，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：11[中国|北京]