基于快照技术的数据库备份方法及系统技术方案

本发明专利技术涉及数据库技术领域，尤其涉及一种基于快照技术的数据库备份方法及系统，包括步骤s1、主数据库接收到数据变更指令，验证模块确定本次变更的权限级别；步骤s2、启动校对模块并复制所述主数据库中变更前的数据，确定变更数据的变更地址；步骤s3、将所述变更前的数据和所述变更数据发送至压缩模块，压缩模块对其压缩以生成压缩数据集；步骤s4、中控模块将所述压缩数据集进行标记后输送至对应备份数据库中的对应位置；步骤s5、中控模块周期性的检测所述备份数据库，并判定是否滤除处理；步骤s6、中控模块进一步确定备份数据库内存扩容的判定方式，解决了备份数据库存储内容不精确且冗余数据过多，浪费备份存储空间的问题。浪费备份存储空间的问题。浪费备份存储空间的问题。

【技术实现步骤摘要】
基于快照技术的数据库备份方法及系统


[0001]本专利技术涉及数据库
，尤其涉及一种基于快照技术的数据库备份方法及系统。

技术介绍

[0002]快照技术是关于指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点（拷贝开始的时间点）的映像。快照可以是其所表示的数据的一个副本，也可以是数据的一个复制品。快照技术的作用主要是能够进行在线数据恢复，当存储设备发生应用故障或者文件损坏时可以进行及时数据恢复，将数据恢复成快照产生时间点的状态，因此，快照在备份、数据保护过程中发挥着越来越大的作用。
[0003]数据库数据备份是数据安全的最后保证手段，数据备份的目的在于最大限度地降低系统风险，保护网络最重要的资源数据，在系统遇到灾难后，能够提供一种简便、有效的手段来恢复整个网络。
[0004]中国专利公开号：CN104462342B，公开了一种数据库快照同步处理方法及装置，包括确定源数据库和目标数据库；根据源数据库生成数据库快照，其中，数据库快照是用于将源数据库中的数据转移至目标数据库中的数据库，在数据库快照中包括用于执行同步操作的脚本文件；确定脚本文件中需要删除的脚本代码；对脚本文件进行修改，删除脚本文件中需要删除的脚本代码，得到修改后的脚本文件；通过修改后的脚本文件对数据库快照执行同步处理，由此可见，所述存在以下问题，没有对数据进行优化，导致备份数据库存储内容不精确且冗余数据过多，对备份存储介质空间造成了极大的浪费。

技术实现思路

[0005]为此，本专利技术提供一种基于快照技术的数据库备份方法及系统，通过快照技术精准的实现了数据的备份，且备份过程中优化了数据集的大小，在保证备份数据精准度的基础上节约了备份存储的空间。
[0006]一方面，本专利技术提供一种基于快照技术的数据库备份方法，包括：步骤s1、当主数据库接收到数据变更指令时启动验证模块，验证模块确定本次变更的权限级别；步骤s2、启动校对模块并复制所述主数据库中变更前的数据，将变更后的数据与变更前的数据比对以确定变更数据的变更地址，完成变更数据的校对；步骤s3、将所述变更前的数据和所述变更数据发送至压缩模块，压缩模块对其压缩以生成压缩数据集；步骤s4、中控模块将所述压缩数据集进行标记后输送至对应备份数据库中的对应位置，其中，标记的内容包括压缩模块接收到数据的时间节点、本次数据变更的权限级别以及变更数据相对于变更前数据的变更地址；步骤s5、所述中控模块周期性的检测所述备份数据库，并根据备份数据库中的常
规数据库存储的数据的内存占比确定是否对对应的备份数据库中存储的所述压缩数据集进行滤除处理，当判定需要滤除时，中控模块滤除前一压缩数据集且保留后一压缩数据集并对滤除后的压缩数据集增加标记或中控模块仅保留前后相邻的所述压缩数据集中的变更数据且滤除前后相邻的所述压缩数据集中的其他数据并对滤除后的压缩数据集增加标记；步骤s6、当备份数据库中的常规数据库中标记有变更地址的变更数据占比大于预设占比时，所述中控模块进一步确定备份数据库内存扩容的判定方式。
[0007]进一步地，所述步骤s1中，所述主数据库包含若干分别用以存储对应权重级别的数据的分区，所述验证模块根据数据变更权重值C确定针对本次数据变更的权限级别的判定方式，设定，其中，α为权重评价系数，设定α=0.82，N
i
为对应权重级别的数据的分区内数据变更的字节数，i=1,2,3
……
n，n为主数据库中的总分区数，对于第i个分区，验证模块根据该分区所存储的数据的权重级别确定针对该分区的权重系数βi，设定βi∈（0.2，0.5，0.6，0.8），其中，0.2为一级权重级别的数据对应的分区的权重系数，0.5为二级权重级别的数据对应的分区的权重系数，0.6为三级权重级别的数据对应的分区的权重系数，0.8为四级权重级别的数据对应的分区的权重系数，其中：第一权限级别判定方式为所述验证模块确定本次数据变更的权限级别为一级权限；所述第一权限级别判定方式满足所述数据变更权重值小于第一预设数据变更权重值；第二权限级别判定方式为所述验证模块确定本次数据变更的权限级别为二级权限；所述第二权限级别判定方式满足所述数据变更权重值大于等于所述第一预设数据变更权重值且小于第二预设数据变更权重值，同时，变更的一级权重级别的数据的字节数与变更数据的总字节数的占比大于等于预设一级占比，若变更的一级权重级别的数据的字节数与变更数据的总字节数的占比小于预设一级占比，则权限级别降低至所述第一权限级别；第三权限级别判定方式为所述验证模块确定本次数据变更的权限级别为三级权限；所述第三权限级别判定方式满足所述数据变更权重值大于等于所述第二预设数据变更权重值且小于第三预设数据变更权重值，同时，变更的二级权重级别的数据的字节数与变更数据的总字节数的占比大于等于预设二级占比，若变更的二级权重级别的数据的字节数与变更数据的总字节数的占比小于预设二级占比，则权限级别降低至所述第二权限级别；第四权限级别判定方式为所述验证模块确定本次数据变更的权限级别为四级权限；所述第四权限级别判定方式满足所述数据变更权重值大于等于所述第三预设数据变更权重值且小于第四预设数据变更权重值，同时，变更的三级权重级别的数据的字节数与变更数据的总字节数的占比大于等于预设三级占比，若变更的三级权重级别的数据的字节数与变更数据的总字节数的占比小于预设三级占比，则权限级别降低至所述第三权限级别；第五权限级别判定方式为所述验证模块确定本次数据变更的权限级别为五级权限；所述第五权限级别判定方式满足所述数据变更权重值大于等于所述第四预设数据变更权重值，同时，变更的四级权重级别的数据的字节数与变更数据的总字节数的占比大于等于预设四级占比，若变更的四级权重级别的数据的字节数与变更数据的总字节数的占比小于预设四级占比，则权限级别降低至所述第四权限级别。
[0008]进一步地，所述步骤s4中，所述备份数据库包含常规数据库和权限数据库，所述中
控模块将数据存储至常规数据库的备份判定为常规备份，并将数据存储至权限数据库的备份判定为权限备份；当所述中控模块判定前次常规备份后经过预设时长时，启动所述校对模块，并按照所述步骤s2
‑
步骤s4进行本次常规备份；当所述中控模块判定本次数据变更的权限级别大于等于预设权限级别时启动所述校对模块，并按照所述步骤s2
‑
步骤s4进行本次权限备份。
[0009]进一步地，所述步骤s5中，所述中控模块根据所述常规数据库存储的数据的内存占比确定针对所述压缩数据集的滤除处理方式的判定，其中：第一判定方式为所述中控模块判定不滤除所述常规数据库中的所述压缩数据集；所述第一判定方式满足所述内存占比小于所述中控模块中设置的第一预设内存占比；第二判定方式为所述中控模块判定不滤除所述常规数据库中的所述压缩数据集，并根据所述常规数据库存储的数据的内存占比与所述第一预设占比的差值将相邻两次常规备份之间的预设时长增加至对应值；所述第二判定方式满足所述内存占比大于等于所述第一预设内存占比且小于所述中控模块中设置的第二本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于快照技术的数据库备份方法，其特征在于，包括：步骤s1、当主数据库接收到数据变更指令时启动验证模块，验证模块确定本次变更的权限级别；步骤s2、启动校对模块并复制所述主数据库中变更前的数据，将变更后的数据与变更前的数据比对以确定变更数据的变更地址，完成变更数据的校对；步骤s3、将所述变更前的数据和所述变更数据发送至压缩模块，压缩模块对其压缩以生成压缩数据集；步骤s4、中控模块将所述压缩数据集进行标记后输送至对应备份数据库中的对应位置，其中，标记的内容包括压缩模块接收到数据的时间节点、本次数据变更的权限级别以及变更数据相对于变更前数据的变更地址；步骤s5、所述中控模块周期性的检测所述备份数据库，并根据备份数据库中的常规数据库存储的数据的内存占比确定是否对对应的备份数据库中存储的所述压缩数据集进行滤除处理，当判定需要滤除时，中控模块滤除前一压缩数据集且保留后一压缩数据集并对滤除后的压缩数据集增加标记或中控模块仅保留前后相邻的所述压缩数据集中的变更数据且滤除前后相邻的所述压缩数据集中的其他数据并对滤除后的压缩数据集增加标记；步骤s6、当备份数据库中的常规数据库中标记有变更地址的变更数据占比大于预设占比时，所述中控模块进一步确定备份数据库内存扩容的判定方式。2.根据权利要求1所述的基于快照技术的数据库备份方法，其特征在于，所述步骤s1中，所述主数据库包含若干分别用以存储对应权重级别的数据的分区，所述验证模块根据数据变更权重值C确定针对本次数据变更的权限级别的判定方式，设定，其中，α为权重评价系数，设定α=0.82，N
i
为对应权重级别的数据的分区内数据变更的字节数，i=1,2,3
……
n，n为主数据库中的总分区数，对于第i个分区，验证模块根据该分区所存储的数据的权重级别确定针对该分区的权重系数βi，设定βi∈（0.2，0.5，0.6，0.8），其中，0.2为一级权重级别的数据对应的分区的权重系数，0.5为二级权重级别的数据对应的分区的权重系数，0.6为三级权重级别的数据对应的分区的权重系数，0.8为四级权重级别的数据对应的分区的权重系数，其中：第一权限级别判定方式为所述验证模块确定本次数据变更的权限级别为一级权限；所述第一权限级别判定方式满足所述数据变更权重值小于第一预设数据变更权重值；第二权限级别判定方式为所述验证模块确定本次数据变更的权限级别为二级权限；所述第二权限级别判定方式满足所述数据变更权重值大于等于所述第一预设数据变更权重值且小于第二预设数据变更权重值，同时，变更的一级权重级别的数据的字节数与变更数据的总字节数的占比大于等于预设一级占比，若变更的一级权重级别的数据的字节数与变更数据的总字节数的占比小于预设一级占比，则权限级别降低至所述第一权限级别；第三权限级别判定方式为所述验证模块确定本次数据变更的权限级别为三级权限；所述第三权限级别判定方式满足所述数据变更权重值大于等于所述第二预设数据变更权重值且小于第三预设数据变更权重值，同时，变更的二级权重级别的数据的字节数与变更数据的总字节数的占比大于等于预设二级占比，若变更的二级权重级别的数据的字节数与变
更数据的总字节数的占比小于预设二级占比，则权限级别降低至所述第二权限级别；第四权限级别判定方式为所述验证模块确定本次数据变更的权限级别为四级权限；所述第四权限级别判定方式满足所述数据变更权重值大于等于所述第三预设数据变更权重值且小于第四预设数据变更权重值，同时，变更的三级权重级别的数据的字节数与变更数据的总字节数的占比大于等于预设三级占比，若变更的三级权重级别的数据的字节数与变更数据的总字节数的占比小于预设三级占比，则权限级别降低至所述第三权限级别；第五权限级别判定方式为所述验证模块确定本次数据变更的权限级别为五级权限；所述第五权限级别判定方式满足所述数据变更权重值大于等于所述第四预设数据变更权重值，同时，变更的四级权重级别的数据的字节数与变更数据的总字节数的占比大于等于预设四级占比，若变更的四级权重级别的数据的字节数与变更数据的总字节数的占比小于预设四级占比，则权限级别降低至所述第四权限级别。3.根据权利要求1所述的基于快照技术的数据库备份方法，其特征在于，所述步骤s4中，所述备份数据库包含常规数据库和权限数据库，所述中控模块将数据存储至常规数据库的备份判定为常规备份，并将数据存储至权限数据库的备份判定为权限备份；当所述中控模块判定前次常规备份后经过预设时长时，启动所述校对模块，并按照所述步骤s2
‑
步骤s4进行本次常规备份；当所述中控模块判定本次数据变更的权限级别大于等于预设权限级别时启动所述校对模块，并按照所述步骤s2
‑
步骤s4进行本次权限备份。4.根据权利要求3所述的基于快照技术的数据库备份方法，其特征在于，所述步骤s5中，所述中控模块根据所述常规数据库存储的数据的内存占比确定针对所述压缩数据集的滤除处理方式的判定，其中：第一判定方式为所述中控模块判定不滤除所述常规数据库中的所述压缩数据集；所述第一判定方式满足所述内存占比小于所述中控模块中设置的第一预设内存占比；第二判定方式为所述中控模块判定不滤除所述常规数据库中的所述压缩数据集，并根据所述常规数据库存储的数据的内存占比与所述第一预设占比的差值将相邻两次常规备份之间的预设时长增加至对应值；所述第二判定方式满足所述内存占比大于等于所述第一预设内存占比且小于所述中控模块中设置的第二预设内存占比，第一预设内存占比小于第二预设内存占比；第三判定方式为所述中控模块判定滤除所述常规数据库中的所述压缩数据集，并控制所述校对模块校对时间节点前后相邻的所述压缩数据集，中控模块滤除前一压缩数据集且保留后一压缩数据集，并对滤除后的压缩数据集增加标记；所述第三判定方式满足所述内存占比大于等于所述第二预设内存占比且小于所述中控模块中设置的第三预设内存占比，第二预设内存占比小于第三预设内存占比；第四判定方式为所述中控...

【专利技术属性】
技术研发人员：金树柏，罗玲，
申请(专利权)人：深圳市中科鼎创科技股份有限公司，
类型：发明
国别省市：