基于分布式数据库的数据备份方法及其系统技术方案

本发明专利技术公开一种基于分布式数据库的数据备份方法及其系统，其中根据本发明专利技术实施例的数据备份方法包括：设置数据备份开始时间点和备份停止时间点；确定数据备份开始时间点和备份停止时间点之间的数据，并对确定的数据进行备份。通过本发明专利技术能够实现按需进行数据备份，从而节省磁盘读写资源，并节约磁盘空间。

【技术实现步骤摘要】

本专利技术涉及数据库应用
，尤其是一种基于分布式数据库的数据备份方法及其系统。
技术介绍
MongoDB是一种基于分布式文件存储的数据库，能够为WEB应用提供可扩展的高性能数据存储解决方案。Mongodb拥有众多优点，已经被越来越多的企业用于重要的生产环境中。在这种情况下，数据的备份是至关重要的。Mongodb提供数据备份功能，主要工作原理为：将数据库中oplog.rs（更新日志记录库）中的所有数据完整导出到本地文件以json形式进行存放。但是，现有技术中的分布式数据库的数据备份方案存在下列缺点：（1）每一次备份都需要将数据完整地导出，导致消耗大量磁盘读写资源，并且反复完整导出会存在大量重复数据，浪费服务器磁盘空间。（2）只能够将数据导出为一个文件，如果数据量较大，那么将产生一个很大的文件，导致占用较大的存储空间。（3）无法进行实时流备份，最新的数据得不到及时的备份，因此灾难后数据很难恢复到完整状态。
技术实现思路
本专利技术的主要目的在于提供一种基于分布式数据库的数据备份方法及其系统，以解决现有技术中存在的分布式数据库的完整的数据备份导致消耗大量磁盘读写资源以及浪费磁盘空间的技术问题。为解决上述问题，根据本专利技术的一个方面提供一种数据备份方法，包括：设置数据备份开始时间点和备份停止时间点；确定数据备份开始时间点和备份停止时间点之间的数据，并对确定的数据进行备份。其中，所述对确定的数据进行备份的步骤包括：设置备份文件大小阈值；将确定的数据按照顺序导入至多个备份文件，其中，每个备份文件大小不大于所述备份文件大小阈值。其中，所述方法还包括：监控所述分布式数据库的更新日志文件，判断所述更新日志文件是否被写入信息；若是则对写入信息对应的数据进行数据备份。其中，所述方法还包括：生成时间戳标记文件，将所述更新日志文件被写入信息的时间信息记录至所述时间戳标记文件。其中，所述方法还包括：当重新开始进行数据备份时，根据所述时间戳标记文件确定上一次终止的时间位置继续进行数据备份。根据本专利技术的另一个方面提供一种数据备份系统，包括：设置模块，用于设置数据备份开始时间点和备份停止时间点；数据备份模块，用于确定数据备份开始时间点和备份停止时间点之间的数据，并对确定的数据进行备份。其中，所述数据备份模块包括：阈值设置模块，用于设置备份文件大小阈值；数据导入模块，用于将确定的数据按照顺序导入至多个备份文件，其中，每个备份文件大小不大于所述备份文件大小阈值。其中，所述系统还包括：监控模块，用于监控所述分布式数据库的更新日志文件；判断模块，用于判断所述更新日志文件是否被写入信息，若是则所述数据备份模块对写入信息对应的数据进行数据备份。其中，所述系统还包括：生成模块，用于生成时间戳标记文件；时间记录模块，用于将所述更新日志文件被写入信息的时间信息记录至所述时间戳标记文件。其中，当所述数据备份模块重新开始进行数据备份时，根据所述时间戳标记文件确定上一次终止的时间位置继续进行数据备份。根据本专利技术的技术方案，通过设置数据备份开始时间点和备份停止时间点，并备份时间起止点之间的数据，能够实现按需进行数据备份，从而节省磁盘读写资源，并节约磁盘空间。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1是根据本专利技术一个实施例的数据备份方法的流程图；图2是根据本专利技术另一实施例的数据备份方法的流程图；图3是根据本专利技术实施例的实时流备份方法的流程图；图4是根据本专利技术一个实施例的数据备份系统的结构框图；图5是根据本专利技术另一实施例的数据备份系统的结构框图；图6是根据本专利技术再一实施例的数据备份系统的结构框图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。本专利技术用于分布式数据库，例如用于Mongodb数据库。参考图1，图1是根据本专利技术实施例的基于分布式数据库的数据备份方法的流程图，所述方法包括：步骤S102，设置数据备份开始时间点和备份停止时间点。数据库中存储的数据具有时间字段信息（即入库时间），通过数据库的配置文件可以查看到数据的入库时间。通过设置的数据备份开始时间点就能够确定备份开始的数据的位置，通过设置数据备份停止时间点就能够确定备份停止的数据的位置。其中，上述的时间点包括该时刻。步骤S104，确定数据备份开始时间点和备份停止时间点之间的数据，并对确定的数据进行备份。通过设置的起止时间点确定数据库中待备份的数据，从而对确定的数据进行备份。通过上述实施例，能够根据用户需要指定数据备份的起止时间，按需进行部分数据的备份，而无需每次都进行完整备份，从而节省磁盘读写资源，并节约磁盘空间。在实际应用中，如果需要备份的数据较小，在进行数据备份时可以直接将确定的数据导入至一个备份文件中，并可以对该备份文件进行移除等操作。但是，如果需要备份的数据较大，当导入至一个备份文件中时，在备份完成之前不能够对该备份文件进行移动和删除等操作，因此会占用较大的磁盘空间，导致没有空间存储数据。在本专利技术的一个实施例中，可以将需备份的数据按照顺序导入至本地的多个备份文件。在这种情况下首先需要设置备份文件的大小阈值（例如1G），该阈值表示备份文件的切分尺寸大小。例如，将数据库中的数据导入备份文件oplog_backup.1中，当oplog_backup.1文件达到1G时，重新生成一个新的备份文件oplog_backup.2，切换至oplog_backup.2文件继续进行备份，以此类推，直到数据全部备份完毕为止。根据上述实施例，备份文件切换之后，老的文件将不再做任何更改，用户此时可以将老的备份文件压缩存放到其他存储器中以释放本地备份空间，确保了本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式数据库的数据备份方法，其包括：
设置数据备份开始时间点和备份停止时间点；
确定数据备份开始时间点和备份停止时间点之间的数据，并对确定的数
据进行备份。
2.根据权利要求1所述的方法，其中，所述对确定的数据进行备份的
步骤包括：
设置备份文件大小阈值；
将确定的数据按照顺序导入至多个备份文件，其中，每个备份文件大小
不大于所述备份文件大小阈值。
3.根据权利要求1或2所述的方法，还包括：
监控所述分布式数据库的更新日志文件，判断所述更新日志文件是否被
写入信息；
若是则对写入信息对应的数据进行数据备份。
4.根据权利要求3所述的方法，还包括：
生成时间戳标记文件，将所述更新日志文件被写入信息的时间信息记录
至所述时间戳标记文件。
5.根据权利要求4所述的方法，还包括：
当重新开始进行数据备份时，根据所述时间戳标记文件确定上一次终止
的时间位置继续进行数据备份。
6.一种基于分布式数据库的数据备份系统，包括：
设置模块，用于...

【专利技术属性】
技术研发人员：杨艳杰，刘臻，
申请(专利权)人：北京奇虎科技有限公司，奇智软件北京有限公司，
类型：发明
国别省市：