数据备份方法及装置、存储介质及电子设备制造方法及图纸

本公开提供了一种数据备份方法、装置、电子设备及存储介质，涉及计算机技术领域。该方法包括：获取数据备份请求，根据所述数据备份请求确定待备份数据、源库和目标库；使用双重并行技术将所述源库中的待备份数据同步至所述目标库中，在所述目标库中生成同步后数据；对所述同步后数据进行压缩处理，生成备份数据。该方法能够使用双重并行技术灵活高效地将海量数据从业务数据库传输至备份数据库并及时进行压缩处理，从而实现海量数据的高效备份。份。份。

【技术实现步骤摘要】
数据备份方法及装置、存储介质及电子设备


[0001]本公开涉及计算机
，尤其涉及一种数据备份方法及装置、存 储介质及电子设备。

技术介绍

[0002]随着业务数据的快速增长，本地的业务数据库每天都会产生大量的 结构化数据，由于本地存储空间有限，且需要应对机房停电、服务器宕 机等特殊情况而导致的数据丢失问题，因此需要及时将这些数据传输给 外部系统。现有的数据同步方法或数据备份方法无法适用于海量数据的 灵活高效传输，进而也无法及时快速地对备份数据做压缩加密处理来保 护数据的安全性。
[0003]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公 开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现 有技术的信息。

技术实现思路

[0004]本公开的目的在于提供一种数据备份方法、装置、电子设备及存储 介质，能够灵活高效地将海量数据从业务数据库传输至备份数据库并及 时进行压缩处理，实现海量数据的高效备份。
[0005]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分 地通过本公开的实践而习得。
[0006]根据本公开的一个方面，提供一种数据备份方法，包括：
[0007]获取数据备份请求，根据数据备份请求确定待备份数据、源库和目标 库；使用双重并行技术将源库中的待备份数据同步至目标库中，在目标库 中生成同步后数据；对同步后数据进行压缩处理，生成备份数据。
[0008]在本公开一个实施例中，源库的类型和目标库的类型为分布式数据库； 源库包括：分布式MySQL、分布式数据库中间件和分布式Oracle数据库中 的一种；目标库的类型包括：分布式关系型数据库、分布式文件系统和非结 构化数据库中的一种。
[0009]在本公开一个实施例中，根据数据备份请求确定待备份数据，包括：根 据数据备份请求中指示的数据标识范围确定待备份数据；和/或，根据数据 备份请求中指示的时间范围确定待备份数据。
[0010]在本公开一个实施例中，使用双重并行技术将源库中的待备份数据同 步至目标库中，包括：根据待备份数据、源库和目标库，确定用于同步的表 映射关系；根据表映射关系，从源库中抽取待备份数据，以使用双重并行技 术将待备份数据写入目标库。
[0011]在本公开一个实施例中，根据表映射关系，从源库中抽取待备份数据， 以使用双重并行技术将待备份数据写入目标库，包括：根据表映射关系，将 源库中的待备份数据拆分为多个数据表；将多个数据表批量抽取至多个阻 塞队列，以利用多个阻塞队列实现多个数据表的并行写入；其中，对于每一 阻塞队列中的数据表，利用通用对象池在目标库中批
量创建与数据表对应 的多个文件，以将每一阻塞队列中的数据表并行写入到多个文件中。
[0012]在本公开一个实施例中，生成同步后数据，包括：将目标库中所有数据 表对应的所有写入完毕的文件，作为同步后数据；以及，在生成同步后数据 之后，还包括：生成同步后数据的文件清单。
[0013]在本公开一个实施例中，在对同步后数据进行压缩处理之前，还包括： 根据文件清单确认待备份数据完整同步至目标库中；以及，对同步后数据 进行压缩处理，生成备份数据，包括：提取文件中的数据内容，基于合并策 略进行数据合并以生成相应的目标文件；对目标文件进行加密，将加密后 的目标文件作为备份数据存储至灾备系统。
[0014]根据本公开的另一个方面，提供一种数据备份装置，包括：
[0015]获取模块，用于获取数据备份请求，根据所述数据备份请求确定待备份 数据、源库和目标库；同步模块，用于使用双重并行技术将所述源库中的待 备份数据同步至所述目标库中，在所述目标库中生成同步后数据；压缩模 块，用于对所述同步后数据进行压缩处理，生成备份数据。
[0016]在本公开一个实施例中，源库的类型和目标库的类型为分布式数据库； 源库包括：分布式MySQL、分布式数据库中间件和分布式Oracle数据库中 的一种；目标库的类型包括：分布式关系型数据库、分布式文件系统和非结 构化数据库中的一种。
[0017]在本公开一个实施例中，获取模块根据数据备份请求确定待备份数据， 包括：根据数据备份请求中指示的数据标识范围确定待备份数据；和/或， 根据数据备份请求中指示的时间范围确定待备份数据。
[0018]在本公开一个实施例中，同步模块使用双重并行技术将源库中的待备 份数据同步至目标库中，包括：根据待备份数据、源库和目标库，确定用于 同步的表映射关系；根据表映射关系，从源库中抽取待备份数据，以使用双 重并行技术将待备份数据写入目标库。
[0019]在本公开一个实施例中，同步模块根据表映射关系，从源库中抽取待 备份数据，以使用双重并行技术将待备份数据写入目标库，包括：根据表映 射关系，将源库中的待备份数据拆分为多个数据表；将多个数据表批量抽 取至多个阻塞队列，以利用多个阻塞队列实现多个数据表的并行写入；其 中，对于每一阻塞队列中的数据表，利用通用对象池在目标库中批量创建 与数据表对应的多个文件，以将每一阻塞队列中的数据表并行写入到多个 文件中。
[0020]在本公开一个实施例中，同步模块生成同步后数据，包括：将目标库中 所有数据表对应的所有写入完毕的文件，作为同步后数据；以及，在生成同 步后数据之后，还包括：生成同步后数据的文件清单。
[0021]在本公开一个实施例中，压缩模块在对同步后数据进行压缩处理之前， 还包括：根据文件清单确认待备份数据完整同步至目标库中；以及，对同步 后数据进行压缩处理，生成备份数据，包括：提取文件中的数据内容，基于 合并策略进行数据合并以生成相应的目标文件；对目标文件进行加密，将 加密后的目标文件作为备份数据存储至灾备系统。
[0022]根据本公开的又一个方面，提供一种计算机可读存储介质，其上存 储有计算机程序，所述计算机程序被处理器执行时实现上述的数据备份 方法。
[0023]根据本公开的再一个方面，提供一种电子设备，包括：处理器；以 及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置 为经由执行所述可执行指令来执行
上述的数据备份方法。
[0024]本公开的实施例所提供的数据备份方法，能够使用双重并行技术灵活 高效地将海量数据从业务数据库传输至备份数据库并及时进行压缩处理， 从而实现海量数据的高效备份。
[0025]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释 性的，并不能限制本公开。
附图说明
[0026]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合 本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地， 下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人 员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他 的附图。
[0027]图1示出了可以应用本公开实施例的数据备份方法的示例性系统架 构的示意图；
[0028]图2示出了本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据备份方法，其特征在于，包括：获取数据备份请求，根据所述数据备份请求确定待备份数据、源库和目标库；使用双重并行技术将所述源库中的待备份数据同步至所述目标库中，在所述目标库中生成同步后数据；对所述同步后数据进行压缩处理，生成备份数据。2.根据权利要求1所述的方法，其特征在于，所述源库的类型和所述目标库的类型为分布式数据库；所述源库包括：分布式MySQL、分布式数据库中间件和分布式Oracle数据库中的一种；所述目标库的类型包括：分布式关系型数据库、分布式文件系统和非结构化数据库中的一种。3.根据权利要求1所述的方法，其特征在于，根据所述数据备份请求确定待备份数据，包括：根据所述数据备份请求中指示的数据标识范围确定所述待备份数据；和/或，根据所述数据备份请求中指示的时间范围确定所述待备份数据。4.根据权利要求1所述的方法，其特征在于，使用双重并行技术将所述源库中的待备份数据同步至所述目标库中，包括：根据所述待备份数据、源库和目标库，确定用于同步的表映射关系；根据所述表映射关系，从所述源库中抽取所述待备份数据，以使用双重并行技术将所述待备份数据写入所述目标库。5.根据权利要求4所述的方法，其特征在于，根据所述表映射关系，从所述源库中抽取所述待备份数据，以使用双重并行技术将所述待备份数据写入所述目标库，包括：根据所述表映射关系，将所述源库中的待备份数据拆分为多个数据表；将所述多个数据表批量抽取至多个阻塞队列，以利用多个阻塞队列实现所述多个数据表的并行写入；其中，对于每一阻塞队列中的数据...

【专利技术属性】
技术研发人员：任正国，林佩航，方子扬，罗印威，杨济嘉，关雨晗，陈晓帆，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：