一种数据备份的方法及装置制造方法及图纸

本发明专利技术实施例公开了一种数据备份的方法及装置。该方案中，由于热数据是比较重要的数据，因而在每个备份阶段，仅对热数据采用较高频率进行增量备份，冷数据采用相对于热数据较低的频率进行增量备份，与现有技术中将所有的数据都进行全量备份或者将所有的新增数据或改变的数据进行增量备份的方式相比，极大的减小了备份开销，提高了备份效率，实现了对热数据的及时备份，保证了重要数据的极少丢失。

Method and device for data backup

The embodiment of the invention discloses a method and a device for data backup. In this scheme, due to thermal data is an important data in each backup stage, only the hot data with a higher frequency of incremental backup, cold data with respect to thermal data with lower frequency incremental backup, with the existing techniques. All the data were full backup or will add all the data or change the data of the incremental backup mode, greatly reduces the cost of backup, improves the backup efficiency, to achieve the timely backup of hot data, ensure important data are lost.

【技术实现步骤摘要】
一种数据备份的方法及装置
本专利技术涉及数据备份
，尤其涉及一种数据备份的方法及装置。
技术介绍
目前随着大数据时代的到来，大量的业务数据和社会网络积累的各种数据越来越多，在数据量不断增长的情况下，为了防止数据的丢失，常需要对数据进行备份。下面对现有的备份方式进行举例说明。一种备份方式是全量备份，在备份时要对整个数据集进行备份，以得到该数据集的完全副本。全量备份为数据提供了最好最完整的保护，但是当要备份的数据集中包含的数据发生变化或者添加新的数据时需要重新进行全备份。全量备份的优点是数据恢复所需时间较短，缺点是备份数据中有大量内容是重复的，这些重复的数据浪费了大量的备份空间，增加了数据备份的成本，并且由于需要备份的数据量比较大，因此备份所需时间也较长。为了提高备份效率和减小备份开销，在全量备份的基础上进行了一些改进，基于全量备份进行增量备份，增量备份只备份上次备份之后新添加或者更改的数据。例如，在初始状态，源数据库有多个数据文件，那么第一次备份进行全量备份，过了一段时间源数据库中新增了数据，则将新增的数据写入到增量备份文件中。但是，如果新增的数据较多，目前的增量备份的方案的备份工作量和开销仍然很大。
技术实现思路
本专利技术实施例的目的是提供一种数据备份的方法及装置，用于提供一种减小备份开销且提高备份效率的备份方案。本专利技术实施例的目的是通过以下技术方案实现的：一种数据备份的方法，包括：确定每个备份阶段内需要备份的冷数据和热数据；对于每个所述备份阶段，对所述热数据采用第一备份频率进行增量备份，得到至少两个热数据的子增量备份文件，对所述冷数据采用第二备份频率进行增量备份，得到至少一个冷数据的子增量备份文件；其中，所述第一备份频率大于所述第二备份频率；将每个所述备份阶段内的所述热数据的子增量备份文件和所述冷数据的子增量备份文件进行合并，得到每个所述备份阶段的增量备份文件。较佳地，该方法还包括：预先进行全量备份，得到全量备份文件；当各所述备份阶段的增量备份文件的数量达到预设数量时，将各备份阶段的增量备份文件合并到所述全量备份文件中。较佳地，该方法还包括：在数据初始导入时，确定导入的数据为冷数据；所述确定每个备份阶段内需要备份的冷数据和热数据，包括：针对每个所述备份阶段：在该备份阶段开始之前，每执行一次查询语句后，判断所述查询语句中所查询的字段被查询的总次数是否达到预设阈值；如果是，确定所查询的字段为热字段，该字段对应的数据为热数据；否则，确定所查询的字段为冷字段，该字段对应的数据仍为冷数据；以在该备份阶段开始时，最终确定的热数据和冷数据为该备份阶段内需要备份的冷数据和热数据。较佳地，如果在每个所述备份阶段内，所述冷数据的子增量备份文件有两个以上；将每个所述备份阶段内的所述热数据的子增量备份文件和所述冷数据的子增量备份文件进行合并，包括：将所述备份阶段内，各所述热数据的子增量备份文件进行合并，得到所述备份阶段的热数据的增量备份文件；将所述备份阶段内，各所述冷数据的子增量备份文件进行合并，得到所述备份阶段的冷数据的增量备份文件；将所述备份阶段的所述热数据的增量备份文件和所述冷数据的增量备份文件进行合并，得到所述备份阶段的增量备份文件；如果在每个所述备份阶段内，所述冷数据的子增量备份文件只有一个；将每个所述备份阶段内的所述热数据的子增量备份文件和所述冷数据的子增量备份文件进行合并，包括：将所述备份阶段内，各所述热数据的子增量备份文件进行合并，得到所述备份阶段的热数据的增量备份文件；将所述备份阶段的所述热数据的增量备份文件和所述冷数据的子增量备份文件进行合并，得到所述备份阶段的增量备份文件。较佳地，对所述热数据采用第一备份频率进行增量备份，对所述冷数据采用第二备份频率进行增量备份，包括：对所述热数据采用第一备份频率进行增量备份，对所述冷数据采用第二备份频率进行增量备份的过程中，对所述热数据和所述冷数据分别保留同一列的ID值；将每个所述备份阶段内的所述热数据的子增量备份文件和所述冷数据的子增量备份文件进行合并，得到每个所述备份阶段的增量备份文件，包括：根据保留的同一列的ID值，对所述热数据的子增量备份文件和所述冷数据的子增量备份文件进行合并。一种数据备份的装置，包括：冷热数据确定模块，用于：确定每个备份阶段内需要备份的冷数据和热数据；备份模块，用于：对于每个所述备份阶段，对所述热数据采用第一备份频率进行增量备份，得到至少两个热数据的子增量备份文件，对所述冷数据采用第二备份频率进行增量备份，得到至少一个冷数据的子增量备份文件；其中，所述第一备份频率大于所述第二备份频率；备份合并模块，用于：定期将每个所述备份阶段内的各所述热数据的子增量备份文件和各所述冷数据的子增量备份文件进行合并，得到每个所述备份阶段的增量备份文件。较佳地，所述备份模块，还用于：预先进行全量备份，得到全量备份文件；所述备份合并模块，还用于：当各所述备份阶段的增量备份文件的数量达到预设数量时，将各备份阶段的增量备份文件合并到所述全量备份文件中。较佳地，所述冷热数据确定模块，还用于：在数据初始导入时，确定导入的数据为冷数据；所述冷热数据确定模块，具体用于：针对每个所述备份阶段：在该备份阶段开始之前，每执行一次查询语句后，判断所述查询语句中所查询的字段被查询的总次数是否达到预设阈值；如果是，确定所查询的字段为热字段，该字段对应的数据为热数据；否则，确定所查询的字段为冷字段，该字段对应的数据仍为冷数据；以在该备份阶段开始时，最终确定的热数据和冷数据为该备份阶段内需要备份的冷数据和热数据。较佳地，如果在每个所述备份阶段内，所述冷数据的子增量备份文件有两个以上；所述备份合并模块，具体用于：将所述备份阶段内，各所述热数据的子增量备份文件进行合并，得到所述备份阶段的热数据的增量备份文件；将所述备份阶段内，各所述冷数据的子增量备份文件进行合并，得到所述备份阶段的冷数据的增量备份文件；将所述备份阶段的所述热数据的增量备份文件和所述冷数据的增量备份文件进行合并，得到所述备份阶段的增量备份文件；如果在每个所述备份阶段内，所述冷数据的子增量备份文件只有一个；所述备份模块，具体用于：将所述备份阶段内，各所述热数据的子增量备份文件进行合并，得到所述备份阶段的热数据的增量备份文件；将所述备份阶段的所述热数据的增量备份文件和所述冷数据的子增量备份文件进行合并，得到所述备份阶段的增量备份文件。较佳地，所述备份模块，具体用于：对所述热数据采用第一备份频率进行增量备份，对所述冷数据采用第二备份频率进行增量备份的过程中，对所述热数据和所述冷数据分别保留同一列的ID值；所述备份合并模块，具体用于：根据保留的同一列的ID值，对所述热数据的子增量备份文件和所述冷数据的子增量备份文件进行合并。本专利技术实施例的有益效果如下：本专利技术实施例提供的数据备份的方法及装置中，由于热数据是比较重要的数据，因而在每个备份阶段，仅对热数据采用较高频率进行增量备份，冷数据采用相对于热数据较低的频率进行增量备份，与现有技术中将所有的数据都进行全量备份或者将所有的新增数据或改变的数据进行增量备份的方式相比，极大的减小了备份开销，提高了备份效率，实现了对热数据的及时备份，保证了重要数据的极少丢失。附图说明图1为本专利技术实施例本文档来自技高网...

【技术保护点】
一种数据备份的方法，其特征在于，包括：确定每个备份阶段内需要备份的冷数据和热数据；对于每个所述备份阶段，对所述热数据采用第一备份频率进行增量备份，得到至少两个热数据的子增量备份文件，对所述冷数据采用第二备份频率进行增量备份，得到至少一个冷数据的子增量备份文件；其中，所述第一备份频率大于所述第二备份频率；将每个所述备份阶段内的所述热数据的子增量备份文件和所述冷数据的子增量备份文件进行合并，得到每个所述备份阶段的增量备份文件。

【技术特征摘要】
1.一种数据备份的方法，其特征在于，包括：确定每个备份阶段内需要备份的冷数据和热数据；对于每个所述备份阶段，对所述热数据采用第一备份频率进行增量备份，得到至少两个热数据的子增量备份文件，对所述冷数据采用第二备份频率进行增量备份，得到至少一个冷数据的子增量备份文件；其中，所述第一备份频率大于所述第二备份频率；将每个所述备份阶段内的所述热数据的子增量备份文件和所述冷数据的子增量备份文件进行合并，得到每个所述备份阶段的增量备份文件。2.根据权利要求1所述的方法，其特征在于，该方法还包括：预先进行全量备份，得到全量备份文件；当各所述备份阶段的增量备份文件的数量达到预设数量时，将各备份阶段的增量备份文件合并到所述全量备份文件中。3.根据权利要求1所述的方法，其特征在于，该方法还包括：在数据初始导入时，确定导入的数据为冷数据；所述确定每个备份阶段内需要备份的冷数据和热数据，包括：针对每个所述备份阶段：在该备份阶段开始之前，每执行一次查询语句后，判断所述查询语句中所查询的字段被查询的总次数是否达到预设阈值；如果是，确定所查询的字段为热字段，该字段对应的数据为热数据；否则，确定所查询的字段为冷字段，该字段对应的数据仍为冷数据；将在该备份阶段开始时最终确定的热数据和冷数据，作为该备份阶段内需要备份的冷数据和热数据。4.根据权利要求1所述的方法，其特征在于，如果在每个所述备份阶段内，所述冷数据的子增量备份文件有两个以上；将每个所述备份阶段内的所述热数据的子增量备份文件和所述冷数据的子增量备份文件进行合并，包括：将所述备份阶段内，各所述热数据的子增量备份文件进行合并，得到所述备份阶段的热数据的增量备份文件；将所述备份阶段内，各所述冷数据的子增量备份文件进行合并，得到所述备份阶段的冷数据的增量备份文件；将所述备份阶段的所述热数据的增量备份文件和所述冷数据的增量备份文件进行合并，得到所述备份阶段的增量备份文件；如果在每个所述备份阶段内，所述冷数据的子增量备份文件只有一个；将每个所述备份阶段内的所述热数据的子增量备份文件和所述冷数据的子增量备份文件进行合并，包括：将所述备份阶段内，各所述热数据的子增量备份文件进行合并，得到所述备份阶段的热数据的增量备份文件；将所述备份阶段的所述热数据的增量备份文件和所述冷数据的子增量备份文件进行合并，得到所述备份阶段的增量备份文件。5.根据权利要求1～4任一项所述的方法，其特征在于，对所述热数据采用第一备份频率进行增量备份，对所述冷数据采用第二备份频率进行增量备份，包括：对所述热数据采用第一备份频率进行增量备份，对所述冷数据采用第二备份频率进行增量备份的过程中，对所述热数据和所述冷数据分别保留同一列的标识ID值；将每个所述备份阶段内的所述热数据的子增量备份文件和所述冷数据的子增量备份文件进行合并，得到每个所述备份阶段的增量备份文...

【专利技术属性】
技术研发人员：黄乐，朱林浩，王亮，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：浙江,33