数据备份方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种数据备份方法，包括：获取预设日期的多个业务数据表并创建对应的空白切片表；利用预设的朴素贝叶斯算法提取所述各个业务数据表中的关键字段；将各个所述业务数据表中的所述关键字段及对应的数据保存至对应的空白切片表中，得到各个所述业务数据表对应的目标切片表。本发明专利技术实施例不仅减少了存储资源的占用，且实现对每日数据的实时备份，同时，在保证数据准确性及完整性的基础上，大幅度减少了存储资源的占用，实现了对每天的业务数据表进行备份而不需要每天进行全量表的备份，极大地减少了存储资源的浪费且极大提高了存储资源的利用率。

【技术实现步骤摘要】
数据备份方法、系统、设备及存储介质
本专利技术涉及大数据
，具体涉及一种数据备份方法、系统、设备及存储介质。
技术介绍
随着互联网技术的飞速发展，数据信息也越来越多，同时也需要对越来越多的数据信息进行备份。传统的数据备份方式是每天将全量表数据备份到数据库中，这种数据备份方式极大地浪费了数据库的存储资源。当业务量爆发时，由于数据库的存储空间有限，则可能会面临无法存储的风险。因此，本专利技术旨在解决现有技术中进行数据备份时，存储资源严重浪费的问题。
技术实现思路
本专利技术的目的在于提供一种数据备份方法、系统、计算机设备及可读存储介质，用于解决现有技术中进行数据备份时，存储资源严重浪费的缺陷。根据本专利技术的一个方面，提供了一种数据备份方法，该方法包括如下步骤：获取预设日期的多个业务数据表并创建对应的空白切片表，所述空白切片表用于存储所述业务数据表在所述预设日期的备份数据；利用预设的朴素贝叶斯算法提取各个所述业务数据表中的关键字段，所述关键字段为至少在两个所述业务数据表中同时存在的字段，所述关键字段包括用户基本信息字段、用户授信信息字段以及用户借贷信息字段；将各个所述业务数据表中的所述关键字段及对应的数据保存至对应的空白切片表中，得到各个所述业务数据表对应的目标切片表。可选地，所述将各个所述业务数据表中的所述关键字段及对应的数据保存至对应的空白切片表中，包括：获取各个所述业务数据表的表名及日期并根据各个所述业务数据表的表名及日期匹配出对应的目标空白切片表，所述目标空白切片表的表名由所述业务数据表的表名及日期组成；分别将各个所述业务数据表的表名及各个所述目标空白切片表的表名作为参数传入预设的结构化查询语言语句中，以组装出查询各个所述业务数据表对应的第一查询语句以及查询各个所述目标空白切片表对应的第二查询语句；利用各个所述第一查询语句查询各个所述业务数据表，得到各个所述业务表对应的数据查询结果；利用各个所述第二查询语句查询出各个所述业务数据表对应的空白切片表；将各个所述业务数据表对应的数据查询结果保存至对应的空白切片表中。可选地，所述将各个所述业务数据表中的所述关键字段及对应的数据保存至对应的空白切片表中，得到各个所述业务数据表对应的目标切片表之后，所述方法还包括：对各个所述业务数据表及对应的目标切片表进行数据一致性验证。可选地，所述对各个所述业务数据表及对应的目标切片表进行数据一致性验证，包括：分别对第一预设日期对应的所述业务数据表中关键字段对应的数据及所述第一预设日期对应的所述目标切片表中关键字段对应的数据进行查询，得到各个所述业务数据表对应的第一查询结果及各个所述目标切片表对应的第二查询结果；将各个所述业务数据表对应的第一查询结果与各个所述业务数据表对应的目标切片表对应的第二查询结果进行比较，得到各个第一比较结果，并根据各个所述第一比较结果完成对各个所述业务数据表及对应的目标切片表的数据一致性的验证。可选地，所述根据各个所述第一比较结果完成对各个所述业务数据表及对应的目标切片表的数据一致性的验证，包括：当所述第一比较结果为所述业务数据表对应的第一查询结果与所述业务数据表对应的目标切片表对应的第二查询结果一致时，表示验证通过，完成对所述业务数据表与对应的目标切片表的数据一致性的验证；当所述第一比较结果为所述业务数据表对应的第一查询结果与所述业务数据表对应的目标切片表对应的第二查询结果不一致时，表示验证不通过，完成对所述业务数据表与对应的目标切片表的数据一致性的验证。可选地，所述对各个所述业务数据表及对应的目标切片表进行数据一致性验证，还包括：分别对第二预设日期对应的所述业务数据表的总数据量及对应的目标切片表的总数据量进行统计，得到各个所述业务数据表对应的第一总数据量及各个所述目标切片表对应的第二总数据量；将各个所述业务数据表对应的第一总数据量与对应的目标切片表的第二总数据量进行比较，得到各个第二比较结果，并根据各个所述第二比较结果完成对各个所述业务数据表与对应的目标切片表的数据一致性的验证。可选地，所述根据各个所述第二比较结果完成对各个所述业务数据表与对应的目标切片表的数据一致性的验证，包括：当所述第二比较结果为所述业务数据表对应的第一总数据量与对应的目标切片表的第二总数据量一致时，表示验证通过，完成对所述业务数据表与所述目标切片表的数据一致性的验证；当所述第二比较结果为所述业务数据表对应的第一总数据量与对应的目标切片表的第二总数据量不一致时，表示验证不通过，完成对所述业务数据表与所述目标切片表的数据一致性的验证。为了实现上述目的，本专利技术还提供一种数据备份系统，该系统具体包括以下组成部分：获取模块，用于获取预设日期的多个业务数据表并创建对应的空白切片表，所述空白切片表用于存储所述业务数据表在所述预设日期的备份数据；提取模块，用于利用预设的朴素贝叶斯算法提取各个所述业务数据表中的关键字段，所述关键字段为至少在两个所述业务数据表中同时存在的字段，所述关键字段包括用户基本信息字段、用户授信信息字段以及用户借贷信息字段；备份模块，用于将各个所述业务数据表中的所述关键字段及对应的数据保存至对应的空白切片表中，得到各个所述业务数据表对应的目标切片表。为了实现上述目的，本专利技术还提供一种计算机设备，该计算机设备具体包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述介绍的数据备份方法的步骤。为了实现上述目的，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述介绍的数据备份方法的步骤。本专利技术实施例提供的数据备份方法，通过利用预设的朴素贝叶斯算法提取各个所述业务数据表中的关键字段，并将关键字段及业务数据表中关键字段对应的数据保存至预先创建的空白切片表中，得到所述业务数据表对应的目标切片表。本专利技术实施例不仅减少了存储资源的占用，且实现对每日数据的实时备份，同时，在保证数据准确性及完整性的基础上，大幅度减少了存储资源的占用，实现了对每天的业务数据表进行备份而不需要每天进行全量表的备份，极大地减少了存储资源的浪费且极大提高了存储资源的利用率。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为本专利技术实施例提供的数据备份方法的一种可选的步骤流程示意图；图2为本专利技术实施例提供的图1中步骤S300的一种可选的步骤细化流程示意图；图3为本专利技术实施例提供的数据备份方法的一种可选的步骤细化流程示意图；图4为本专利技术实施例提供的数据备份方法的另一种可选的步骤细化流程示意图；图5为本专利技术实施本文档来自技高网...

【技术保护点】
1.一种数据备份方法，其特征在于，所述方法包括：/n获取预设日期的多个业务数据表并创建对应的空白切片表，所述空白切片表用于存储所述业务数据表在所述预设日期的备份数据；/n利用预设的朴素贝叶斯算法提取各个所述业务数据表中的关键字段，所述关键字段为至少在两个所述业务数据表中同时存在的字段，所述关键字段包括用户基本信息字段、用户授信信息字段以及用户借贷信息字段；/n将各个所述业务数据表中的所述关键字段及对应的数据保存至对应的空白切片表中，得到各个所述业务数据表对应的目标切片表。/n

【技术特征摘要】
1.一种数据备份方法，其特征在于，所述方法包括：
获取预设日期的多个业务数据表并创建对应的空白切片表，所述空白切片表用于存储所述业务数据表在所述预设日期的备份数据；
利用预设的朴素贝叶斯算法提取各个所述业务数据表中的关键字段，所述关键字段为至少在两个所述业务数据表中同时存在的字段，所述关键字段包括用户基本信息字段、用户授信信息字段以及用户借贷信息字段；
将各个所述业务数据表中的所述关键字段及对应的数据保存至对应的空白切片表中，得到各个所述业务数据表对应的目标切片表。


2.如权利要求1所述的数据备份方法，其特征在于，所述将各个所述业务数据表中的所述关键字段及对应的数据保存至对应的空白切片表中，包括：
获取各个所述业务数据表的表名及日期并根据各个所述业务数据表的表名及日期匹配出对应的目标空白切片表，所述目标空白切片表的表名由所述业务数据表的表名及日期组成；
分别将各个所述业务数据表的表名及各个所述目标空白切片表的表名作为参数传入预设的结构化查询语言语句中，以组装出查询各个所述业务数据表对应的第一查询语句以及查询各个所述目标空白切片表对应的第二查询语句；
利用各个所述第一查询语句查询各个所述业务数据表，得到各个所述业务表对应的数据查询结果；
利用各个所述第二查询语句查询出各个所述业务数据表对应的空白切片表；
将各个所述业务数据表对应的数据查询结果保存至对应的空白切片表中。


3.如权利要求1所述的数据备份方法，其特征在于，所述将各个所述业务数据表中的所述关键字段及对应的数据保存至对应的空白切片表中，得到各个所述业务数据表对应的目标切片表之后，所述方法还包括：
对各个所述业务数据表及对应的目标切片表进行数据一致性验证。


4.如权利要求3所述的数据备份方法，其特征在于，所述对各个所述业务数据表及对应的目标切片表进行数据一致性验证，包括：
分别对第一预设日期对应的所述业务数据表中关键字段对应的数据及所述第一预设日期对应的所述目标切片表中关键字段对应的数据进行查询，得到各个所述业务数据表对应的第一查询结果及各个所述目标切片表对应的第二查询结果；
将各个所述业务数据表对应的第一查询结果与各个所述业务数据表对应的目标切片表对应的第二查询结果进行比较，得到各个第一比较结果，并根据各个所述第一比较结果完成对各个所述业务数据表及对应的目标切片表的数据一致性的验证。


5.如权利要求4所述的数据备份方法，其特征在于，所述根据各个所述第一比较结果完成对各个所述业务数据表及对应的目标切片表的数据一致性的验证，包括：
当所述第一比较结果为所述业务数据表对...

【专利技术属性】
技术研发人员：刘栩良，
申请(专利权)人：平安消费金融有限公司，
类型：发明
国别省市：上海;31