库间数据比对方法、其装置及电子设备制造方法及图纸

本申请提供了一种库间数据比对方法、其装置及电子设备，该方法包括：首先，构建包括标准环境数据的标准库表；然后，采用预设比对范围清单从标准库表中提取出标准数据清单，且采用预设比对范围清单从多个生产环境库表中提取出生产数据清单，以得到标准数据清单以及多个生产环境对应的生产数据清单；最后，针对各生产环境库表，进行标准数据清单和生产数据清单之间的比对，得到比对结果。一方面，通过预设比对范围清单，实现了一次性比对多个生产环境库表与标准库表中的数据，另一方面，通过预设比对范围清单，避免了现有技术中利用客户端工具，通过人工干预进行比对，导致比对准确率较低的问题，保证了库间数据比对结果的准确性较高以及效率较高。高以及效率较高。高以及效率较高。

【技术实现步骤摘要】
库间数据比对方法、其装置及电子设备


[0001]本申请涉及银行领域，具体而言，涉及一种库间数据比对方法、其装置及电子设备。

技术介绍

[0002]现有技术中，一个数据库同另外一个数据库进行比对，通常的做法为使用客户端工具，比如Navicat、PLSql、Toad等数据库连接的客户端，通过人工干预，使用图形化的操作，选中同一个网络环境中的两套库，进行比对，并生成比对结果。
[0003]这种做法，首先，对于第一次投产的环境，想实现测试环境标准库中的数据与生产环境数据库下的比对，因为跨了网络，无法互通，是无法进行正确性比对核验的；其次，基于客户端的比对的方法，无法按要求生成结构化的分析结果；再次，通常通过客户端进行的数据核对，需要针对数据库DDL(Data Definition Language，数据库模式定义语言)、DML(Data Manipulation Language，数据操纵语言)要分别进行，且库表或者数据量较大时，速度比较慢，并容易卡死，无法并行操作，在核对时间要求比较高的情况下，无法满足要求。最后，如上做法，无法一次性把DDL、DML的比对结果的汇总数据、明细数据生成出来，不方便比对结果分析。

技术实现思路

[0004]本申请的主要目的在于提供一种库间数据比对方法、其装置及电子设备，以至少解决现有技术中的一套库一套库的比对，效率低下，在时间要求较高的情况下，不具备可行性的问题。
[0005]为了实现上述目的，根据本申请的一个方面，提供了一种库间数据比对方法，所述方法包括：构建标准库表，所述标准库表中包括标准环境数据；采用预设比对范围清单从所述标准库表中提取出标准数据清单，采用所述预设比对范围清单从多个生产环境库表中提取出生产数据清单；针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的比对，得到比对结果。
[0006]可选地，进行所述标准数据清单和所述生产数据清单之间的比对，得到比对结果，包括：在多个所述生产环境库表运行在不同的网络环境中的情况下，针对各所述生产环境库表，在多个所述网络环境中并行执行多个所述标准数据清单与所述生产数据清单之间的比对，得到多个所述比对结果；在多个所述生产环境库表运行在同一个网络环境中的情况下，针对各所述生产环境库表，在同一个所述网络环境中的多个线程上并行执行多个所述标准数据清单与所述生产数据清单之间的比对，得到多个所述比对结果。
[0007]可选地，针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的比对，得到比对结果，包括至少以下之一：针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的字段个数比对和字段类型比对，得到字段差异结果；针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的索引比对，
得到索引差异结果；针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的分区比对，得到分区差异结果；针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的主键比对，得到主键比对结果；针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的分表个数比对，得到分表个数差异结果；针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的参数表数量和参数表内容比对，得到参数表数量差异结果和参数表内容差异结果；针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的表空间比对，得到表空间差异结果。
[0008]可选地，在针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的比对，得到比对结果之后，所述方法还包括：将所述分表个数差异结果和所述参数表数量差异结果采用统一的格式，统计在汇总输出结果表中，所述汇总输出结果表中还包括各所述生产环境库表的差异明细文件，所述差异明细文件存储在txt文件中。
[0009]可选地，所述方法还包括：获取所述预设比对范围清单；其中，获取所述预设比对范围清单，包括至少以下之一：获取所述预设比对范围清单中的数据库模式、数据库名称和表名称，以用于区分预分析的表归属数据库以及比对分析的表的范围；获取所述预设比对范围清单中的分片类型，以用于针对数据库中的表进行分表，按多种分片规则分成多张表；获取所述预设比对范围清单中的是否分区表特性，以用于针对进行分区的表的比对算法的判断依据；获取所述预设比对范围清单中的是否参数采集特性，以用于区分是否要采集表中的数据；获取所述预设比对范围清单中的标准数据量，以用于在表的类型为参数表的情况下，作为比对的参考值。
[0010]可选地，针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的比对，得到比对结果，包括：采用diff指令，针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的比对，得到所述比对结果。
[0011]可选地，构建标准库表，所述标准库表中包括标准环境数据，包括：获取标准DDL脚本和所述标准环境数据；采用Shell脚本将所述标准DDL脚本和所述标准环境数据，构建所述标准库表。
[0012]可选地，针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的比对，得到比对结果，包括：在目标生产环境库表与所述标准库表运行在不同的网络环境中的情况下，将所述标准数据清单和工具包打包为文件包；将所述文件包迁移至所述目标生产环境库表所在的网络环境中，以进行所述标准数据清单和所述生产数据清单之间的比对，得到所述比对结果。
[0013]根据本申请的另一方面，提供了一种库间数据比对装置，所述装置包括构建单元、提取单元以及比对单元，其中，所述构建单元用于构建标准库表，所述标准库表中包括标准环境数据；所述提取单元用于采用预设比对范围清单从所述标准库表中提取出标准数据清单，采用所述预设比对范围清单从多个生产环境库表中提取出生产数据清单；所述比对单元用于针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的比对，得到比对结果。
[0014]根据本申请的再一方面，提供了一种电子设备，所述电子设备包括一个或多个处理器，存储器，以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并
且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行任一种所述的库间数据比对方法。
[0015]应用本申请的技术方案，所述的库间数据比对方法包括：首先，构建包括标准环境数据的标准库表；然后，采用预设比对范围清单从所述标准库表中提取出标准数据清单，且采用所述预设比对范围清单从多个生产环境库表中提取出生产数据清单，以得到所述标准数据清单以及多个生产环境对应的所述生产数据清单；最后，针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的比对，得到比对结果。相比现有技术中的一套库一套库的比对，效率低下，在时间要求较高的情况下，不具备可行性的问题，本申请的所述库间数据比对方法，通过采用所述预设比对范围清单，从所述标准库表中提取所述标准数据清单，以及从多个所述生产环境库表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种库间数据比对方法，其特征在于，包括：构建标准库表，所述标准库表中包括标准环境数据；采用预设比对范围清单从所述标准库表中提取出标准数据清单，采用所述预设比对范围清单从多个生产环境库表中提取出生产数据清单；针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的比对，得到比对结果。2.根据权利要求1所述的方法，其特征在于，进行所述标准数据清单和所述生产数据清单之间的比对，得到比对结果，包括：在多个所述生产环境库表运行在不同的网络环境中的情况下，针对各所述生产环境库表，在多个所述网络环境中并行执行多个所述标准数据清单与所述生产数据清单之间的比对，得到多个所述比对结果；在多个所述生产环境库表运行在同一个网络环境中的情况下，针对各所述生产环境库表，在同一个所述网络环境中的多个线程上并行执行多个所述标准数据清单与所述生产数据清单之间的比对，得到多个所述比对结果。3.根据权利要求1所述的方法，其特征在于，针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的比对，得到比对结果，包括至少以下之一：针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的字段个数比对和字段类型比对，得到字段差异结果；针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的索引比对，得到索引差异结果；针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的分区比对，得到分区差异结果；针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的主键比对，得到主键比对结果；针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的分表个数比对，得到分表个数差异结果；针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的参数表数量和参数表内容比对，得到参数表数量差异结果和参数表内容差异结果；针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的表空间比对，得到表空间差异结果。4.根据权利要求3所述的方法，其特征在于，在针对各所述生产环境库表，进行所述标准数据清单和所述生产数据清单之间的比对，得到比对结果之后，所述方法还包括：将所述分表个数差异结果和所述参数表数量差异结果采用统一的格式，统计在汇总输出结果表中，所述汇总输出结果表中还包括各所述生产环境库表的差异明细文件，所述差异明细文件存储在txt文件中。5.根据权利要求1所述的方...

【专利技术属性】
技术研发人员：牛新庄，赵静，李时利，刘亚飞，徐慧斌，
申请(专利权)人：中国邮政储蓄银行股份有限公司，
类型：发明
国别省市：