一种数据库表快速精确校验方法技术

本发明专利技术公开了一种数据库表快速精确校验方法，包括以下步骤：步骤1.数据源选择；步骤2.数据校验；步骤3.结果展示；其中步骤1包括选定两个需要进行比较数据源，其中一个是原始数据，另一个是备份数据，选择校验的范围。本发明专利技术通过分片校验的方法，能够应对海量数据的一致性校验，同时在分片校验过程中通过哈希运算节约了计算资源，校验速度快，且能够提供精确到行列的校验结果。

A fast and accurate verification method for database tables

【技术实现步骤摘要】
一种数据库表快速精确校验方法
本专利技术涉及数据库安全领域，尤其涉及一种数据库表快速精确校验的方法。
技术介绍
我们已经进入了数字时代，在数字时代里，数据的重要性不言而喻。大量的业务需求产生了大量的数据，如何有效的保护这些重要数据一直是一个重要的课题。现阶段一种非常有效的做法就是针对数据进行容灾备份，确保数据存在多个副本，在原始数据产生灾难性故障的时候，通过备份数据可以快速的恢复业务，另外备份数据还能作为其他关联业务的数据源，为其他业务提供服务。但是，对数据进行容灾备份的时候，必须保证原始数据和备份数据的一致性，但是由于数据规模的不断增大，数据一致性校验难度也在不断增加。传统的一致性校验有多种做法，一种是有针对性的局部校验，比如校验记录行数，或者通过将数据导出到文本中，然后通过文本的方式进行对比分析。另外一种则是使用SQL的客户端工具的比对功能。局部校验的方式是比较粗糙的一种校验形式，只能针对部分的应用场景。通过一些工具作比对，能做到比较细致的比对，但是随着单表数据量的增大,校验效率也会越来越低，同时也存在因为资源消耗过大而导致无法校验的情况。为此，本专利技术提供了一种数据库表快速精确校验的方法，主要针对复杂数据结构的数据库进行一致性校验，并解决了单表数据量太大导致单表无法做精确数据校验的问题，实现了高效的数据校验。
技术实现思路
为实现本专利技术之目的，采用以下技术方案予以实现：一种数据库表快速精确校验方法，包括以下步骤：步骤1.数据源选择；步骤2.数据校验；步骤3.结果展示；其中步骤1包括选定两个需要进行比较的数据源，其中一个是原始数据，另一个是备份数据，选择校验的范围。所述的数据库表快速精确校验方法，其中步骤2包括：(1)数据结构校验：检查原始数据和备份数据的数据结构，如果原始数据和备份数据的数据结构不一致则不进行校验；如果原始数据和备份数据的数据结构一致，则进行后续的校验。所述的数据库表快速精确校验方法，其中步骤2还包括：(2)唯一键校验：检查原始数据和备份数据是否都具备行唯一键，如果是，则执行(3)数据分片。所述的数据库表快速精确校验方法，其中步骤2中(3)数据分片包括：查询原始数据和备份数据的数据表的真实行数，设定分片数，查询原始数据和备份数据的行唯一键，对行唯一键做HASH运算，然后将运算结果取分片数的模，将取模后的值相同的行归为同一个分片，该取模后的值作为该分片的序号。所述的数据库表快速精确校验方法，其中步骤2还包括：(4)一致性校验：对于原始数据和备份数据的每个分片，分别对每一行中的各列进行HASH计算并进行求和，得到该行的行值，比较原始数据和备份数据中的相同分片序号中的相同的行唯一键所对应的行值，如果相同，则认为原始数据和备份数据的该行数据一致，在行记录表中记录该行数据一致，如果不相同，在行记录表中记录该行数据不一致，合并所有的分片的校验结果，即将所有分片的行记录表合并为一个校对记录表。所述的数据库表快速精确校验方法，其中：对于行数据不一致的情况，还要再进行详细比对，即将原始数据和备份数据的该行数据中的每列的数据进行比对，并在行记录表中记录每列的比对结果，即某列数据一致或某列数据不一致。所述的数据库表快速精确校验方法，其中步骤3包括：列出所有的比对对象以及相应的比对结果，每个对象的比对结果包括行数据一致信息和行数据不一致信息。附图说明图1为本方法流程图；图2为ORACLE类型对比图；图3为MYSQL类型对比图。具体实施方式下面，结合附图对本专利技术的具体实施方式进行详细说明。如图1所示，本专利技术的数据库表快速校验方法包括以下步骤：步骤1.数据源选择：选定两个需要进行比较的数据源，其中一个是原始数据，另一个是备份数据，可以选择性的选择校验的范围，比如数据源的整个数据库者数据库下面的某个具体表。步骤2.数据校验：(1)数据结构校验：检查校验两端(原始数据和备份数据)的数据结构，如果原始数据和备份数据的数据结构不一致且不能进行数据类型转换匹配的则不能进行校验；如果原始数据和备份数据的数据结构一致，则进行唯一键校验；针对异构数据库，如果能够进行数据类型转换匹配，则需要有针对性的进行数据类型的转换匹配，即将进行校验的两个数据库表中的存储类型进行自定义标准类型转换。在异构数据库中,数据的存储类型会有各自不同的表达形式，就市场上面常用的数据库Mysql和Oracle针对的整形数值结果的存储，Oracle中为NUMBER/INTEGER，Mysql中为INT/INTEGER/DECIMAL。在进行类型校验的时候首先要规范这些类型，主要分为几种自定义类型，整形:NUMBER,浮点型:DOUBLE，字符串:STRING,日期：DATE，上述的自定义标准类型转换即将异构数据库表中的存储类型转换为本专利技术的自定义标准类型中的一种，包括整形、浮点型、字符型、日期等，类型转换完成后进行后续校验步骤。针对目前市场上使用比较广泛的MYSQL和ORACLE数据库，针对常用数据类型的匹配表如图2，图3所示。(2)唯一键校验：对原始数据和备份数据是否具备行唯一键做校验，如果原始数据和备份数据都存在主键，或者唯一索引或者多主键等情况，则视为该原始数据和备份数据的数据表都具备行唯一键，可以使用行唯一键完成对数据的精确校验；如果不存在行唯一键，则对原始数据和备份数据进行全表全列的HASH求和计算对比，并返回结果。(3)数据分片：查询原始数据和备份数据的数据表的真实行数，以此作为分片的基础，设定分片数量，分片主要基于数据量的考虑，正常设定一个分片的大小宜不超过100万行为佳。分片的具体方式是：查询原始数据和备份数据的行唯一键，对行唯一键做HASH(哈希)运算，然后将运算结果取分片数(例如分片数可取100)的模，将取模后的值相同的行归为同一个分片，该取模后的值即为该分片的序号。(4)一致性校验：比对原始数据和备份数据的每个分片的数据：对于每个分片，分别对每一行中的各列进行HASH计算并进行求和，得到该行的行值，比较原始数据和备份数据中的相同分片序号中的相同的行唯一键的键值所对应的行值，如果相同，则认为原始数据和备份数据的该行数据一致，在行记录表中记录该行数据一致，如果不相同，在行记录表中记录该行数据不一致。合并所有的分片的校验结果，即将所有分片的行记录表合并为一个校对记录表。优选的，对于行数据不一致的情况，还要再进行详细比对，即将原始数据和备份数据的该行数据中的每列的数据进行比对，并在行记录表中记录每列的比对结果，即某列数据一致或某列数据不一致。优选的，一致性校验过程中，应同时校对是否存在不一致结果超过预期设定的情况，如果数据不一致的行的数量超出了预设的阈值，则终止一致性校验，输出不一致超出阈值的提示。步骤3.结果展示：生成一致性校验的结果集并进行展示：列出所有的比对对象以及相应的比对结果状态，每个对象的比对结果，包括行数据一致信息本文档来自技高网...

【技术保护点】
1.一种数据库表快速精确校验方法，其特征在于包括以下步骤：步骤1.数据源选择；步骤2.数据校验；步骤3.结果展示；其中步骤1包括选定两个需要进行比较的数据源，其中一个是原始数据，另一个是备份数据，选择校验的范围。/n

【技术特征摘要】
1.一种数据库表快速精确校验方法，其特征在于包括以下步骤：步骤1.数据源选择；步骤2.数据校验；步骤3.结果展示；其中步骤1包括选定两个需要进行比较的数据源，其中一个是原始数据，另一个是备份数据，选择校验的范围。

【专利技术属性】
技术研发人员：徐国忠，何泽松，曹徐平，汪月明，
申请(专利权)人：北京西骏数据科技股份有限公司，
类型：发明
国别省市：北京;11