一种基于队列的多表关联比对校验方法技术

本发明专利技术涉及一种基于队列的多表关联比对校验方法，属于数据库领域。本发明专利技术通过对队列先进先出的特性、数据匹配计算方法等关键技术、设计思想和实现方法的使用，有效的解决了背景技术方案中业务数据库校验不支持多数据库并且资源消耗严重和抽取到本地库校验导致存储资源占用率高的实际问题，可以在基本不影响业务数据表所处生成环境稳定性的前提下完成对多表关联校验的目标。成对多表关联校验的目标。成对多表关联校验的目标。

【技术实现步骤摘要】
一种基于队列的多表关联比对校验方法


[0001]本专利技术属于数据库领域，具体涉及一种基于队列的多表关联比对校验方法。

技术介绍

[0002]如何校验数据的完整性、一致性、准确性、规范性、合理性一直是数据治理领域的重点问题，随着数据量的增长，越来越多的企业开始利用数据创新业务，提供数据服务，于是如何保证数据的质量、如何在不影响业务的前提下，高效地进行数据质量检测成为关键焦点，而其中最耗时的多表关联校验成为数据质量校验的难点。
[0003]对数据进行多表关联校验，已知的通用基础方法包括如下两种：
[0004]1、基于业务数据库校验；
[0005]业务数据库校验是指在业务数据库上，通过编写SQL语句的方式关联查询出数据，并使用数据库本身函数或自定义函数校验数据，实现简单，常用于小数据量校验和临时性校验。
[0006]2、抽取数据到本地数据库计算。
[0007]抽取数据到本地数据库计算是利用数据采集工具将业务数据库的数据抽取到本地数据库，然后使用业务数据库校验的方式，在本地数据库上进行数据校验。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于队列的多表关联比对校验方法，其特征在于，该方法包括：S0、每一个表存放在独立的队列中，在读取数据表数据时，要对每个数据表按照各自的关联属性字段进行降序排序，然后将表中的每一行数据作为一个元素存放到队列中；S1、每个表设置一个变量，用于存放从队列中获取的数据对象；S2、判断变量是否为空，都不为空，执行S5，其他执行S3读取数据；S3、对为空的变量重新赋值，从相应的数据队列中读取数据，若队列中无值，执行S6，其他执行S4；S4、通过比较关联属性，如果关联属性相同则匹配成功，所有变量设置为空，执行S2，其他执行S5；S5、丢弃关联属性值较小的数据；将其对应变量设置为空，执行S2；S6、结束。2.如权利要求1所述的基于队列的多表关联比对校验方法，其特征在于，所述步骤S0还包括：当队列中的数据全部匹配完毕之后，将下一批数据加入到队列，循环此操作直至表中数据全部加入到队列并完成匹配。3.如权利要求1所述的基于队列的多表关联比对校验方法，其特征在于，所述步骤S2中判断变量是否为空具体包括：首先判断获取的对象是否为空，如不为空，再判断关联属性，如果关联属性为空，则认为整个对象为空。4.如权利要求1所述的基于队列的多表关联比对校验方法，其特征在于，所述步骤S4中，对匹配成功的数据，按照配置的规则进行数据校验，对除关联属性外其他属性进行对比，如其他属性相同则通过校验，否则不通过。5.如权利要求4所述的基于队...

【专利技术属性】
技术研发人员：王艳春，王楠，刘利民，
申请(专利权)人：航天科工网络信息发展有限公司，
类型：发明
国别省市：