一种多类型大数据量下的数据核查方法及工具技术

本发明专利技术公开一种多类型大数据量下的数据核查方法及工具，涉及数据核查技术领域，数据核查方法包括：制定一个规则配置表，用来说明数据类型及不同类型数据的核查规则；读取需要进行数据核查的数据表，获取数据表所包含字段对应的数据类型；根据数据表中各字段的数据类型加载对应的核查规则，完成不同数据类型的字段的核查；核查结果通过消息中间件写入数据库

【技术实现步骤摘要】
一种多类型大数据量下的数据核查方法及工具


[0001]本专利技术涉及数据核查
，具体的说是一种多类型大数据量下的数据核查方法及工具
。

技术介绍

[0002]对于存在大量的，多列数据，同时需要配置关联性核查规则时，一般会在数据抽取时，通过脚本的方式先对其数据质量进行控制，但是遇到核查逻辑过于复杂并且需要灵活配置的情况，脚本就会难以维护和开发，如果专注于脚本的开发，对于一些有数据分析需求的场景并不友好，数据抽取时的质量控制和应用层的数据分析核查处于两个层面，一种是对于数据粗粒度的检查，一种是用户可以更加灵活可配置的检查方式
。
对于应用层的软件来说，设计出一个好的软件架构，就可以通用于多种类型的数据，统一方便的解决这一类的数据问题与需求
。

技术实现思路

[0003]本专利技术针对目前技术发展的需求和不足之处，提供一种多类型大数据量下的数据核查方法及工具，以结合已有的数据，通过配置灵活的核查规则，对不同类型数据进行核查
。
[0004]首先，本专利技术提供一种多类型大数据量下的数据核查方法，解决上述技术问题采用的技术方案如下：
[0005]一种多类型大数据量下的数据核查方法，包括如下步骤：
[0006]制定一个规则配置表，用来说明数据类型及不同类型数据的核查规则；
[0007]读取需要进行数据核查的数据表，获取数据表所包含字段对应的数据类型；
[0008]根据数据表中各字段的数据类型加载对应的核查规则，完成不同数据类型的字段的核查；
[0009]核查结果通过消息中间件写入数据库
。
[0010]可选的，核查规则是预先写好的规则的代码表示，或者，核查规则通过由用户配置脚本，由核查规则嵌套调用脚本，来对数据进行核查
。
[0011]可选的，获取数据表所包含字段对应的数据类型后，使用
Java
语言的反射机制，以及
Spring Framework
中的
ApplicationContextUtil
工具，根据规则配置表，加载不同数据类型对应的核查规则
。
[0012]可选的，针对不同数据类型对应的核查规则，由统一的线程池调用分配线程，执行时，将数据传入对应核查规则，核查规则将核查结果统一发送至消息中间件
。
[0013]可选的，属于同一个数据表的字段具有相同的标识；
[0014]不同类型且具有相同标识的字段通过加载的核查规则进行核查，
[0015]若数据表的所有字段核查合格，则将该数据表通过消息中间件写入数据库，
[0016]若数据表的部分字段核查合格，则记录核查不合格的字段，通过消息中间件将记
录内容和数据表的合格字段通过消息中间件写入数据库
。
[0017]其次，本专利技术提供一种多类型大数据量下的数据核查工具，解决上述技术问题采用的技术方案如下：
[0018]一种多类型大数据量下的数据核查工具，包括：
[0019]自定义模块，用于制定一个规则配置表，用来说明数据类型及不同类型数据的核查规则；
[0020]数据处理模块，用于读取需要进行数据核查的数据表，获取数据表所包含字段对应的数据类型；
[0021]数据核查模块，用于根据数据表中各字段的数据类型加载对应的核查规则，完成不同数据类型的字段的核查；
[0022]写入模块，用于将核查结果通过消息中间件写入数据库
。
[0023]可选的，核查规则是预先写好的规则的代码表示，或者，核查规则通过由用户配置脚本，由核查规则嵌套调用脚本，来对数据进行核查
。
[0024]可选的，数据处理模块获取数据表所包含字段对应的数据类型后，数据核查模块使用
Java
语言的反射机制，以及
Spring Framework
中的
ApplicationContextUtil
工具，根据规则配置表，加载不同数据类型对应的核查规则
。
[0025]可选的，针对不同数据类型对应的核查规则，数据核查模块通过统一的线程池调用分配线程，执行线程时，将数据传入对应核查规则，核查规则将核查结果统一发送至消息中间件
。
[0026]可选的，数据核查工具还包括数据标识模块，通过数据标识模块对属于同一个数据表的所有字段进行相同的标识；
[0027]数据核查模块对不同类型且具有相同标识的字段通过加载的核查规则进行核查，
[0028]若数据表的所有字段核查合格，写入模块将该数据表通过消息中间件写入数据库，
[0029]若数据表的部分字段核查合格，则记录核查不合格的字段，写入模块通过消息中间件将记录内容和数据表的合格字段通过消息中间件写入数据库
。
[0030]本专利技术的一种多类型大数据量下的数据核查方法及工具，与现有技术相比具有的有益效果是：
[0031]本专利技术通过不同类型数据和自定义核查规则的隔离，无需关心数据的来源，只需将该字段的元数据配置到规则配置表，不同类型数据对应的核查规则以规则类的运行形式保存，在运行时给规则类传入规则配置中对应的元数据，即可实现对应类型数据的质量核查
。
附图说明
[0032]附图1是本专利技术实施例一的方法流程图；
[0033]附图2是本专利技术实施例二的模块连接框图
。
具体实施方式
[0034]为使本专利技术的技术方案
、
解决的技术问题和技术效果更加清楚明白，以下结合具
体实施例，对本专利技术的技术方案进行清楚
、
完整的描述
。
[0035]实施例一：
[0036]结合附图1，本实施例提出一种多类型大数据量下的数据核查方法，包括如下步骤：
[0037](
一
)
制定一个规则配置表，用来说明数据类型及不同类型数据的核查规则
。
[0038]核查规则是预先写好的规则的代码表示，或者，核查规则通过由用户配置脚本，由核查规则嵌套调用脚本，来对数据进行核查
。
[0039](
二
)
读取需要进行数据核查的数据表，获取数据表所包含字段对应的数据类型
。
[0040]获取数据表所包含字段对应的数据类型后，使用
Java
语言的反射机制，以及
Spring Framework
中的
ApplicationContextUtil
工具，根据规则配置表，加载不同数据类型对应的核查规则
。
[0041](
三
)
根据数据表中各字段的数据类型加载对应的核查规则，完成不同数据类型的字段的核查
。
[0042]针对不同数据类型对应的核查规则，由统一的线程池调用分配线程，执行时，将数据传本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多类型大数据量下的数据核查方法，其特征在于
,
包括如下步骤：制定一个规则配置表，用来说明数据类型及不同类型数据的核查规则；读取需要进行数据核查的数据表，获取数据表所包含字段对应的数据类型；根据数据表中各字段的数据类型加载对应的核查规则，完成不同数据类型的字段的核查；核查结果通过消息中间件写入数据库
。2.
根据权利要求1所述的一种多类型大数据量下的数据核查方法，其特征在于，核查规则是预先写好的规则的代码表示，或者，核查规则通过由用户配置脚本，由核查规则嵌套调用脚本，来对数据进行核查
。3.
根据权利要求1所述的一种多类型大数据量下的数据核查方法，其特征在于，获取数据表所包含字段对应的数据类型后，使用
Java
语言的反射机制，以及
Spring Framework
中的
ApplicationContextUtil
工具，根据规则配置表，加载不同数据类型对应的核查规则
。4.
根据权利要求1所述的一种多类型大数据量下的数据核查方法，其特征在于，针对不同数据类型对应的核查规则，由统一的线程池调用分配线程，执行时，将数据传入对应核查规则，核查规则将核查结果统一发送至消息中间件
。5.
根据权利要求1所述的一种多类型大数据量下的数据核查方法，其特征在于，属于同一个数据表的字段具有相同的标识；不同类型且具有相同标识的字段通过加载的核查规则进行核查，若数据表的所有字段核查合格，则将该数据表通过消息中间件写入数据库，若数据表的部分字段核查合格，则记录核查不合格的字段，通过消息中间件将记录内容和数据表的合格字段通过消息中间件写入数据库
。6.
一种多类型大数据量下的数据核查工具，其特征在于
,
包括：自定义模块，用于制定...

【专利技术属性】
技术研发人员：耿乾政，
申请(专利权)人：山东浪潮智慧医疗科技有限公司，
类型：发明
国别省市：