一种数据质量校验方法技术

本发明专利技术提供了数据校验技术领域的一种数据质量校验方法，包括如下步骤：步骤S10、通过JDBC技术从数据源中获取待校验的初始数据；步骤S20、配置用于数据校验的字典、外键以及自定义规则模板；步骤S30、基于所述字典、外键以及自定义规则模板生成校验规则列表；步骤S40、调度所述校验规则列表对初始数据进行自动校验，生成数据校验结果；步骤S50、展示所述数据校验结果。本发明专利技术的优点在于：极大的提升了数据质量校验的效率以及质量。量校验的效率以及质量。量校验的效率以及质量。

【技术实现步骤摘要】
一种数据质量校验方法


[0001]本专利技术涉及数据校验
，特别指一种数据质量校验方法。

技术介绍

[0002]随着计算机技术的发展，基于互联网的医疗信息系统的建设在各医疗单位大量开展，医院信息化发展日益磅礴。医院信息化发展到一定程度，数据自然成为关注的焦点，数据在不断诞生，并汇聚到数据中心，但诞生的这些数据中也存在一些问题数据，如果不能及时、精准地对数据质量进行把关，将会存在越来越多的“坏数据”，甚至将数据中心弄“脏”；因此，产生了对数据质量进行校验的需求。
[0003]然而，针对数据质量的校验，传统上仅是采取人工抽查的方法，不仅导致数据质量的校验效率低下，而且校验的维度单一，导致校验的质量也不尽如人意。因此，如何提供一种数据质量校验方法，实现提升数据质量校验的效率以及质量，成为一个亟待解决的技术问题。

技术实现思路

[0004]本专利技术要解决的技术问题，在于提供一种数据质量校验方法，实现提升数据质量校验的效率以及质量。
[0005]本专利技术是这样实现的：一种数据质量校验方法，包括如下步骤：
[0006]步骤S10、通过JDBC技术从数据源中获取待校验的初始数据；
[0007]步骤S20、配置用于数据校验的字典、外键以及自定义规则模板；
[0008]步骤S30、基于所述字典、外键以及自定义规则模板生成校验规则列表；
[0009]步骤S40、调度所述校验规则列表对初始数据进行自动校验，生成数据校验结果；
[0010]步骤S50、展示所述数据校验结果。
[0011]进一步地，所述步骤S10具体为：
[0012]通过JDBC技术，基于数据源名称、数据源类型、主机IP、数据库名、端口、用户名以及密码从数据源中获取待校验的初始数据。
[0013]进一步地，所述步骤S10中，所述数据源为MySQL数据库、Oracle数据库或者SQLServer数据库。
[0014]进一步地，所述步骤S20具体为：
[0015]基于字段的映射关系配置用于数据校验的字典；
[0016]基于数据源、表名、外键列、父表名以及关联列配置用于数据校验的外键；
[0017]基于规则模板名称、规则模板sql、表名、字段名以及参数名配置用于数据校验的自定义规则模板。
[0018]进一步地，所述步骤S30具体为：
[0019]基于所述字典、外键以及数据库本身的约束自动添加数据校验规则，或者通过所述自定义模板或sql手动添加数据校验规则，基于各所述数据校验规则生成校验规则列表。
[0020]进一步地，所述步骤S40具体为：
[0021]创建若干个携带校验批次数据的定时调度任务，通过JAVA多线程技术启动各所述定时调度任务，进而周期性调度校验规则列表对初始数据进行自动校验，或者手动调度所述校验规则列表对初始数据进行校验，并自动生成数据校验结果。
[0022]进一步地，所述校验批次数据至少包括数据开始时间、数据结束时间以及数据机构用于过滤本次校验的数据。
[0023]进一步地，所述步骤S40中，对所述初始数据进行自动校验的过程中，实时计算已完成校验的数据量与初始数据的总数量的比值以得到校验进度，通过js定时器以1秒为周期获取并展示所述校验进度。
[0024]进一步地，所述步骤S40中，对所述初始数据进行自动校验的过程中，自动生成并存储校验执行记录。
[0025]进一步地，所述步骤S50具体为：
[0026]通过ApachePOI的API展示和导出所述数据校验结果；所述数据校验结果至少包括校验数据总量、异常数据量以及数据校验规则总数。
[0027]本专利技术的优点在于：
[0028]1、通过JDBC技术从MySQL数据库、Oracle数据库或者SQLServer数据库的数据源中获取待校验的初始数据，配置用于数据校验的字典、外键以及自定义规则模板以生成校验规则列表，接着调度校验规则列表对初始数据进行自动校验，自动生成并展示数据校验结果，即通过配置的校验规则列表自动对初始数据进行多维校验，相对于传统的人工抽查，极大的提升了数据质量校验的效率以及质量。
[0029]2、通过配置化的操作完成对待校验的初始数据进行校验，即对初始数据进行多维度、可配置的校验，具有较强的可扩展性，除了内置的一些数据校验规则，用户还可以根据实际需要手动添加数据校验规则，以进行定制化校验，满足多种业务场景；而借助ApachePOI提供的API给予对数据校验结果读和写的功能，可以将数据校验结果进行导出、对外展示；同时支持MySQL数据库、Oracle数据库或者SQLServer数据库的多种数据源的数据质量校验，只需要通过JDBC技术即可轻松完成连接；通过创建定时调度任务，可以在选定的时间频率，如每天凌晨自动地完成数据质量校验，自动生成数据校验结果，对于数据问题严重的数据，还可以通过接入企业微信的方式及时进行推送。
附图说明
[0030]下面参照附图结合实施例对本专利技术作进一步的说明。
[0031]图1是本专利技术一种数据质量校验方法的流程图。
具体实施方式
[0032]本申请实施例中的技术方案，总体思路如下：通过JDBC技术从数据源自动获取待校验的初始数据，配置用于数据校验的字典、外键以及自定义规则模板以生成校验规则列表，基于创建的定时调度任务周期性调度校验规则列表对初始数据进行自动校验，自动生成并展示数据校验结果，以提升数据质量校验的效率以及质量。
[0033]请参照图1所示，本专利技术一种数据质量校验方法的较佳实施例，包括如下步骤：
[0034]步骤S10、通过JDBC技术从数据源中获取待校验的初始数据；
[0035]步骤S20、配置用于数据校验的字典、外键以及自定义规则模板；具体实施时，可根据不同的数据中心、系统、机构分别配置不同的所述字典、外键以及自定义规则模板；
[0036]步骤S30、基于所述字典、外键以及自定义规则模板生成校验规则列表；
[0037]步骤S40、调度所述校验规则列表对初始数据进行自动校验，生成数据校验结果；
[0038]步骤S50、展示所述数据校验结果。
[0039]所述步骤S10具体为：
[0040]通过JDBC技术，基于数据源名称、数据源类型、主机IP、数据库名、端口、用户名以及密码从数据源中获取待校验的初始数据。为了使用方便，代码中借助JdbcUtils工具类进一步完成封装，在之后的使用中，只要编写SQL并执行，就可以完成对数据源中的目标数据的操作，且支持跨库操作，同个数据库只需要填写一个数据源信息即可，同个数据库下的操作共用这个数据源。
[0041]具体实施时，可批量从各数据源中导入包含初始数据的数据表，并可选择查看的字段。
[0042]所述步骤S10中，所述数据源为MySQL数据库、Oracle数据库或者SQL Server数据库。
[0043]所述步骤S20具体为：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据质量校验方法，其特征在于：包括如下步骤：步骤S10、通过JDBC技术从数据源中获取待校验的初始数据；步骤S20、配置用于数据校验的字典、外键以及自定义规则模板；步骤S30、基于所述字典、外键以及自定义规则模板生成校验规则列表；步骤S40、调度所述校验规则列表对初始数据进行自动校验，生成数据校验结果；步骤S50、展示所述数据校验结果。2.如权利要求1所述的一种数据质量校验方法，其特征在于：所述步骤S10具体为：通过JDBC技术，基于数据源名称、数据源类型、主机IP、数据库名、端口、用户名以及密码从数据源中获取待校验的初始数据。3.如权利要求1所述的一种数据质量校验方法，其特征在于：所述步骤S10中，所述数据源为MySQL数据库、Oracle数据库或者SQLServer数据库。4.如权利要求1所述的一种数据质量校验方法，其特征在于：所述步骤S20具体为：基于字段的映射关系配置用于数据校验的字典；基于数据源、表名、外键列、父表名以及关联列配置用于数据校验的外键；基于规则模板名称、规则模板sql、表名、字段名以及参数名配置用于数据校验的自定义规则模板。5.如权利要求1所述的一种数据质量校验方法，其特征在于：所述步骤S30具体为：基于所述字典、外键以及数据库本身的约束自动添加数据校验规则，...

【专利技术属性】
技术研发人员：杨辉，黄家昌，林华，林文健，
申请(专利权)人：福建亿能达信息技术股份有限公司，
类型：发明
国别省市：