数据质量校验方法及装置制造方法及图纸

本发明专利技术提供了一种数据质量校验方法及装置，涉及数据校验领域。数据质量校验方法包括：对待校验的数据源进行解析，得到数据源元数据；对预定义的校验流程配置进行解析，得到校验流程配置的节点的节点配置；依据节点配置将校验流程配置的节点动态组装并编译成可执行的分布式计算服务；根据可执行的分布式计算服务和数据源元数据对数据源进行校验运算，得到校验结果。本发明专利技术提供的数据质量校验方法及装置能够充分利用计算资源提升对数据质量校验的计算速度，满足对于数据持续增长的数据质量校验需求。

Data quality checking method and device

The invention provides a data quality checking method and device, and relates to the field of data validation. Data quality verification methods include: parsing the data source of verification to get data source metadata; parsing the predefined verification process configuration to get the node configuration of verification process configuration; dynamically assembling and compiling the nodes of verification process configuration into executable distributed computing according to node configuration. Services: According to the executable distributed computing services and data source metadata, the data source is checked and the results are obtained. The data quality checking method and device provided by the invention can make full use of computing resources to improve the calculation speed of data quality checking and meet the data quality checking demand for the continuous growth of data.

【技术实现步骤摘要】
数据质量校验方法及装置
本专利技术涉及数据校验领域，具体而言，涉及一种数据质量校验方法及装置。
技术介绍
随着现代信息网络建设的飞速发展，软件办公，移动互联网早已融入各行各业。伴随着软件产业的进步，各行各业的业务在快速建设的同时，经过长年累月的积累，必然产生大量的业务数据。在业务数据产生的同时，大量的错误数据也随之产生，数据的正确性往往影响业务方的业务建设。因此数据的质量问题面临严峻挑战。传统的数据质量自动化校验方法采用单机，或者多台相互独立的计算资源方式进行数据校验，在对海量数据的数据质量校验时，在多个相互独立的单机上完成质量校验，无法充分利用计算资源。在数据持续增长时，不能简单快速有效的扩展机器资源提升计算能力和对数据量增长的支撑，效率低下。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提供一种数据质量校验方法及装置，以改善上述问题。第一方面，本专利技术实施例提供了一种数据质量校验方法，应用于集群服务器中的其中一个服务器，所述方法包括：对待校验的数据源进行解析，得到数据源元数据；对预定义的校验流程配置进行解析，得到所述校验流程配置的节点的节点配置；依据所述节点配置将所述校验流程本文档来自技高网...

【技术保护点】
1.一种数据质量校验方法，应用于集群服务器中的其中一个服务器，其特征在于，所述方法包括：对待校验的数据源进行解析，得到数据源元数据；对预定义的校验流程配置进行解析，得到所述校验流程配置的节点的节点配置；依据所述节点配置将所述校验流程配置的节点动态组装并编译成可执行的分布式计算服务；根据可执行的所述分布式计算服务和所述数据源元数据对所述数据源进行校验运算，得到校验结果。

【技术特征摘要】
1.一种数据质量校验方法，应用于集群服务器中的其中一个服务器，其特征在于，所述方法包括：对待校验的数据源进行解析，得到数据源元数据；对预定义的校验流程配置进行解析，得到所述校验流程配置的节点的节点配置；依据所述节点配置将所述校验流程配置的节点动态组装并编译成可执行的分布式计算服务；根据可执行的所述分布式计算服务和所述数据源元数据对所述数据源进行校验运算，得到校验结果。2.根据权利要求1所述的方法，其特征在于，所述节点配置包括每个校验节点的节点类型、节点元数据以及对应的下一校验节点，所述节点元数据用于描述校验规则。3.根据权利要求2所述的方法，其特征在于，所述节点类型为空值校验、精度校验或格式校验。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：读取待校验的所述数据源。5.根据权利要求1所述的方法，其特征在于，所述依据所述节点配置将所述校验流程配置的节点动态组装并编译成可执行的分布式计算服务，包括：根据所述节点配置将所述校验流程配置的节点依序组装成分布式计算服务；将组装成的所述分布式计算服务编译成所述可执行的分布式计算服务。6.根据权利要求1所述的方法，其特征在于，所述根据可执行的所述分布式计算服务和所述数据源元数据对所述数据源进行校验运算，包括：将可执行的所述分布式计算服务提交给所述集...

【专利技术属性】
技术研发人员：王双，王纯斌，刘俊良，庞攀，
申请(专利权)人：成都四方伟业软件股份有限公司，
类型：发明
国别省市：四川,51