一种数据校验的数据质量管控方法技术

本发明专利技术涉及数据汇聚中数据质量管控领域，具体提供了一种数据校验的数据质量管控方法，有事前节点、事中节点和事后节点三部分，不同节点采用不同的校验算法,具体为：所述事前节点中制定标准规则，所述事中节点中进行身份校验和字段级校验，所述事后节点中进行逻辑运算校验和预警校验。与现有技术相比，本发明专利技术通过事前、事中和事后三个数据汇聚节点进行数据质量检测，基本涵盖了数据处理的所有节点，能够从数据处理的生命周期做到从开始到结束，全程护航数据，确保数据质量稳定可靠，具有良好的推广价值。推广价值。推广价值。

【技术实现步骤摘要】
一种数据校验的数据质量管控方法


[0001]本专利技术涉及数据汇聚中数据质量管控领域，具体提供一种数据校验的数据质量管控方法。

技术介绍

[0002]数据质量管理(Data Quality Management)，是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。
[0003]目前的数据质量管理主要集中于字段级校验,且校验阶段大多位于事后。
[0004]一方面校验覆盖面不够全面，另一方面，校验的维度不够多样，对于问题数据无法及时反馈，导致数据质量管控难度较大，质量不高。

技术实现思路

[0005]本专利技术是针对上述现有技术的不足，提供一种实用性强的数据校验的数据质量管控方法。
[0006]本专利技术解决其技术问题所采用的技术方案是：
[0007]一种数据校验的数据质量管控方法，有事前节点、事中节点和事后节点三部分，不同节点采用不同的校验算法,具体为：
[0008]所述事前节点中制定标准规则，所述事中节点中进行身份校验和字段级校验，所述事后节点中进行逻辑运算校验和预警校验。
[0009]进一步的，在事中节点身份校验中，数据汇集中，数据生产者身份要进行验证。
[0010]进一步的，在事中节点字段级校验中，数据汇聚过程中根据标准规范进行字段级数据校验，字段级校验提供相关校验结果查询功能，且校验完毕的数据存在待校验库，经过事后节点逻辑运算校验后迁移到正式库。
[0011]作为优选，字段级数据校验规则包括完整性、数据准确性、数据一致性和数据及时性。
[0012]进一步的，在事后节点逻辑运算中，根据待校验库中数据的汇聚时间，定时进行逻辑运算校验，校验通过，转移数据进正式数据库，校验失败提供相关校验结果查询功能，提示数据问题。
[0013]进一步的，在事后节点逻辑运算中，校验失败的数据提供待校验数据查询，及时查找数据问题并针对性进行修正。
[0014]进一步的，在事后节点预警校验中，逻辑校验完毕通过的数据将会被迁移进正式库，此时的数据一定程度上已经属于可信数据。
[0015]进一步的，在事后节点预警校验中，要进一步提高数据质量，设置部分预警算法，用于对异常数据进行校验。
[0016]本专利技术的一种数据校验的数据质量管控方法和现有技术相比，具有以下突出的有益效果：
[0017]本专利技术通过事前、事中和事后三个数据汇聚节点进行数据质量检测，基本涵盖了数据处理的所有节点，能够从数据处理的生命周期做到从开始到结束，全程护航数据，确保数据质量稳定可靠。
[0018]校验算法层面，通过身份校验、字段级校验、逻辑运算校验及预警监测校验等算法，从不同粒度、不同维度，全方位对数据进行核查，深挖数据问题。结合待校验库、正式库，提供相关的字段级校验查询、待校验数据查询、逻辑校验结果查询、预警数据查询等功能，从制度上进行考评打分，各种维度确保数据质量。
附图说明
[0019]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]附图1是一种数据校验的数据质量管控方法的流程示意图；
[0021]附图2是一种数据校验的数据质量管控方法中字段级校验结果图；
[0022]附图3是一种数据校验的数据质量管控方法中进销存校验结果图；
[0023]附图4是一种数据校验的数据质量管控方法中汇总明细校验图；
[0024]附图5是一种数据校验的数据质量管控方法中待校验数据查询图。
具体实施方式
[0025]为了使本
的人员更好的理解本专利技术的方案，下面结合具体的实施方式对本专利技术作进一步的详细说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本专利技术保护的范围。
[0026]下面给出一个最佳实施例：
[0027]如图1所示，本实施例中的一种数据校验的数据质量管控方法，有事前节点、事中节点和事后节点三部分，在所述事前节点中制定标准规则，在所述事中节点中进行身份校验和字段级校验，在所述事后节点中进行逻辑运算校验和预警校验。
[0028]事前标准制定：标准规范建设是系统的基石，能够一定程度上解决系统数据质量规范问题。根据后续数据需求及要汇聚的业务数据，制定科学详细的标准规范，确保数据既能满足需求又合理稳定。
[0029]事中节点身份校验：数据汇聚过程中，数据生产者身份要进行验证，确保数据来源可靠，防止数据被非法篡改。
[0030]如图2所示，事中节点字段级校验：数据汇聚过程中根据标准规范要求进行字段级数据校验，包括数据完整性、数据准确性、数据一致性、数据及时性等校验规则。字段级校验提供相关校验结果查询功能，方便及时发现问题，修正数据错误重新汇聚。字段级校验完毕的数据存在待校验库，需经过逻辑运算校验以后才能迁移到正式库。
[0031]如图3、4所示，事后节点逻辑运算校验：根据数据的业务特性，有针对地进行逻辑运算，由此判断数据是否合法，例：进货数据
‑
销售数据＝库存数据、日销售汇总数据＝销售明细数据合计等。此外，也可以从数据的不同维度进行校验，比如企业级校验、门店级校验、商品级校验等。
[0032]根据待校验库中数据的汇聚时间，定时进行逻辑运算校验，校验通过，转移数据进正式数据库，校验失败提供相关校验结果查询功能，提示数据问题，确保数据及时进行修正。
[0033]如图5所示，校验失败的数据共提供待校验数据查询，及时查找数据问题并针对性进行修正，提高数据质量。
[0034]事后节点预警校验：逻辑校验完毕通过的数据将会被迁移进正式库，此时的数据一定程度上已经属于可信数据，为进一步提高数据质量，还需要设置部分预警算法，对于异常数据进行校验。例：数据中存在退换货数据，却无该订单的发货数据等。事后预警校验需结合考核打分进行，针对问题数据设置一定的处罚措施，从制度上提高数据质量。
[0035]具体的流程为：
[0036]为收集所属店铺相关进销存数据，要求店铺定时进行数据上报。根据要收集的进销存数据特点，梳理数据标准，包含入库、调拨、销售、破损、库存等数据，每一类数据梳理相关字段信息。对于上报方下发唯一身份标识，数据上报过程中要带着密钥进行访问。
[0037]数据接收方收到请求以后，首先根据密钥进行身份校验，身份验证通过后，对于必填字段及相关字段类型、值域等进行字段级校验，校验失败提供相关校验日志查询，校验成功，数据存入待校验数据库。
[0038]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据校验的数据质量管控方法，其特征在于：有事前节点、事中节点和事后节点三部分，不同节点采用不同的校验算法,具体为：所述事前节点中制定标准规则，所述事中节点中进行身份校验和字段级校验，所述事后节点中进行逻辑运算校验和预警校验。2.根据权利要求1所述的一种数据校验的数据质量管控方法，其特征在于，在事中节点身份校验中，数据汇集中，数据生产者身份要进行验证。3.根据权利要求2所述的一种数据校验的数据质量管控方法，其特征在于，在事中节点字段级校验中，数据汇聚过程中根据标准规范进行字段级数据校验，字段级校验提供相关校验结果查询功能，且校验完毕的数据存在待校验库，经过事后节点逻辑运算校验后迁移到正式库。4.根据权利要求3所述的一种数据校验的数据质量管控方法，其特征在于，字段级数据校验规则包括完整性、数据准确性、数据一致性和数...

【专利技术属性】
技术研发人员：高冉，唐立宝，
申请(专利权)人：浪潮软件股份有限公司，
类型：发明
国别省市：