单据数据质量检测方法、系统、设备及计算机可读介质技术方案

本申请公开了一种单据数据质量检测方法、系统、设备及计算机可读介质，该方法包括：根据输入的数据检测条件构造数据检索条件，输出检索的条件范围；根据所述检索的条件范围，确定待巡检的业务数据及数据异常的判定条件，输出带有检验标准和检验范围的巡检项目；基于所述巡检项目构造巡检模型，包括构造数据间的数据血缘关系，输出由巡检模型控制的巡检项目；利用由巡检模型控制的巡检项目构造巡检计划，基于所述巡检计划对业务数据进行质量检测。本申请基于数据血缘关系构建巡检任务，方便用户及时检测业务数据质量，并能对检测出的数据进行修复，不仅可扩展性强，同时降低了维护和运营成本。成本。成本。

【技术实现步骤摘要】
单据数据质量检测方法、系统、设备及计算机可读介质


[0001]本申请涉及数据管理
，尤其涉及一种单据数据质量检测方法、系统、设备及计算机可读介质。

技术介绍

[0002]随着企业业务的发展，数据质量成为企业信息系统稳定运行的壁垒，该壁垒发现难，且容易造成严重数据质量事故，轻则影响企业正常生产业务执行，重则错误数据造成企业重大经济损失。因此，如何保证企业数据资产的质量是业务数据管理工作中的重要一环。
[0003]目前，企业使用的系统中，主要是靠业务单据界面的校验逻辑以及人为手工认定保证数据的质量，而系统中往往供应链业务流程长、场景多、单据间的反写数据复杂，若仅依赖人工检测数据质量，显然要耗费大量人力物力，不仅检测周期长，且会因为质检员工作经验的差异影响检测结果的准确性。另外，一旦出现质量问题，则需要手动写入SQL脚本在数据库层面，查询分析数据；然而现在的信息化系统，业务数据中大量数据在数据库存储的是业务数据的关系ID或者基础数据的ID，使用SQL脚本查询数据无法直观的识别业务数据，以对数据质量进行判定或对问题数据进行定位，因此单据数据质量检测工作开展难度大，也容易造成数据质量事故。

技术实现思路

[0004]本申请的目的在于提供一种单据数据质量检测方法、系统、设备及计算机可读介质，至少解决现有的业务单据数据质量检测方法中存在的开展难度大、耗费周期长、检测效果不理想等技术问题之一。
[0005]为实现上述目的，第一方面，本申请提供一种单据数据质量检测方法，包括：
[0006]根据输入的数据检测条件构造数据检索条件，输出检索的条件范围；
[0007]根据所述检索的条件范围，确定待巡检的业务数据及数据异常的判定条件，输出带有检验标准和检验范围的巡检项目；
[0008]基于所述巡检项目构造巡检模型，包括构造数据间的数据血缘关系，输出由巡检模型控制的巡检项目；
[0009]利用由巡检模型控制的巡检项目构造巡检计划，基于所述巡检计划对业务数据进行质量检测。
[0010]在第一方面的一些实现方式中，构造巡检模型的过程还包括构造巡检线程池；所述构造巡检线程池，包括：
[0011]采用主线程批处理和固定线程数字的线程池资源构造线程池资源；
[0012]封装执行目标至线程池以进行多线程控制，所述多线程包括主线程和多个子线程；其中，所述主线程根据配置指定每个所述子线程的执行时间以及超时后的处理机制。
[0013]在第一方面的一些实现方式中，在所述构造巡检线程池之后，还包括：
[0014]对线程池的线程数量、线程资源、CPU资源和内存资源进行分配；
[0015]设置线程死锁时效、死锁超时提醒以及死锁后的自动处理功能。
[0016]在第一方面的一些实现方式中，所述数据血缘关系通过血缘代际图谱模型来表示；所述构造数据间的数据血缘关系，输出由巡检模型控制的巡检项目，包括：
[0017]通过单据间具有血缘关系的数据，构建单据的血缘代际图谱模型；其中，
[0018]所述具有血缘关系的数据包括代表族类数据和血缘类数据；所述代表族类数据包括核心单据的数据，所述核心单据的数据被业务流程中的每个单据携带；所述血缘类数据包括来源单据的数据，所述来源单据用于表示所述业务流程中当前业务的上游业务；
[0019]基于所述血缘代际图谱模型，建立数据质量检测标准，以输出带有检验标准和检验范围的巡检项目。
[0020]在第一方面的一些实现方式中，所述利用由巡检模型控制的巡检项目构造巡检计划，包括：
[0021]确定执行时间范围和检测数据量阈值，根据所述巡检项目、所述执行时间范围和所述检测数据量阈值构造具有数据血缘关系的巡检计划。
[0022]在第一方面的一些实现方式中，所述基于所述巡检计划对业务数据进行质量检测，包括：
[0023]基于所述巡检计划，通过定时执行或手动执行方式，确定巡检任务；
[0024]将检测条件下的巡检数据量作为约束，执行所述巡检任务，生成巡检结果。
[0025]在第一方面的一些实现方式中，在所述生成巡检结果之后，还包括：
[0026]若巡检结果为合格数据，则直接输出并显示；
[0027]若巡检结果为异常数据，根据数据血缘关系和数据标准规则，修复异常数据。
[0028]在第一方面的一些实现方式中，所述的单据数据质量检测方法，还包括：
[0029]对巡检任务进行巡检监控，对任务执行情况进行可视化展示，并生成对应的巡检日志；其中，所述任务执行情况包括运行中、已终止、已完成及异常。
[0030]第二方面，本申请还提供一种单据数据质量检测系统，包括：
[0031]检索条件构建单元，用于根据输入的数据检测条件构造数据检索条件，输出检索的条件范围；
[0032]巡检项目确定单元，用于根据所述检索的条件范围，确定待巡检的业务数据及数据异常的判定条件，输出带有检验标准和检验范围的巡检项目；
[0033]巡检模型构造单元，用于基于所述巡检项目构造巡检模型，包括构造数据间的数据血缘关系，输出由巡检模型控制的巡检项目；
[0034]质量检测单元，用于利用由巡检模型控制的巡检项目构造巡检计划，基于所述巡检计划对业务数据进行质量检测。
[0035]第三方面，本申请还提供一种计算机设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的单据数据质量检测方法。
[0036]第四方面，本申请还提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的单据数据质量检测方法。
[0037]第五方面，本申请还提供一种计算机程序产品，当计算机程序产品在设备上运行时，使得计算机设备执行时实现如第一方面的所述的单据数据质量检测方法。
[0038]相对于现有技术，本申请的有益效果在于：
[0039]1)本申请通过将数据血缘关系模型化，实现数据产生的途径、来源、过程，以及对数据处理、加工、融合、流转分析中数据血缘关系抽象，方便用户及时检测信息系统的数据质量。这种模型化的方式，实现数据血缘关系的抽象可配置；能够对检测数据进行校验和修复，并对检验条件、检测结果和修复处理结果进行检测。
[0040]2)本申请构建了具有数据血缘关系的检测项目，不仅可扩展能力强，也提高了检测系统的适用性和稳定性，降低了维护和运营成本。
附图说明
[0041]为了更清楚地说明本申请的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]图1是本申请某一实施例提供的单据数据质量检测方法的流程示意图；
[0043]图2是本申请某一实施例提供的可配置数据质量巡检装置的结构示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种单据数据质量检测方法，其特征在于，包括：根据输入的数据检测条件构造数据检索条件，输出检索的条件范围；根据所述检索的条件范围，确定待巡检的业务数据及数据异常的判定条件，输出带有检验标准和检验范围的巡检项目；基于所述巡检项目构造巡检模型，包括构造数据间的数据血缘关系，输出由巡检模型控制的巡检项目；利用由巡检模型控制的巡检项目构造巡检计划，基于所述巡检计划对业务数据进行质量检测。2.根据权利要求1所述的单据数据质量检测方法，其特征在于，构造巡检模型的过程还包括构造巡检线程池；所述构造巡检线程池，包括：采用主线程批处理和固定线程数字的线程池资源构造线程池资源；封装执行目标至线程池以进行多线程控制，所述多线程包括主线程和多个子线程；其中，所述主线程根据配置指定每个所述子线程的执行时间以及超时后的处理机制。3.根据权利要求2所述的单据数据质量检测方法，其特征在于，在所述构造巡检线程池之后，还包括：对线程池的线程数量、线程资源、CPU资源和内存资源进行分配；设置线程死锁时效、死锁超时提醒以及死锁后的自动处理功能。4.根据权利要求1所述的单据数据质量检测方法，其特征在于，所述数据血缘关系通过血缘代际图谱模型来表示；所述构造数据间的数据血缘关系，输出由巡检模型控制的巡检项目，包括：通过单据间具有血缘关系的数据，构建单据的血缘代际图谱模型；其中，所述具有血缘关系的数据包括代表族类数据和血缘类数据；所述代表族类数据包括核心单据的数据，所述核心单据的数据被业务流程中的每个单据携带；所述血缘类数据包括来源单据的数据，所述来源单据用于表示所述业务流程中当前业务的上游业务；基于所述血缘代际图谱模型，建立数据质量检测标准，以输出带有检验标准和检验范围的巡检项目。5.根据权利要求1所述的单据数据质量检测方法，其特征在于，所述利用由巡检模型控制的巡检项目构造巡检计划，...

【专利技术属性】
技术研发人员：李红兵，陈纪东，赵现伟，张娜，刘新，
申请(专利权)人：金蝶软件中国有限公司，
类型：发明
国别省市：