一种数据质量检测方法、装置、系统及存储介质制造方法及图纸

本申请提供了一种数据质量检测方法、装置、系统及存储介质，该方法包括获取待检测数据，根据预设的质量规则对待检测数据进行校验获得校验结果，该校验结果包括打上第一标识的校验不合格的数据以及打上第二标识的校验合格的数据；将校验结果转化成预设的JSON格式的校验结果，将预设的JSON格式的校验结果存入弹性搜索，判断预设的JSON格式的校验结果是否存储完成；若是，则通过第一标识在弹性搜索中提取校验不合格的数据以及通过第二标识在弹性搜索中提取校验合格的数据，根据校验不合格的数据和校验合格的数据计算数据质量。

【技术实现步骤摘要】
一种数据质量检测方法、装置、系统及存储介质
本申请涉及数据质量监控
，主要涉及一种数据质量检测方法、装置、系统及存储介质。
技术介绍
在企业运营过程中，由于多地区、多产品、多业务、多系统的环境，导致数据存在诸多质量问题，主要包括：数据不一致、不完整、不统一等问题，由此导致管理者、业务人员和信息使用者的误解，导致数据利用出现错误，企业决策出现偏差。同时低劣数据质量往往造成开发出来的系统与用户预期大相径庭，并且导致运行维护成本过高，工作量过大，系统难以扩展。综上所述，数据质量的检测对于提高数据质量的至关重要的。但是目前数据质量的检测技术普遍存在着检测时间过长的问题。申请内容本申请的目的在于提供一种数据质量检测方法、装置、系统及存储介质，用于解决目前数据质量检测技术存在的检测时间过长的问题。为了实现上述目的，本申请提供了以下技术方案如下：第一方面：本申请提供了一种数据质量检测方法，所述方法包括：获取待检测数据，根据预设的质量规则对所述待检测数据进行校验获得校验结果，所述校验结果包括打上第一标识的校验不合格的数据以及打上第二标识的校验合格的数据；将所述校验结果转化成预设的JSON格式的校验结果，将所述预设的JSON格式的校验结果存入弹性搜索，判断所述预设的JSON格式的校验结果是否存储完成；若是，则通过所述第一标识在所述弹性搜索提取所述校验不合格的数据以及通过所述第二标识在所述弹性搜索提取所述校验合格的数据，根据所述校验不合格的数据和校验合格的数据计算数据质量。上述方案设计的方法，通过JSON作为数据质量检测的存储结构，并配合弹性搜索，使得操作简单，并且极大的提高了数据的检测效率和查询效率，缩短了数据的检测时间，为快速检测海量数据的质量提供了可能。在第一方面的可选实施方式中，所述根据预设的质量规则对所述待检测数据进行校验获得校验结果，所述校验结果包括打上第一标识的校验不合格的数据以及打上第二标识的校验合格的数据，包括：对所述待检测数据进行空值校验，获取空值校验结果，所述空值校验结果包括打上第一标识的空值校验不合格的数据以及打上第二标识的空值校验合格的数据。上述方案设计的方法，通过空值校验检测待检测数据中未知、不适用的数据，在检测到存在空值时则打上第一标识校验不合格，为后续的计算数据质量做准备。在第一方面的可选实施方式中，在所述将所述校验结果转化成预设的JSON格式的校验结果之后，所述方法还包括：将所述预设的JSON格式的校验结果存入队列。上述方案设计的方法，将JSON格式的校验结果先存储队列，再存入弹性搜索，使得先来的数据先存储，后来的数据后存储，避免数据流量过大引起数据丢失。在第一方面的可选实施方式中，所述获取待检测数据，根据预设的质量规则对所述待检测数据进行校验获得校验结果，包括：分批次获取待检测数据，根据预设的质量规则对所述分批次的待检测数据进行校验获得分批次的校验结果；所述获取待检测数据，根据预设的质量规则对所述待检测数据进行校验获得校验结果，包括：分批次获取待检测数据，根据预设的质量规则对所述分批次的待检测数据进行校验获得分批次的校验结果；在所述获得分批次的校验结果之后，所述方法还包括：将所述分批次的校验结果进行合并成校验结果。上述方案设计的方法，根据实际业务需求分批次进行待检测数据获取，使得数据的流量得到控制，进而使后续的质量检测不会因为流量过大而产生误差。在第一方面的可选实施方式中，所述根据所述校验不合格的数据和校验合格的数据计算数据质量，包括：统计校验不合格的数据的数量以及校验合格的数据的数量，计算校验不合格的数据的数量占总体数据数量的百分比。第二方面：本申请提供一种数据质量检测装置，所述装置包括：获取模块，用于获取待检测数据；校验模块，用于根据预设的质量规则对所述待检测数据进行校验；所述获取模块，还用于在所述校验模块对所述待检测数据进行校验之后获取检验结果，所述校验结果包括打上第一标识的校验不合格的数据以及打上第二标识的校验合格的数据；转化模块，用于将所述校验结果转化成预设的JSON格式的校验结果；存入模块，用于将所述预设的JSON格式的校验结果存入弹性搜索；判断模块，用于判断所述预设的JSON格式的校验结果是否存储完成；提取模块，用于在所述判断模块判断所述预设的JSON格式的校验结果存储完成之后，通过所述第一标识在所述弹性搜索中提取所述校验不合格的数据，以及，通过所述第二标识在所述弹性搜索中提取所述校验合格的数据；计算模块，用于根据所述校验不合格的数据和校验合格的数据计算数据质量。上述方案设计的装置，通过JSON作为数据质量检测的存储结构，并配合弹性搜索，使得操作简单，并且极大的提高了数据的检测效率和查询效率，缩短了数据的检测时间，为快速检测海量数据的质量提供了可能。第三方面：本申请提供一种数据质量检测系统，所述系统包括数据读取校验模块、弹性搜索以及数据质量检测模块，所述数据读取校验模块与所述弹性搜索连接，所述弹性搜索与所述数据质量检测模块连接，所述数据读取校验模块，用于获取待检测数据，根据预设的质量规则对所述待检测数据进行校验获得校验结果，所述校验结果包括打上第一标识的校验不合格的数据以及打上第二标识的校验合格的数据，以及，将所述校验结果转化成预设的JSON格式的校验结果，并将所述预设的JSON格式的校验结果发送给所述弹性搜索；所述弹性搜索，用于存储所述预设的JSON格式的校验结果，判断所述预设的JSON格式的校验结果是否存储完成，若是，则发送存储完成信息给所述数据质量检测模块；所述数据质量检测模块，用于在接收到所述存储完成信息后，通过所述第一标识在所述弹性搜索中提取所述校验不合格的数据以及通过所述第二标识在所述弹性搜索中提取所述校验合格的数据，根据所述校验不合格的数据和校验合格的数据计算数据质量。上述方案设计的系统，通过JSON作为数据质量检测的存储结构，并配合弹性搜索，使得操作简单，并且极大的提高了数据的检测效率和查询效率，缩短了数据的检测时间，为快速检测海量数据的质量提供了可能。在第三方面的可选实施方式中，所述系统还包括生成队列模块，用于接收所述数据读取校验模块发送的预设的JSON格式的校验结果，并将所述预设的JSON格式的校验结果存入队列。第四方面：本申请提供一种计算设备，包括：处理器，以及分别与处理器连接的存储器和通信模块，所述存储器存储有所述处理器可执行的机器可读指令，所述通信模块用于与外部设备进行通信传输；当所述计算设备运行时，所述处理器执行所述机器可读指令，以执行时执行第一方面、第一方面的任一可选的实现方式中的所述方法。第五方面：本申请提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行第一方面、第一方面的任一可选的实现方式中的所述方法。第六方面：本申请提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行第一方面、第一方面的任一可选的实现方式中的所述方法。本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。附图说明为了更清楚地说本文档来自技高网...

【技术保护点】
1.一种数据质量检测方法，其特征在于，所述方法包括：获取待检测数据，根据预设的质量规则对所述待检测数据进行校验获得校验结果，所述校验结果包括打上第一标识的校验不合格的数据以及打上第二标识的校验合格的数据；将所述校验结果转化成预设的JSON格式的校验结果，将所述预设的JSON格式的校验结果存入弹性搜索，判断所述预设的JSON格式的校验结果是否存储完成；若是，则通过所述第一标识在所述弹性搜索中提取所述校验不合格的数据以及通过所述第二标识在所述弹性搜索中提取所述校验合格的数据，根据所述校验不合格的数据和校验合格的数据计算数据质量。

【技术特征摘要】
1.一种数据质量检测方法，其特征在于，所述方法包括：获取待检测数据，根据预设的质量规则对所述待检测数据进行校验获得校验结果，所述校验结果包括打上第一标识的校验不合格的数据以及打上第二标识的校验合格的数据；将所述校验结果转化成预设的JSON格式的校验结果，将所述预设的JSON格式的校验结果存入弹性搜索，判断所述预设的JSON格式的校验结果是否存储完成；若是，则通过所述第一标识在所述弹性搜索中提取所述校验不合格的数据以及通过所述第二标识在所述弹性搜索中提取所述校验合格的数据，根据所述校验不合格的数据和校验合格的数据计算数据质量。2.根据权利要求1所述方法，其特征在于，所述根据预设的质量规则对所述待检测数据进行校验获得校验结果，所述校验结果包括打上第一标识的校验不合格的数据以及打上第二标识的校验合格的数据，包括：对所述待检测数据进行空值校验，获取空值校验结果，所述空值校验结果包括打上第一标识的空值校验不合格的数据以及打上第二标识的空值校验合格的数据。3.根据权利要求1所述方法，其特征在于，在所述将所述校验结果转化成预设的JSON格式的校验结果之后，所述方法还包括：将所述预设的JSON格式的校验结果存入队列。4.根据权利要求1所述方法，其特征在于，所述获取待检测数据，根据预设的质量规则对所述待检测数据进行校验获得校验结果，包括：分批次获取待检测数据，根据预设的质量规则对所述分批次的待检测数据进行校验获得分批次的校验结果；在所述获得分批次的校验结果之后，所述方法还包括：将所述分批次的校验结果进行合并成校验结果。5.根据权利要求1所述方法，其特征在于，所述根据所述校验不合格的数据和校验合格的数据计算数据质量，包括：统计校验不合格的数据的数量以及校验合格的数据的数量，计算校验不合格的数据的数量占总体数据数量的百分比。6.一种数据质量检测装置，其特征在于，所述装置包括：获取模块，用于获取待检测数据；校验模块，用于根据预设的质量规则对所述待检测数据进行校验；所述获取模块，还用于在所述校验模块对所述待检测数据进行校验之后获取检验结果，所述校验结果包括打上第一标识的校验不合格的数据以及打上第二标识的校验合格的数据；转化模块，用于将所述校验结果转化成预设的JS...

【专利技术属性】
技术研发人员：刘俊良，王双，王怡君，
申请(专利权)人：成都四方伟业软件股份有限公司，
类型：发明
国别省市：四川,51