【技术实现步骤摘要】
本申请涉及智慧家庭，尤其涉及一种数据质量管理方法、装置、存储介质及电子装置。
技术介绍
1、在大数据应用中，数据质量作为一项重要的衡量标准，用于保证数据满足使用的要求。不同的团队通过构建定制工具来检测和分析所属领域内的数据质量问题。
2、在相关技术中，数据质量作为数据治理过程中间重要的一环，在数据分析使用之前对数据进行校验，不仅保证了数据的可靠性和有效性，还能避免脏数据对业务产生较大的影响。
3、然而，相关技术中的数据质量校验不具有通用性，数据质量校验不仅成本高，还效率低下。
技术实现思路
1、本申请的目的是提供一种数据质量管理方法、装置、存储介质及电子装置，用于采用标准化的流程各类数据进行统一的质量校验，以提高数据质量校验的通用性，进而降低数据质量校验的成本，提高数据质量校验的效率。
2、本申请提供一种数据质量管理方法，包括：
3、基于质量规则模板生成针对目标数据的sql执行语句，并基于所述sql执行语句生成对应的质量检测脚本；执行所述质量检测脚本，对所述目标数据进行校验，并生成检测结果；其中，所述sql执行语句用于基于校验标准对所述目标数据行校验；所述校验标准包括以下至少一项：有效性、唯一性、完整性、一致性、准确性、及时性。
4、可选地，所述基于质量规则模板生成针对目标数据的sql执行语句，包括：获取用户基于所述质量规则模板对应的数据选择约束选择的所述目标数据；基于所述指令规则模板以及与所述指令规则模板对应的校验标准生
5、可选地，所述基于所述sql执行语句生成对应的质量检测脚本，包括：基于配置属性，生成配置信息，并基于所述配置信息以及所述sql执行语句生成对应的质量检测脚本；其中，所述配置信息包括以下至少一项：统计方式，统计类型，计分方式；所述统计方式包括以下任一项：百分比采样，全量数据采样，固定数据量采样；所述统计类型包括以下任一项：数据量统计，百分比统计；所述计分方式包括以下任一项：阈值计分方式和正态分布计分方式。
6、可选地，所述执行所述质量检测脚本，对所述目标数据进行校验，并生成检测结果，包括：在所述计分方式为所述阈值计分方式的情况下，若所述目标数据中不满足校验要求数据的数据量或者数据占比不满足所述统计类型指示的预设阈值，则确定所述目标数据未通过校验；否则，确定所述目标数据通过校验。
7、可选地，所述执行所述质量检测脚本，对所述目标数据进行校验，并生成检测结果，包括：在所述计分方式为所述正态计分方式的情况下，若所述目标数据中不满足校验要求数据的均值与所述统计类型指示的均值的差值超过第一阈值，和/或，所述目标数据中不满足校验要求数据的标准差与所述统计类型指示的标准差的差值超过第二阈值，则确定所述目标数据未通过校验；否则，确定所述目标数据通过校验。
8、可选地，所述确定所述目标数据未通过校验之后，所述方法还包括：在确定所述目标数据未通过校验的情况下，生成对应的作业工单，并将所述作业工单发送至对应的数据处理人员，由所述数据处理人员对所述目标数据进行数据清洗；重新对进行数据清洗后的所述目标数据进行校验，直至所述目标数据通过校验。
9、本申请还提供一种数据质量管理装置，包括：
10、生成模块，用于基于质量规则模板生成针对目标数据的sql执行语句，并基于所述sql执行语句生成对应的质量检测脚本；执行模块，用于执行所述质量检测脚本，对所述目标数据进行校验，并生成检测结果；其中，所述sql执行语句用于基于校验标准对所述目标数据行校验；所述校验标准包括以下至少一项：有效性、唯一性、完整性、一致性、准确性、及时性。
11、可选地，所述装置还包括：获取模块；所述获取模块，用于获取用户基于所述质量规则模板对应的数据选择约束选择的所述目标数据；所述生成模块，具体用于基于所述指令规则模板以及与所述指令规则模板对应的校验标准生成针对所述目标数据的所述sql执行语句。
12、可选地，所述生成模块，具体用于基于配置属性，生成配置信息，并基于所述配置信息以及所述sql执行语句生成对应的质量检测脚本；其中，所述配置信息包括以下至少一项：统计方式，统计类型，计分方式；所述统计方式包括以下任一项：百分比采样，全量数据采样，固定数据量采样；所述统计类型包括以下任一项：数据量统计，百分比统计；所述计分方式包括以下任一项：阈值计分方式和正态分布计分方式。
13、可选地，所述执行模块，具体用于在所述计分方式为所述阈值计分方式的情况下，若所述目标数据中不满足校验要求数据的数据量或者数据占比不满足所述统计类型指示的预设阈值，则确定所述目标数据未通过校验；否则，确定所述目标数据通过校验。
14、可选地，所述执行模块，具体用于在所述计分方式为所述正态计分方式的情况下，若所述目标数据中不满足校验要求数据的均值与所述统计类型指示的均值的差值超过第一阈值，和/或，所述目标数据中不满足校验要求数据的标准差与所述统计类型指示的标准差的差值超过第二阈值，则确定所述目标数据未通过校验；否则，确定所述目标数据通过校验。
15、可选地，所述执行模块，具体用于在确定所述目标数据未通过校验的情况下，生成对应的作业工单，并将所述作业工单发送至对应的数据处理人员，由所述数据处理人员对所述目标数据进行数据清洗；所述执行模块，具体还用于重新对进行数据清洗后的所述目标数据进行校验，直至所述目标数据通过校验。
16、本申请还提供一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行实现如上述任一种所述数据质量管理方法的步骤。
17、本申请还提供一种计算机可读存储介质，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行时实现如上述任一种所述数据质量管理方法的步骤。
18、本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述数据质量管理方法的步骤。
19、本申请提供的数据质量管理方法、装置、存储介质及电子装置，首先，基于质量规则模板生成针对目标数据的sql执行语句，并基于所述sql执行语句生成对应的质量检测脚本；之后，执行所述质量检测脚本，对所述目标数据进行校验，并生成检测结果；其中，所述sql执行语句用于基于校验标准对所述目标数据行校验；所述校验标准包括以下至少一项：有效性、唯一性、完整性、一致性、准确性、及时性。如此，可以采用标准化的流程各类数据进行统一的质量校验，以提高数据质量校验的通用性，进而降低数据质量校验的成本，提高数据质量校验的效率。
本文档来自技高网...【技术保护点】
1.一种数据质量管理方法，其特征在于，包括：
2.根据权利要求1所述的数据质量管理方法，其特征在于，所述基于质量规则模板生成针对目标数据的SQL执行语句，包括：
3.根据权利要求1所述的数据质量管理方法，其特征在于，所述基于所述SQL执行语句生成对应的质量检测脚本，包括：
4.根据权利要求3所述的数据质量管理方法，其特征在于，所述执行所述质量检测脚本，对所述目标数据进行校验，并生成检测结果，包括：
5.根据权利要求3所述的数据质量管理方法，其特征在于，所述执行所述质量检测脚本，对所述目标数据进行校验，并生成检测结果，包括：
6.根据权利要求4或5所述的数据质量管理方法，其特征在于，所述确定所述目标数据未通过校验之后，所述方法还包括：
7.一种数据质量管理装置，其特征在于，所述装置包括：
8.根据权利要求7所述的数据质量管理装置，其特征在于，所述装置还包括：获取模块；
9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行权利要求1至6
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至6中任一项所述的数据质量管理方法。
...【技术特征摘要】
1.一种数据质量管理方法，其特征在于，包括：
2.根据权利要求1所述的数据质量管理方法，其特征在于，所述基于质量规则模板生成针对目标数据的sql执行语句，包括：
3.根据权利要求1所述的数据质量管理方法，其特征在于，所述基于所述sql执行语句生成对应的质量检测脚本，包括：
4.根据权利要求3所述的数据质量管理方法，其特征在于，所述执行所述质量检测脚本，对所述目标数据进行校验，并生成检测结果，包括：
5.根据权利要求3所述的数据质量管理方法，其特征在于，所述执行所述质量检测脚本，对所述目标数据进行校验，并生成检测结果，包括：
6.根据权利要...
【专利技术属性】
技术研发人员：李昌，吴岗，孙能林，
申请(专利权)人：青岛海尔科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。