一种数据稽核方法、装置、系统及电子设备制造方法及图纸

本公开涉及数据处理技术领域，具体涉及一种数据稽核方法、装置、系统及电子设备。方法包括：获取大数据计算引擎类型，基于所述引擎类型确定预设的调度模板，其中，所述调度模板包含基于所述引擎的数据稽核任务脚本模板；获取数据源类型和稽核规则，基于所述数据源类型、所述稽核规则和所述调度模板生成对所述数据源基于所述稽核规则进行数据稽核的任务脚本，其中，所述任务脚本基于所述大数据计算引擎；获取调度需求，基于所述调度需求执行所述任务脚本，生成稽核报告和运行记录。生成稽核报告和运行记录。生成稽核报告和运行记录。

【技术实现步骤摘要】
一种数据稽核方法、装置、系统及电子设备


[0001]本公开涉及数据处理
，具体涉及一种数据稽核方法、装置、系统及电子设备。

技术介绍

[0002]数据冗余、数据失真、数据缺失、数据不一致等数据质量问题，严重阻碍数据发挥其最大价值。现在市场上已经出现多款对数据集的质量问题进行集成管理的软件，如Apache Griffin、Qualitis和DataWorks。但这三种主流数据质量管理软件都只支持对有限数据源类型基于有限数据质量稽核规则进行稽核，增加对新数据源类型和新数据质量稽核规则的支持非常复杂，从而无法及时响应对客户指定的新数据源类型或者基于客户指定的新稽核规则进行数据稽核的需求。同时，它们或者支持spark计算引擎，或者支持flink计算引擎，无法满足不同客户使用不同的偏好计算引擎进行数据稽核的需求。

技术实现思路

[0003]本公开实施例提出了一种数据稽核方法、一种数据稽核装置、一种数据稽核系统和一种电子设备，以通过基于模板创建数据质量稽核任务的方式解决现有数据质量管理软件因为架构原因无法及时响应客户多样化需求的问题。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据稽核方法，其特征在于，包括：获取大数据计算引擎类型，基于所述引擎类型确定预设的调度模板，其中，所述调度模板包含基于所述引擎的数据稽核任务脚本模板；获取数据源类型和稽核规则，基于所述数据源类型、所述稽核规则和所述调度模板生成对所述数据源基于所述稽核规则进行数据稽核的任务脚本，其中，所述任务脚本基于所述大数据计算引擎；获取调度需求，基于所述调度需求执行所述任务脚本，生成稽核报告和运行记录。2.根据权利要求1所述的方法，其特征在于，还包括：如果所述稽核报告存在异常数据，对所述异常数据根据所述稽核规则触发告警。3.根据权利要求1所述的方法，其特征在于，所述基于所述数据源类型、所述稽核规则和所述调度模板生成对所述数据源基于所述稽核规则进行数据稽核的任务脚本包括：基于所述数据源类型生成所述任务脚本中的建表语句；基于所述稽核规则生成所述任务脚本中的选择语句；使用所述建表语句和所述选择语句替换所述模板中的相应部分，生成所述任务脚本，其中，所述任务脚本基于所述大数据计算引擎。4.根据权利要求1所述的方法，其特征在于，所述基于所述调度需求执行所述任务脚本包括：基于所述数据源类型、所述稽核规则更新所述调度模板；基于更新后的所述调度模板生成数据质量调度参数，传送所述参数至调度系统，其中，所述参数包含所述任务脚本；所述调度系统基于所述参数和所述调度需求生成所述数据质量稽核任务调度，所述调度中包含所述任务脚本。5.根据权利要求1所述的方法，其特征在于，所述基于所述引擎类型确定预设的调度模板包括：根据所述大数据计算...

【专利技术属性】
技术研发人员：付强，石玉朋，丁臣臣，
申请(专利权)人：特斯联科技集团有限公司，
类型：发明
国别省市：