闭环数据质量治理方法、装置、终端设备及存储介质制造方法及图纸

本发明专利技术公开了一种闭环数据质量治理方法、装置、终端设备及存储介质，收集数据问题并对数据问题进行归类，对已归类的数据问题进行检测确认，定义数据质量评分模型对所述数据问题的检测项给出治理方案，根据所述治理方案进行数据治理检测，根据数据治理检测的结果计算出数据质量评分并出具数据质量报告，分析所述数据质量报告并输出问题告警后上传所述数据质量治理系统。对数据进行分类、进行标准定义、开发治理指标进行质量健康检测、任务调度引擎启动任务、通过系统输出质量报告、通过邮件预警等通知相关人员，达到问题告警，最后进行数据治理和上报，形成一个数据质量治理的闭环。本发明专利技术易用、高效而成熟。

【技术实现步骤摘要】
闭环数据质量治理方法、装置、终端设备及存储介质
本专利技术涉及数据质量治理领域，尤其涉及闭环的数据质量治理方法、系统及存储介质。
技术介绍
随着大数据时代的到来，各企业越来越重视数据的收集和利用，如何让数据价值落地、如何使用大数据来提高竞争力，是所有企业面临的最大现实问题。在数据来源多样化的情况下，数据质量直接影响到数据分析和数据挖掘得到的结论的正确性，进而影响到管理决策的正确性和业务的发展，数据的管理和治理变得越来越重要。数据质量问题产生的原因有多方面，比如在技术、管理、流程、业务等方面。数据质量问题的治理就是要找到问题的源头并加以解决。目前现有市场的数据治理系统主要是在数据收集阶段，收集前或收集后进行数据质量评测，这些数据治理方法存在不易使用、有效性差，不够成熟的问题，在企业利用数据进行质量管理的过程中不能进行及时的问题提示与反馈，给用户的使用带来了不便。因此，现有技术还有待改进和提高。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种闭环的数据质量治理方法、系统及存储介质，旨在解决本文档来自技高网...

【技术保护点】
1.一种闭环数据质量治理方法，用于通过数据质量治理系统对数据进行量化评分，解决有质量问题的数据实现对数据质量的治理，其特征在于，包括如下步骤：/n收集数据问题并对数据问题进行归类；/n对已归类的数据问题进行检测确认；/n定义数据质量评分模型对所述数据问题的检测项给出治理方案；/n根据所述治理方案进行数据治理检测；/n根据数据治理检测的结果计算出数据质量评分并出具数据质量报告；/n分析所述数据质量报告并输出问题告警后上传所述数据质量治理系统。/n

【技术特征摘要】
1.一种闭环数据质量治理方法，用于通过数据质量治理系统对数据进行量化评分，解决有质量问题的数据实现对数据质量的治理，其特征在于，包括如下步骤：
收集数据问题并对数据问题进行归类；
对已归类的数据问题进行检测确认；
定义数据质量评分模型对所述数据问题的检测项给出治理方案；
根据所述治理方案进行数据治理检测；
根据数据治理检测的结果计算出数据质量评分并出具数据质量报告；
分析所述数据质量报告并输出问题告警后上传所述数据质量治理系统。


2.根据权利要求1所述的闭环数据质量治理方法，其特征在于：所述收集数据问题并对数据问题进行归类具体包括如下步骤：
由业务、分析、产品三方收集数据问题；
各方对所述数据问题进行归类，并将数据问题归类为三级：业务线、一级分类和二级分类；
将归类的所述数据问题上传所述数据质量治理系统。


3.根据权利要求2所述的闭环数据质量治理方法，其特征在于，所述对已归类的数据问题进行检测确认具体包括如下步骤：
由业务、分析、产品三方确定数据检测范围；
对每类数据问题再确定检测范围或检测项。


4.根据权利要求3所述的闭环数据质量治理方法，其特征在于：所述定义数据质量评分模型对所述数据问题的检测项给出治理方案具体包括如下步骤：
设定数据质量检查方案的数据对象，包括检查对象、检查范围、检查频度、检查规则、评分规则和阈值；
设定数据质量检查方案中数据对象的质量维度，包括有效性、完整性和及时性；
根据所述数据对象及其质量维度形成数据质量评分模型；
根据所述数据质量评分模型对数据问题的检测项给出治理方案。


5.根据权利要求4所述的闭环数据质量治理系统，其特征在于，所述根据所述治理方案进行数据治理检测具体包括如下步骤：
所述数据质量治理系统根据所述治理方案调用相应的治理任务运行；
所述治理任务对所述数据问...

【专利技术属性】
技术研发人员：余辉，
申请(专利权)人：深圳市酷开网络科技股份有限公司，
类型：发明
国别省市：广东;44