一种数据治理方法和系统技术方案

本发明专利技术公开了一种数据治理方法和系统，包括对数据源清洗融合，建立数据标准库；利用元模型采集数据标准库元数据，治理采集的元数据，得到治理后的元数据；标准化数据标准库的数据；对产生的数据执行数据质量管理和监管保护，最终解决数据浪费的问题。

A data governance method and system

【技术实现步骤摘要】
一种数据治理方法和系统
本专利技术涉及数据治理
，更具体地，涉及一种数据治理方法和系统。
技术介绍
政府部门、互联网企业、大型集团企业积累沉淀了大量的数据资源。我国已成为产生和积累数据量最大、数据类型最丰富的国家之一，从国家战略和城市战略来看数据已成为第一资源。但由于在信息化的建设过程中，企业和政府都面临着同一个问题，数据的浪费，造成数据浪费主要是如下几个原因:横向数据碎片化在同一组织内数据碎片化严重，数据之间的孤岛随着信息化水平的发展越来越显著，数据无法快速识别和定位同时数据的业务属性也难于被理解，数据之间的共享交换也变得越来越困难，从而导致数据的价值被埋没。纵向数据烟囱林立在信息建设初期，各组织都根据业务需求建设了大量的符合当前的系统，缺少统一规划和管理，数据标准的不统一，不同业务对同一数据描述不同，数据格式不一，导致大量数据不能被用于决策，质量低下。数据质量低下数据的重复、数据不准确、数据不可信、数据缺失、数据无法关联、数据不一致、数据更新缓慢甚至中断等数据质量问题随着信息化的发展暴露的越来越多，质量低下成为了政府和企业数据的核心问题。
技术实现思路
鉴于上述问题，本专利技术提出了一种数据治理方法和系统，解决数据浪费问题。为了达到上述目的，本专利技术实施例提供了一种数据治理方法，包括：步骤a:对数据源清洗融合，建立数据标准库；步骤b:利用元模型采集数据标准库元数据，治理采集的元数据，得到治理后的元数据；步骤c:标准化数据标准库的数据；步骤d:对步骤a-步骤c产生的数据执行数据质量管理和监管保护。进一步的，步骤a中数据标准库包括关系型数据库、文件型数据库、大数据库和接口类数据库。进一步的，步骤b中治理采集的元数据包括对元数据进行管理、分析和应用；所述对元数据进行管理包括对业务元数据、技术元数据和管理元数据进行基本信息的管理；对元数据进行分析包括血缘分析、影响分析和生成元数据地图；对元数据进行应用包括利用管理后的元数据的基本信息和分析后的元数据进行质量问题追溯、元数据质量问题影响分析和资产管理。进一步的，步骤c包括：创建数据标准体系，对创建的数据标准体系维护管理，将数据标准体系与业务对象进行映射；根据标准规则进行标准体系符合性检测和标准体系评估；智能标准化，根据标准符合性检测结果，对数据进行标准化转换处理。进一步的步骤d中对步骤a-步骤c产生的数据执行数据质量管理包括：制定数据质量监控检核方案，对数据质量监控检核；制定数据质量规则库；按照数据质量规则库定时执行数据质量管控，得到数据质量问题；对数据质量问题管理；对数据质量评估；所述对步骤a-步骤c产生的数据执行监管保护包括数据分级管理、数据授权管理和数据脱敏管理。一种数据治理系统，包括服务器和客户端，所述服务器包括存储器和处理器，所述存储器存储有多条指令，所述指令适于由服务器的处理器加载并执行：步骤a:对数据源清洗融合，建立数据标准库；步骤b:利用元模型采集数据标准库元数据，治理采集的元数据，得到治理后的元数据；步骤c:标准化数据标准库的数据；步骤d:对步骤a-步骤c产生的数据执行数据质量管理和监管保护；所述客户端包括显示器，用于显示数据标准库数据、显示治理后的元数据、显示标准化后的数据标准库的数据以及显示数据质量管理后的内容。进一步的，步骤b中治理采集的元数据包括对元数据进行管理、分析和应用；所述对元数据进行管理包括对业务元数据、技术元数据和管理元数据进行基本信息的管理；对元数据进行分析包括血缘分析、影响分析和生成元数据地图；对元数据进行应用包括利用管理后的元数据的基本信息和分析后的元数据进行质量问题追溯、元数据质量问题影响分析和资产管理。进一步的，步骤c包括：创建数据标准体系，对创建的数据标准体系维护管理，将数据标准体系与业务对象进行映射；根据标准规则进行标准体系符合性检测和标准体系评估；智能标准化，根据标准符合性检测结果，对数据进行标准化转换处理。进一步的，步骤d中对步骤a-步骤c产生的数据执行数据质量管理包括：制定数据质量监控检核方案，对数据质量监控检核；制定数据质量规则库；按照数据质量规则库定时执行数据质量管控，得到数据质量问题；对数据质量问题管理；对数据质量评估；所述对步骤a-步骤c产生的数据执行监管保护包括数据分级管理、数据授权管理和数据脱敏管理。本专利技术实施例提供了一种数据治理方法和系统，包括对数据源清洗融合，建立数据标准库；利用元模型采集数据标准库元数据，治理采集的元数据，得到治理后的元数据；标准化数据标准库的数据；对产生的数据执行数据质量管理和监管保护，最终解决数据浪费的问题。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为数据治理整体架构图；图2为数据清洗融合过程数据应用场景标准化示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。数据治理体系的建立是实现数据管理目标，解决数据问题，满足数据应用结果的关键因素。体系需要建立有效的数据治理组织，高效的数据治理流程和完整的数据治理架构。数据作为一种资产，是政务数据实现更大价值所必须的一个有机组成部分，而城市数据治理体系是一个价值体系，它把一种责任观念赋予为客户提供数据产品和服务的个人或组织。因而，数据治理体系中的数据治理环境将涵盖政务数据的方方面面，从而形成数据治理的组织架构和管理流程等人文环境。除了人文环境，基础平台和辅助工具环境也是数据治理支持环境的组成部分。首先，营造一个支持数据融合治理体系建设的数据治理人文环境——数据治理组织。实施数据融合治理体系是政务数据中每一个角色(数据生产者、数据使用者、数据治理者等)的责任。实施必须包括所有组织的成长与发展，从高级管理者、中层管理者到具体任务的执行者，从数据生产者到数据使用者，从数据治理者到应用程序开发者。过程是漫长的，关键是要知道目前处在怎样的位置和状态，中间过程怎样，最终的目标又是怎样，并且要积极地采取下一步而不试图避开必要的步骤。如果要在所做的工作中创造价值，就要注意并给予完成下一步任务需要的资源。城市数据治理的目标不是建立一个组织或部门，而是去建立一个数据融本文档来自技高网...

【技术保护点】
1.一种数据治理方法，其特征在于，包括：/n步骤a:对数据源清洗融合，建立数据标准库；/n步骤b:利用元模型采集数据标准库元数据，治理采集的元数据，得到治理后的元数据；/n步骤c:标准化数据标准库的数据；/n步骤d:对步骤a-步骤c产生的数据执行数据质量管理和监管保护。/n

【技术特征摘要】
1.一种数据治理方法，其特征在于，包括：
步骤a:对数据源清洗融合，建立数据标准库；
步骤b:利用元模型采集数据标准库元数据，治理采集的元数据，得到治理后的元数据；
步骤c:标准化数据标准库的数据；
步骤d:对步骤a-步骤c产生的数据执行数据质量管理和监管保护。


2.根据权利要求1所述数据治理方法，其特征在于，步骤a中数据标准库包括关系型数据库、文件型数据库、大数据库和接口类数据库。


3.根据权利要求2所述的数据治理方法，其特征在于，步骤b中治理采集的元数据包括对元数据进行管理、分析和应用；
所述对元数据进行管理包括对业务元数据、技术元数据和管理元数据进行基本信息的管理；
对元数据进行分析包括血缘分析、影响分析和生成元数据地图；对元数据进行应用包括利用管理后的元数据的基本信息和分析后的元数据进行质量问题追溯、元数据质量问题影响分析和资产管理。


4.根据权利要求3所述的数据治理方法，其特征在于，步骤c包括：
创建数据标准体系，对创建的数据标准体系维护管理，将数据标准体系与业务对象进行映射；
根据标准规则进行标准体系符合性检测和标准体系评估；
智能标准化，根据标准符合性检测结果，对数据进行标准化转换处理。


5.根据权利要求4所述的数据治理方法，其特征在于，步骤d中对步骤a-步骤c产生的数据执行数据质量管理包括：
制定数据质量监控检核方案，对数据质量监控检核；制定数据质量规则库；按照数据质量规则库定时执行数据质量管控，得到数据质量问题；对数据质量问题管理；对数据质量评估；
所述对步骤a-步骤c产生的数据执行监管保护包括数据分级管理、数据授权管理和数据脱敏管理。


6.一种数据治理系统，其特征在于，包括...

【专利技术属性】
技术研发人员：范寿明，李广华，彭添颖，曹青，贾李智，贾西贝，
申请(专利权)人：深圳市华傲数据技术有限公司，
类型：发明
国别省市：广东;44