一种实现数据治理的方法及装置制造方法及图纸

本发明专利技术涉及一种实现数据治理装置，包括数据接入模块、数据整合模块，数据分类模块和数据模型模块，数据接入模块用于与一个或多个外部数据源连接，数据分类模块对数据接入模块接收的原数据进行预处理，提取预处理后数据的数据类型；数据模型模块包括内容构成、算子运算和数据约束，内容构成用于对接所述分组，并对分组内数据的类型、内容和数据间的关联进行定义，所述算子运算根据定义为数据施加对应的算子，分组内数据在经过对应的算子后实现对应分组内数据的治理任务，数据约束用来描述内容构成内数据间的语法、词义联系、数据之间的制约和依存关系、以及数据动态变化的规则；本发明专利技术提升数据资产的价值，使数据潜力充分释放，提高了数据利用率。高了数据利用率。高了数据利用率。

【技术实现步骤摘要】
一种实现数据治理的方法及装置


[0001]本专利技术涉及数据治理
，具体涉及一种实现数据治理的方法及装置。

技术介绍

[0002]随着第三次工业革命的到来，对数据本身而言，业务发展加快了数据膨胀的速度，也带来了数据不一致等问题，业务部门的频繁增加和剥离同样会对数据治理提出挑战，这些日益复杂的内外因决定了我国银行业对数据治理的超高标准要求，在大数据时代，很多企业单单重视了数据的量，很少关注数据的质量，以为利用海量的数据就能解决很多问题，例如企业数据标准命名的标准不一致，企业数据口径不一致统计结果重要数据的丢失等等。
[0003]数据治理是权利和控制的活动集合（规划、监控和执行），数据治理（Data Governance）是组织中涉及数据使用的一整套管理行为，由企业数据治理部门发起并推行，关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程，从技术实施角度看，数据治理包含
ꢀ“
理”“采”“存”“管”“用”这五个步骤，即业务和数据资源梳理、数据采集清洗、数据库设计和存储、数据管理、数据使用。
[0004]现有的数据治理系统在对数据进行治理时，治理难度大，存在信息孤岛，有数不能用。数据治理过程中普遍存在“不愿、不敢、不能”共享的问题，目前企业常会遇到由于缺乏统一的数据治理体系，在数据采集、存储、处理等环节可能存在不科学、不规范等问题，导致错误数据、异常数据、缺失数据等脏数据产生，无法确保数据的完整性和准确性；基于此研究一种实现数据治理的方法及装置是必要的。/>
技术实现思路

[0005]鉴于此，本专利技术的目的在于提供一种实现数据治理的方法及装置，有效的解决了现有的数据治理系统数据治理难度大，数据潜力无法充分释放，数据利用率低的问题。
[0006]为实现上述目的，本专利技术所采用的技术方案是：一种实现数据治理装置，包括数据接入模块、数据整合模块，数据分类模块和数据模型模块，所述数据接入模块用于与一个或多个外部数据源连接，并能响应接入端口的请求命令，将对应的接收外部数据源传入的数据；所述数据分类模块首先对数据接入模块接收的原数据进行预处理，提取预处理后数据的数据类型，剔除原数据中重复和无用信息，并根据分类规则将处理后的数据分别导入对应的分组内；所述数据模型模块包括内容构成、算子运算和数据约束，所述内容构成用于对接所述分组，并对分组内数据的类型、内容和数据间的关联进行定义，所述算子运算根据定义为数据施加对应的算子，分组内数据在经过对应的算子后实现对应分组内数据的治理任务，数据约束用来描述内容构成内数据间的语法、词义联系、数据之间的制约和依存关系、以及数据动态变化的规则；所述算子包括置换算子、扩增算子和融合算子，其中置换算子根据数据信息替换数据库内的对应数据，实现数据库的更新；所述扩增算子根据数据信息将数据新增至数据
库的对应位置；所述融合算子根据不同的数据定制个体决策，并将它们组合为一个数据集合。
[0007]进一步的，所述外部数据源提供socket、FTP、HTTP以及telnet类型的接口消息。
[0008]进一步的，所述数据接入模块获取外部数据源版本，并根据所述版本获取该数据标准，并将数据标准传递给数据模型模块的内容构成部分，标识该数据的来源和标准。
[0009]进一步的，所述分类包括业务元数据、技术元数据和操作元数据，其中业务元数据是定义和业务相关数据的信息；所述技术元数据提供了在信息技术的基础架构中对数据的说明以及数据之间的关联和数据在信息技术环境之中的流转情况；所述操作元数据指与元数据管理相关的组织、岗位、职责、流程，以及系统日常运行产生的操作数据。
[0010]进一步的，所述数据分类模块对接入数据进行特征分析，并为分析后的数据提供对应的数据特征，根据数据特征提供对应的分组。
[0011]一种实现数据治理的方法，包括如下步骤：步骤一，将外部数据接入响应数据治理页面的命令，针对性的获取待治理数据，并将待治理数据穿入数据接入模块；步骤二， 传入数据预分类数据分类模块首先对数据接入模块接收的原数据进行预处理，提取预处理后数据的数据类型，剔除原数据中重复和无用信息，并根据分类规则将处理后的数据分别导入对应的分组内；步骤三，数据治理按分组的标签获取分组的内容构成，内容构成对分组内数据的类型、内容和数据间的关联进行定义，根据定义为数据施加对应的算子，其中算子包括置换算子、扩增算子和融合算子，其中置换算子根据数据信息替换数据库内的对应数据，实现数据库的更新；所述扩增算子根据数据信息将数据新增至数据库的对应位置；所述融合算子根据不同的数据定制个体决策，并将它们组合为一个数据集合，根据算子的数据治理规则，分组内数据在经过对应的算子后，实现对应分组内数据的治理任务；步骤四，生成数据治理质量报告利用数据约束用来描述内容构成内数据间的语法、词义联系、数据之间的制约和依存关系、以及数据动态变化的规则，生成数据治理质量报告；步骤五，更新系统根据治理后的数据，更新数据库。
[0012]上述技术方案的有益效果是：本专利技术将外部数据传入数据接入模块，并在数据分类模块内进行预处理，剔除传入数据中的重复和无用信息，减少数据冗余，降低数据处理量，同时根据分类规则将处理后的数据导入对应的分组，根据治理规则，为每一个分组提供对应的算子，从而针对性的对数据进行治理，提高了数据治理的准确度和效率，最终保证数据的可用性、数据的质量和数据安全。
[0013]在数据治理过程中，本专利技术提供了三种治理策略，即置换算子、扩增算子和融合算子，其中置换算子根据数据信息替换数据库内的对应数据，实现数据库的更新；所述扩增算子根据数据信息将数据新增至数据库的对应位置；所述融合算子根据不同的数据定制个体
决策，并将它们组合为一个数据集合；通过置换算子能够对原有数据库内存在的数据进行置换，提高数据的准确度，提升数据质量，同时扩增算子用于对数据进行扩增，融合算子是根据现有数据和新增数据的内容对数据融合，提高了数据的多样性，采用多个数据生成新的融合特征，从融合中涉及的多个原始数据集中获得最具差异性的数据信息，够消除因不同特征集之间的相关性而产生的冗余信息，并使后续决策成为可能。
[0014]由此，本专利技术为共享数据建立清晰的决策规则和决策流程，提升数据资产的价值，促进IT和非IT人员共同参与决策促进部门和业务单元之间的系统和相互依赖，提高了数据治理的准确度和效率，最终保证数据的可用性、数据的质量和数据安全，使数据潜力充分释放，提高了数据利用率。
附图说明
[0015]图1为本专利技术的系统流程图。
具体实施方式
[0016]下面结合附图及具体实施方式对本专利技术作进一步详细描述：实施例1，本实施例旨在提供一种实现数据治理的方法及装置，其主要用于数据进行制冷，针对现有的数据治理系统数据治理难度大，数据潜力无法充分释放，数据利用率低的问题，本实施例提供了一种实现数据治理装置。
[0017]一种实现数据治理装置,包括数据接入模块、数据整合模块，数据分类模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实现数据治理装置,其特征在于，包括数据接入模块、数据整合模块，数据分类模块和数据模型模块，所述数据接入模块用于与一个或多个外部数据源连接，并能响应接入端口的请求命令，将对应的接收外部数据源传入的数据；所述数据分类模块首先对数据接入模块接收的原数据进行预处理，提取预处理后数据的数据类型，剔除原数据中重复和无用信息，并根据分类规则将处理后的数据分别导入对应的分组内；所述数据模型模块包括内容构成、算子运算和数据约束，所述内容构成用于对接所述分组，并对分组内数据的类型、内容和数据间的关联进行定义，所述算子运算根据定义为数据施加对应的算子，分组内数据在经过对应的算子后实现对应分组内数据的治理任务，数据约束用来描述内容构成内数据间的语法、词义联系、数据之间的制约和依存关系、以及数据动态变化的规则；所述算子包括置换算子、扩增算子和融合算子，其中置换算子根据数据信息替换数据库内的对应数据，实现数据库的更新；所述扩增算子根据数据信息将数据新增至数据库的对应位置；所述融合算子根据不同的数据定制个体决策，并将它们组合为一个数据集合。2.根据权利要求1所述的实现数据治理装置,其特征在于：所述外部数据源提供socket、FTP、HTTP以及telnet类型的接口消息。3.根据权利要求1所述的实现数据治理装置,其特征在于：所述数据接入模块获取外部数据源版本，并根据所述版本获取该数据标准，并将数据标准传递给数据模型模块的内容构成部分，标识该数据的来源和标准。4.根据权利要求1所述的实现数据治理装置,其特征在于：所述分类包括业务元数据、技术元数据和操作元数据，其中业务元数据是定义和业务相...

【专利技术属性】
技术研发人员：侯振国，杨伟涛，田振涛，张培聪，杨帅，阴栋阳，杨二东，曹明明，
申请(专利权)人：中国建筑第七工程局有限公司，
类型：发明
国别省市：