一种数据管理系统及方法技术方案

本发明专利技术提供一种数据管理系统及方法，属于数据管理领域，系统包括：数据源管理模块、数据库管理模块、数据模型管理模块、数据标准管理模块和数据质量管理模块，数据源管理模块用于从多个预设业务系统中获得各个预设业务系统的多个初始元数据以及数据类型，并通过多个初始元数据以及数据类型构建得到待处理数据库；数据库管理模块用于对待处理数据库进行数据库更新得到更新后数据库；数据模型管理模块用于根据更新后数据库构建目标模型。本发明专利技术解决了随着业务系统的数据量越积越多，导致数据线上率低、结构化率较低、数出多源等问题，建立了统一的数据资产管理规范，为建设智慧管道奠定了良好的数据管理基础。了良好的数据管理基础。了良好的数据管理基础。

【技术实现步骤摘要】
一种数据管理系统及方法


[0001]本专利技术主要涉及数据管理
，具体涉及一种数据管理系统及方法。

技术介绍

[0002]现如今，随着业务系统的数据量越积越多，很多公司在数据采集、数据统一存储、数据应用、数据管理方面尚未建立统一的数据资产管理规范，存在数据线上率低、结构化率较低、数出多源等问题，无法满足构建管道数字孪生体和智能管道、智慧管网的要求。如何通过构建统一的数据标准体系，来实现统一数据来源，解决数据孤岛等问题，成为了从传统管道管理向智能化管理模式转变的关键一步。

技术实现思路

[0003]本专利技术所要解决的技术问题是针对现有技术的不足，提供一种数据管理系统及方法。
[0004]本专利技术解决上述技术问题的技术方案如下：一种数据管理系统，包括：数据源管理模块、数据库管理模块、数据模型管理模块、数据标准管理模块和数据质量管理模块，
[0005]所述数据源管理模块用于从多个预设业务系统中获得各个所述预设业务系统的多个初始元数据以及各个所述初始元数据对应的数据类型，并通过各个所述预设业务系统的多个所述初始元数据以及各个所述初始元数据对应的数据类型构建得到各个所述预设业务系统的待处理数据库；
[0006]所述数据库管理模块用于分别对各个所述待处理数据库进行数据库的更新，得到各个所述预设业务系统的更新后数据库；
[0007]所述数据模型管理模块用于分别根据各个所述更新后数据库构建各个所述预设业务系统的目标模型；
[0008]所述数据标准管理模块用于导入标准管理信息，并对所述标准管理信息进行信息更新，得到更新后标准管理信息；
[0009]所述数据质量管理模块用于根据所述更新后标准管理信息对所有的目标模型进行检查分析，得到数据质量检查结果报告。
[0010]本专利技术解决上述技术问题的另一技术方案如下：一种数据管理方法，包括如下步骤：
[0011]从多个预设业务系统中获得各个所述预设业务系统的多个初始元数据以及各个所述初始元数据对应的数据类型；
[0012]通过各个所述预设业务系统的多个所述初始元数据以及各个所述初始元数据对应的数据类型构建得到各个所述预设业务系统的待处理数据库；
[0013]分别对各个所述待处理数据库进行数据库的更新，得到各个所述预设业务系统的更新后数据库；
[0014]分别根据各个所述更新后数据库构建各个所述预设业务系统的目标模型；
[0015]导入标准管理信息，并对所述标准管理信息进行信息更新，得到更新后标准管理信息；
[0016]根据所述更新后标准管理信息对所有的目标模型进行检查分析，得到数据质量检查结果报告。
[0017]本专利技术的有益效果是：通过预设业务系统的多个初始元数据以及数据类型构建得到待处理数据库，对待处理数据库的数据库更新得到更新后数据库，根据更新后数据库构建目标模型，对标准管理信息的信息更新得到更新后标准管理信息，根据更新后标准管理信息对所有的目标模型的检查分析得到数据质量检查结果报告，解决了随着业务系统的数据量越积越多，导致数据线上率低、结构化率较低、数出多源等问题，建立了统一的数据资产管理规范，为建设智慧管道奠定了良好的数据管理基础。
附图说明
[0018]图1为本专利技术一实施例提供的数据管理系统的模块框图；
[0019]图2为本专利技术一实施例提供的数据管理方法的流程示意图。
具体实施方式
[0020]以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。
[0021]图1为本专利技术一实施例提供的数据管理系统的模块框图。
[0022]如图1所示，一种数据管理系统，包括：数据源管理模块、数据库管理模块、数据模型管理模块、数据标准管理模块和数据质量管理模块，
[0023]所述数据源管理模块用于从多个预设业务系统中获得各个所述预设业务系统的多个初始元数据以及各个所述初始元数据对应的数据类型，并通过各个所述预设业务系统的多个所述初始元数据以及各个所述初始元数据对应的数据类型构建得到各个所述预设业务系统的待处理数据库；
[0024]所述数据库管理模块用于分别对各个所述待处理数据库进行数据库的更新，得到各个所述预设业务系统的更新后数据库；
[0025]所述数据模型管理模块用于分别根据各个所述更新后数据库构建各个所述预设业务系统的目标模型；
[0026]所述数据标准管理模块用于导入标准管理信息，并对所述标准管理信息进行信息更新，得到更新后标准管理信息；
[0027]所述数据质量管理模块用于根据所述更新后标准管理信息对所有的目标模型进行检查分析，得到数据质量检查结果报告。
[0028]优选地，所述预设业务系统可以为经营管理类系统或生产运营类系统或综合支撑类系统以及其他信息系统。
[0029]上述实施例中，通过预设业务系统的多个初始元数据以及数据类型构建得到待处理数据库，对待处理数据库的数据库更新得到更新后数据库，根据更新后数据库构建目标模型，对标准管理信息的信息更新得到更新后标准管理信息，根据更新后标准管理信息对所有的目标模型的检查分析得到数据质量检查结果报告，解决了随着业务系统的数据量越
积越多，导致数据线上率低、结构化率较低、数出多源等问题，建立了统一的数据资产管理规范，为建设智慧管道奠定了良好的数据管理基础。
[0030]可选地，作为本专利技术的一个实施例，所述数据源管理模块包括数据源采集单元、数据库判别单元、第一数据转换单元、第二数据转换单元、第三数据转换单元和数据库整合单元，
[0031]所述数据源采集单元用于从多个预设业务系统中获得各个所述预设业务系统的多个初始元数据以及各个所述初始元数据对应的数据类型；
[0032]所述数据库判别单元用于计算各个所述预设业务系统的多个初始元数据的数据容量，得到各个所述预设业务系统的数据容量，并分别判断各个所述预设业务系统是否满足条件，所述条件为所述预设业务系统中所有所述初始元数据对应的数据类型均为多个预设数据类型中任一数据类型，且所述预设业务系统的数据容量大于或等于预设数据容量；若是，则创建第一数据库，并将满足所述条件的所述预设业务系统中所有所述初始元数据存储至所述第一数据库中；若否，则创建第二数据库，并将不满足所述条件的所述预设业务系统中所有所述初始元数据存储至所述第二数据库中；
[0033]所述第一数据转换单元用于对所述第一数据库或所述第二数据库中数据类型为第一预设判别数据类型的所述初始元数据进行格式转换，转换成第一转换后元数据，以更新所述第一数据库或所述第二数据库；
[0034]所述第二数据转换单元用于对所述第一数据库或所述第二数据库中数据类型为第二预设判别数据类型的所述初始元数据进行格式转换，转换成第二转换后元数据，以更新所述第一数据库或所述第二数据库；
[0035]所述第三数据转换单元用于对所述第一数据库或所述第二数据库中数据类型为第三预设判别数据类型的所述初始本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据管理系统，其特征在于，包括：数据源管理模块、数据库管理模块、数据模型管理模块、数据标准管理模块和数据质量管理模块，所述数据源管理模块用于从多个预设业务系统中获得各个所述预设业务系统的多个初始元数据以及各个所述初始元数据对应的数据类型，并通过各个所述预设业务系统的多个所述初始元数据以及各个所述初始元数据对应的数据类型构建得到各个所述预设业务系统的待处理数据库；所述数据库管理模块用于分别对各个所述待处理数据库进行数据库的更新，得到各个所述预设业务系统的更新后数据库；所述数据模型管理模块用于分别根据各个所述更新后数据库构建各个所述预设业务系统的目标模型；所述数据标准管理模块用于导入标准管理信息，并对所述标准管理信息进行信息更新，得到更新后标准管理信息；所述数据质量管理模块用于根据所述更新后标准管理信息对所有的目标模型进行检查分析，得到数据质量检查结果报告。2.根据权利要求1所述的数据管理系统，其特征在于，所述数据源管理模块包括数据源采集单元、数据库判别单元、第一数据转换单元、第二数据转换单元、第三数据转换单元和数据库整合单元，所述数据源采集单元用于从多个预设业务系统中获得各个所述预设业务系统的多个初始元数据以及各个所述初始元数据对应的数据类型；所述数据库判别单元用于计算各个所述预设业务系统的多个初始元数据的数据容量，得到各个所述预设业务系统的数据容量，并分别判断各个所述预设业务系统是否满足条件，所述条件为所述预设业务系统中所有所述初始元数据对应的数据类型均为多个预设数据类型中任一数据类型，且所述预设业务系统的数据容量大于或等于预设数据容量；若是，则创建第一数据库，并将满足所述条件的所述预设业务系统中所有所述初始元数据存储至所述第一数据库中；若否，则创建第二数据库，并将不满足所述条件的所述预设业务系统中所有所述初始元数据存储至所述第二数据库中；所述第一数据转换单元用于对所述第一数据库或所述第二数据库中数据类型为第一预设判别数据类型的所述初始元数据进行格式转换，转换成第一转换后元数据，以更新所述第一数据库或所述第二数据库；所述第二数据转换单元用于对所述第一数据库或所述第二数据库中数据类型为第二预设判别数据类型的所述初始元数据进行格式转换，转换成第二转换后元数据，以更新所述第一数据库或所述第二数据库；所述第三数据转换单元用于对所述第一数据库或所述第二数据库中数据类型为第三预设判别数据类型的所述初始元数据进行格式转换，转换成第三转换后元数据，以更新所述第一数据库或所述第二数据库；所述数据库整合单元用于分别将各个所述预设业务系统经过所述第一数据转换单元、所述第二数据转换单元以及所述第三数据转换单元更新后的第一数据库或第二数据库作为各个所述预设业务系统的待处理数据库。3.根据权利要求2所述的数据管理系统，其特征在于，所述待处理数据库中的待处理元
数据均包括多个属性信息，所述待处理元数据为所述初始元数据、所述第一转换后元数据、所述第二转换后元数据以及所述第三转换后元数据中任一种；所述数据库管理模块包括属性管理单元和数据库关联单元；所述属性管理单元用于导入与多个所述属性信息一一对应的多个部门终端，并分别将各个所述属性信息发送至对应的部门终端中，且分别从对应的部门终端获取更新后属性信息，根据与各个所述待处理元数据对应的多个所述更新后属性信息分别对对应的待处理元数据进行更新，得到各个所述待处理元数据对应的更新后元数据，并根据与各个所述待处理数据库对应的多个所述更新后元数据分别对对应的待处理数据库进行更新,得到更新后的待处理数据库；所述数据库关联单元用于分别将各个更新后的待处理数据库与剩下更新后的待处理数据库中至少一个相关联，得到各个所述预设业务系统的关联后数据库，并将所述关联后数据库作为更新后数据库；所述数据库管理模块还包括目录生成单元、数据视图生成单元、业务系统管理单元和资产图谱生成单元中的任一单元或多个单元的组合；所述目录生成单元用于根据所有的部门终端以及所有所述待处理数据库的所有所述更新后属性信息生成数据目录表；所述数据视图生成单元用于分别对各个所述更新后元数据进行可视化处理，得到各个所述更新后元数据的可视化后元数据，并对各个所述可视化后元数据进行访问和/或查询；所述业务系统管理单元用于对各个所述预设业务系统进行新增和/或修改和/或删除；所述资产图谱生成单元用于对所有的更新后数据库进行图谱绘制，得到资产图谱。4.根据权利要求1所述的数据管理系统，其特征在于，所述数据模型管理模块包括逻辑模型管理单元、物理模型管理单元和映射关系管理单元，所述逻辑模型管理单元用于分别通过各个所述更新后数据库对应构建各个所述预设业务系统的原始逻辑模型，并分别对各个所述原始逻辑模型进行修改，得到各个所述预设业务系统的目标逻辑模型；所述物理模型管理单元用于分别通过各个所述更新后数据库对应构建各个所述预设业务系统的原始物理模型，并分别...

【专利技术属性】
技术研发人员：马剑林，沈忱，吴志锋，刘涛，刘昊，陈莎，宋雪峰，曹文琛，
申请(专利权)人：国家管网集团西南管道有限责任公司，
类型：发明
国别省市：