一种数据资源的管理方法及管理系统技术方案

本发明专利技术公开了一种数据资源的管理方法及管理系统，所述管理方法包括业务数据积累步骤、业务数据提炼步骤及主数据处理步骤；所述管理系统包括业务数据积累模块、抽取转换加载模块、主数据管理模块及元数据管理模块。本发明专利技术通过对数据的积累、提炼、分析、挖掘等技术手段有效地解决了数据混乱和可信度问题，以达到提高数据资源的透明度和可获取性，进而达到企业内部数据的融会贯通、加强各部门之间的协作效率、有效降低城镇燃气企业的运营成本等技术目的。

A management method and management system for data resources

The invention discloses a management method of data resources and management system, the management method includes data accumulation steps, business data refinement step and the main data processing steps; the management system includes data accumulation module, ETL module, data management module and metadata management module. The invention can effectively solve the problem of data confusion and credibility through the accumulation of data, extraction, analysis, mining and other technical means, in order to improve the data transparency and accessibility, and achieve the enterprise internal data together, strengthen the cooperation between the various departments of the efficiency, reduce the operation cost of enterprise of urban gas technology objective.

【技术实现步骤摘要】
一种数据资源的管理方法及管理系统
本专利技术涉及数据管理
，更为具体来说，本专利技术为一种数据资源的管理方法及管理系统。
技术介绍
在信息化建设高峰期,燃气企业建成的信息系统要求具备跨部门或跨系统数据访问、共享、使用、迁移、整合的功能，虽然这有力支撑了近年来移动互联网等一系列新技术应用的扩展，但是传统的跨部门或跨系统的数据访问、共享、使用、迁移、整合过程存在如下问题。一、数据混乱问题：包括不同系统在进行数据统一时导致的数据混乱问题、复杂业务的问题和内外协作引发的数据混乱问题、历史遗留数据的混乱问题以及缺乏统一的数据定义标准导致的数据混乱问题。二、数据的可信度问题：由于传统的数据资源管理系统无法保证用户数据唯一性，其内部组织结构复杂，有用数据获取难度大；数据多元化、缺乏数据共享等原因导致难以确定数据的真实性和可靠性等问题。对于上述技术问题，常规的解决方案是：通过技术人员进行手工维护。但是，常规方案不仅耗费了大量人力和物力，而且无法从根本上解决问题，新的数据混乱问题和可信度问题仍然会不断出现。因此，如何有效解决燃气企业的信息系统中存在的数据混乱、数据可信度难以保证等问题，成为了本领域技术人员亟待解决的技术问题和始终研究的重点。
技术实现思路
为解决现有燃气企业的信息系统中存在的数据混乱、数据可信度难以保证等问题，本专利技术创新地提出了一种数据资源的管理方法及管理系统，通过对数据资源优化管理的方式有效提高数据质量，从而实现数据的有效性、可访问性、一致性、安全性及可审计性。为实现上述技术目的，本专利技术公开了一种数据资源的管理方法，所述管理方法包括如下步骤，业务数据积累步骤，在进行业务工作的过程中，不断积累产生的业务数据；业务数据提炼步骤，从业务数据中导出静态数据和共享数据，将静态数据和共享数据作为主数据，并抽取所述业务数据中的技术元数据；主数据处理步骤，分析和整理所述主数据后，令主数据标准化；参照所述技术元数据，对所述主数据进行抽取、整合及清洗处理，并将清洗后的主数据进行发布。通过对业务数据的积累和提炼、对主数据的处理等技术手段，本专利技术有效提高可数据资源的透明度和数据的可获取性，从而有效的解决了常规的数据资源管理存在的混乱问题和可信度问题，实现企业内部数据的融会贯通，从而加强了各部门之间的协作效率，有效降低城镇燃气企业的运营成本。本专利技术在功能上可实现对数据的收集、组织、存储、制定数据标准、监管质量等目的，在内容上可实现包含对企业核心的、最需共享的主数据的管理和对元数据的管理。同时，本专利技术还能够达到制定企业数据标准的发布、监控数据质量、处理数据质量问题等技术目的。进一步地，在主数据处理步骤中，还包括对清洗后的主数据进行挖掘的步骤，并将挖掘后的结果发送至数据仓库、数据交换和集成平台、决策分析支持系统及商务智能系统。基于上述改进方案，本专利技术能够实现对数据资源的高效应用，实现对主数据、元数据的统一全生命周期管理，从而保证主数据的准确性、规范性、完整性及唯一性，提高数据质量，有效地为数据资源的深入挖掘工作提供支撑。进一步地，所述管理方法还包括传输过程监控步骤；所述传输过程监控步骤，包括对主数据导出过程、对技术元数据抽取过程、对主数据的抽取、整合、清洗处理过程及对清洗后的主数据的发布过程进行监控；根据监控结果确定用于存储当前被监控数据的数据库。通过对数据传输过程的监控，本专利技术有效提高了燃气企业的安全管理能力，并可在此基础上进行安全分级和授权工作，从而极大地提高了数据资源的安全性和可靠性。进一步地，所述管理方法还包括业务数据划分步骤；所述业务数据划分步骤，在积累业务数据步骤后，将所述业务数据按照主题域的方式进行划分；所述主题域包括战略主题域、规划主题域、计划主题域、投资主题域、科研主题域、财务主题域、营销服务主题域、生产运营主题域、项目主题域、设备主题域、安全主题域、人力资源主题域、物资主题域及综合数据主题域；在所述业务数据提炼步骤中，在不同的主题域下分别进行主数据导出操作和技术元数据抽取操作。通过以主题域的方式划分业务数据，可更有针对性、更为合理地处理业务数据，使本专利技术涉及的数据资源管理更为科学和合理，有利于后期对主数据的发布和挖掘操作。本专利技术保证了燃气企业内部业务主题域和跨业务主题域等相关数据资源的实时性、含义及质量，保证了各系统重复性使用正确的业务数据。此过程整合、存储、同步及维护了企业内业务实体的特定实例，如将企业内财务数据、客户数据等做标准化处理。对于每一个实体，数据资源管理系统中保存的数据就是该数据的最终版本，也是所有信息系统必须参照的终版。进一步地，在主数据处理步骤中，同时参照配置数据、规则数据及技术元数据，对所述主数据进行抽取、整合及清洗处理，对处理过程中产生的错误数据进行存储；其中，所述配置数据和规则数据通过手工录入的方式获取。通过参照配置数据、规则数据及技术元数据的方式，使得本专利技术能够更好地获取主数据中的有价值的数据，从而实现对数据资源更科学、有效地管理，满足各个业务系统更为高效和准确使用的目的。进一步地，所述业务工作包括企业生产业务工作、物料转移业务工作、事务处理业务工作、现金流动业务工作及客户交互业务工作。本专利技术支持全方位的数据查询与展现，实现了跨系统、跨业务之间的统一数据视图，有效提高了报表数据准确性和生成速度，提升了数据利用和价值，提高了决策质量，实现快速应对新业务，并能够支持数据整合和报表合并。本专利技术基于业务数据的绩效分析和绩效管理的方式提升竞争力，支持市场分析、竞争分析、预测分析等各类业务分析，实现更好应对外部环境变化；本专利技术通过实现业务数据的规范化、标准化，提高数据质量，形成了唯一可信的数据资产，从而建成企业内统一数据管理体系，实现了业务数据的标准化，促进了业务流程标准化和优化；而通过实现数据共享，可支持企业业务协调与贯通。进一步地，在主数据处理步骤中，通过统一信息编码的方式令主数据标准化。基于上述改进的技术方案，使本专利技术达到了破除企业信息孤岛现象、规范业务管理流程、挖掘数据内在价值等技术目的。本专利技术还公开了一种数据资源的管理系统，所述管理系统包括业务数据积累模块、抽取转换加载模块、主数据管理模块及元数据管理模块；所述业务数据积累模块，用于在进行业务工作的过程中，不断积累并存储产生的业务数据；所述抽取转换加载模块，用于将业务数据中的主数据导入主数据管理模块、将从业务数据中抽取的技术元数据导入元数据管理模块，还用于对主数据管理模块中的主数据进行抽取、整合及清洗处理，并用于将清洗后的主数据进行发布；所述主数据管理模块，用于对所述主数据进行统一存储、管理及监控；所述元数据管理模块，用于对所述技术元数据进行统一存储、管理及监控。通过对业务数据的积累和提炼、对主数据的处理等技术手段，本专利技术有效提高可数据资源的透明度和数据的可获取性，从而有效的解决了常规的数据资源管理存在的混乱问题和可信度问题，实现企业内部数据的融会贯通，从而加强了各部门之间的协作效率，有效降低城镇燃气企业的运营成本。本专利技术在功能上可实现对数据的收集、组织、存储、制定数据标准、监管质量等目的，在内容上可实现包含对企业核心的、最需共享的主数据的管理和对元数据的管理。同时，本专利技术还能够达到制定企业数据标准的发布、监控数据质量、处理数据质本文档来自技高网...

【技术保护点】
一种数据资源的管理方法，其特征在于：所述管理方法包括如下步骤，业务数据积累步骤，在进行业务工作的过程中，不断积累产生的业务数据；业务数据提炼步骤，从业务数据中导出静态数据和共享数据，将所述静态数据和共享数据作为主数据，并抽取所述业务数据中的技术元数据；主数据处理步骤，分析和整理所述主数据后，令主数据标准化；参照所述技术元数据，对所述主数据进行抽取、整合及清洗处理，并将清洗后的主数据进行发布。

【技术特征摘要】
2016.08.19 CN 20161068579681.一种数据资源的管理方法，其特征在于：所述管理方法包括如下步骤，业务数据积累步骤，在进行业务工作的过程中，不断积累产生的业务数据；业务数据提炼步骤，从业务数据中导出静态数据和共享数据，将所述静态数据和共享数据作为主数据，并抽取所述业务数据中的技术元数据；主数据处理步骤，分析和整理所述主数据后，令主数据标准化；参照所述技术元数据，对所述主数据进行抽取、整合及清洗处理，并将清洗后的主数据进行发布。2.根据权利要求1所述的数据资源的管理方法，其特征在于：在主数据处理步骤中，还包括对清洗后的主数据进行挖掘的步骤，并将挖掘后的结果发送至数据仓库、数据交换和集成平台、决策分析支持系统及商务智能系统。3.根据权利要求1或2所述的数据资源的管理方法，其特征在于：所述管理方法还包括传输过程监控步骤；所述传输过程监控步骤，包括对主数据导出过程、对技术元数据抽取过程、对主数据的抽取、整合、清洗处理过程及对清洗后的主数据的发布过程进行监控；根据监控结果确定用于存储当前被监控数据的数据库。4.根据权利要求3所述的数据资源的管理方法，其特征在于：所述管理方法还包括业务数据划分步骤；所述业务数据划分步骤，在积累业务数据步骤后，将所述业务数据按照主题域的方式进行划分；所述主题域包括战略主题域、规划主题域、计划主题域、投资主题域、科研主题域、财务主题域、营销服务主题域、生产运营主题域、项目主题域、设备主题域、安全主题域、人力资源主题域、物资主题域及综合数据主题域；在所述业务数据提炼步骤中，在不同的主题域下分别进行主数据导出操作和技术元数据抽取操作。5.根据权利要求1、2或4所述的数据资源的管理方法，其特征在于：在主数据处理步骤中，同时参照配置数据、规则数据及技术元数据，对所述主数据进行抽取、整合及清洗...

【专利技术属性】
技术研发人员：韩金丽，李洪根，王广清，张大兵，苟晓飞，赵国辉，陈燕勇，杨大为，孙鹏宇，金洁羽，
申请(专利权)人：北京市燃气集团有限责任公司，
类型：发明
国别省市：北京,11