一种基于数据全生命周期管理的数据管理平台制造技术

本发明专利技术公开了一种基于数据全生命周期管理的数据管理平台，包括数据源层、数据集成层、数据存储层、数据整合层、数据服务层、数据视图层及统一管理层，统一管理层用于数据全生命周期的数据质量管理、数据安全管理、元数据管理和集中监控管理。该基于数据全生命周期管理的数据管理平台与现有技术相比，从制度、标准、监控、质量、安全几个方面全方位提升数据信息管理能力，实现对数据以及围绕数据开展的采集、处理、加工、质量评估、分析、共享等工作的一体化管理，实用性强，适用范围广泛，易于推广。

A data management platform based on data lifecycle management

The invention discloses a data platform for data management based on lifecycle management, including data source layer, data integration layer, data storage layer, data integration layer, data service layer, view layer and data management layer, unified management for data quality management, data lifecycle data security management, metadata the management of centralized monitoring and management. This compared with the existing technology of data management data based on lifecycle management, from the system, standards, monitoring, quality and safety aspects of the full range of data to enhance the ability of information management, realize the integrated management of data acquisition, processing, and the processing, quality evaluation, analysis and sharing of data to carry out the work, practical strong, wide application range, easy popularization.

【技术实现步骤摘要】

本专利技术涉及大数据
，具体地说是一种实用性强、基于数据全生命周期管理的数据管理平台。
技术介绍
数据越来越成为重要的信息资源，各部门各单位掌握的数据资源量越来越庞大、数据种类越来越多样、数据类型也越来越复杂，同时围绕着数据的处理、分析任务越来越多，共享的数据服务也越来越多，数据以及围绕数据相关的采集、处理、分析、共享等任务的管理工作越来越繁锁、数据的质量越来越难评估，数据的安全越来越难保证，急需一套统一的、数据全生命周期管理的数据管理平台来进行对数据以及围绕数据展开的各项工作进行集中管理。鉴于此，现提供一种基于基于数据全生命周期管理的数据管理平台。
技术实现思路
本专利技术的技术任务是针对以上不足之处，提供一种实用性强、基于数据全生命周期管理的数据管理平台。一种基于数据全生命周期管理的数据管理平台，包括数据源层、数据集成层、数据存储层、数据整合层、数据服务层、数据视图层及统一管理层，其中：数据源层负责对所有数据源的配置和管理；数据集成层负责对外部数据的接入、采集、传输进行管理；数据存储层负责对存储数据、数据存储环境、状态进行管理；数据整合层实现数据的标准、标签、分类分级进行管理和数据转换、加工处理任务的管理、以及对数据与数据逻辑关系建模管理和数据分析任务管理工作；数据服务层负责对数据共享服务进行管理；数据视图层通过数据视图、服务视图、监控视图、数据建模视图、统计分析视图的方式实现数据的可视化、服务的可视化、监控的可视化、数据建模的可视化和统计分析的可视化；统一管理层用于数据全生命周期的数据质量管理、数据安全管理、元数据管理和集中监控管理。数据源层完成以下管理功能：采集源、目标源的数据源定义、数据源接入、数据源模型描述、数据源权限配置和数据源检验规则，该采集源包括EXCEL文档、多媒体数据、数据库，数据源介入通过业务系统接口实现，目标源的数据源定义、数据源模型描述、数据源权限配置和数据源检验规则由数据填报人完成。数据集成层完成以下管理功能：采集任务的定义管理、采集任务调度管理、数据采集实施管理、采集规则配置管理和采集日志管理，对应该管理功能，数据采集层通过EXCEL接入、服务调用、数据库抽取、文件传输协议和手工填报接口实现。数据存储层完成以下管理功能：数据存储介质定义、存储资源管理、数据存储状态管理、存储备份管理、存储日志的管理，与该管理功能相对应的，数据存储层通过关系数据库、消息队列、分布式文件系统和NOSQL数据库实现。数据整合层完成以下管理：数据标准管理、数据标签管理、数据分类分级管理；数据处理任务定义、数据清洗、数据转换等任务实施；数据建模定义，数据模型管理和数据建模实施；数据分析任务定义、任务管理、数据分析实施管理，与该管理功能相对应的，数据整合层通过数据清洗转换、数据建模、数据分析和NOSQL数据库实现。数据服务层完成包括数据服务的定义、服务发布、服务订阅、服务授权、服务调用的实施和管理，该数据服务层的功能实现基于技术协议和数据协议，其中技术协议包括HTTP、FTP、REST、Socket，数据协议包括Json、XML。所述数据视图包括管理的数据内容视图、数据状态视图；服务视图包括服务资源目录视图、服务授权视图；监控视图包括采集任务监控视图、数据处理监控视图、数据使用监控视图；数据建模视图包括数据建模视图、数据模型视图；统计分析视图包括对数据使用热度统计分析视图数据、数据日志分析视图、元数据影响分析、血缘分析。在统一管理层中，质量管理负责数据全过程的质量管理，包括质量目标定义、质量度量设置、质量识别配置、数据质量监控和质量预警；安全管理实现数据从接入、采集、存储、处理和使用全生命周期的安全管理，包括数据采集安全管理、数据存储安全管理、数据访问安全管理、数据传输安全管理和数据使用安全管理；集中监控实现数据从接入、采集、存储、处理和使用全过程的数据和任务监控，包括数据采集监控、数据存储环境和存储状态监控、数据处理监控、服务状态和调用监控、数据使用如数据访问、应用系统调用监控；元数据管理负责数据从定义到存储、处理、分析和共享元数据的管理，包括数据源元数据、目标源元数据，采集元数据、处理元数据、分析元数据、建模元数据、服务元数据、整合元数据。本专利技术的一种基于数据全生命周期管理的数据管理平台，具有以下优点：本专利技术提供的一种基于数据全生命周期管理的数据管理平台，从数据源、数据集成、数据存储、数据质量、数据整合、数据共享和数据使用等过程全流程管理，从制度、标准、监控、质量、安全几个方面全方位提升数据信息管理能力，实现对数据以及围绕数据开展的采集、处理、加工、质量评估、分析、共享等工作的一体化管理，实现数据的可靠、可信、可溯源，实用性强，适用范围广泛，易于推广。附图说明附图1为数据管理平台功能架构图。附图2为数据管理平台技术实现图。具体实施方式下面结合附图和具体实施例对本专利技术作进一步说明。如附图1、图2所示，本专利技术的一种基于数据全生命周期管理的数据管理平台，提供完整的数据管理，实现外部数据源的管理、数据的采集管理，保障外部源的安全性和采集的安全性，实现数据编码、存储、清洗、整合、共享、治理等功能，实现数据物理模型、逻辑模型的可视化管理，保障数据的透明性和处理过程、使用过程的透明性；实现全面的数据采集、存储、处理、整合、使用日志监控和元数据管理，采用统一数据标准、编码规范实现被管理的数据统一标准，保证数据的一致性，根据业务制定数据质量标准规格参数，实现数据质量分析评估、问题跟踪和合规性监控，保证数据的质量，数据处理各阶段采用多种安全策略，保障数据安全性。其结构包括数据源层、数据集成层、数据存储层、数据整合层、数据服务层、数据视图层及统一管理层，同时建立数据全生命周期的数据质量管理、数据安全管理、元数据管理和集中监控管理，实现数据存储的透明化，数据管理的可视化、数据采集、存储、传输、处理、分析、使用过程的安全化，实现数据的可靠、可信、可溯源，其中：数据源层：负责对所有数据源的配置和管理，包括采集源、目标源的数据源定义、数据源接入、数据源模型描述、数据源权限配置和数据源检验规则。该采集源包括EXCEL文档、多媒体数据、数据库，数据源介入通过业务系统接口实现，目标源的数据源定义、数据源模型描述、数据源权限配置和数据源检验规则由数据填报人完成。数据集成层：负责对外部数据的接入、采集等管理，包括采集任务的定义管理、采集任务调度管理、数据采集实施管理、采集规则配置管理和采集日志管理等。数据采集层通过EXCEL接入、服务调用、数据库抽取、文件传输协议和手工填报接口实现。数据存储层：负责对存储数据、数据存储环境、状态等管理，包括数据存储介质定义、存储资源管理如存储节点、存储空间等，数据存储状态管理如存储设备状态、存储类型等，存储备份管理，存储日志的管理。与该管理功能相对应的，数据存储层通过关系数据库、消息队列、分布式文件系统和NOSQL数据库实现。数据整合层：实现数据的标准、标签、分类分级等管理和数据转换、加工处理任务的管理、以及对数据与数据逻辑关系建模管理和数据分析任务管理等工作，包括数据标准管理、数据标签管理、数据分类分级管理；数据处理任务定义、数据清洗、数据转换等任务实施；数据建模定义，数据模型管理和数据建本文档来自技高网...

【技术保护点】
一种基于数据全生命周期管理的数据管理平台，其特征在于，包括数据源层、数据集成层、数据存储层、数据整合层、数据服务层、数据视图层及统一管理层，其中：数据源层负责对所有数据源的配置和管理；数据集成层负责对外部数据的接入、采集、传输进行管理；数据存储层负责对存储数据、数据存储环境、状态进行管理；数据整合层实现数据的标准、标签、分类分级进行管理和数据转换、加工处理任务的管理、以及对数据与数据逻辑关系建模管理和数据分析任务管理工作；数据服务层负责对数据共享服务进行管理；数据视图层通过数据视图、服务视图、监控视图、数据建模视图、统计分析视图的方式实现数据的可视化、服务的可视化、监控的可视化、数据建模的可视化和统计分析的可视化；统一管理层用于数据全生命周期的数据质量管理、数据安全管理、元数据管理和集中监控管理。

【技术特征摘要】
1.一种基于数据全生命周期管理的数据管理平台，其特征在于，包括数据源层、数据集成层、数据存储层、数据整合层、数据服务层、数据视图层及统一管理层，其中：数据源层负责对所有数据源的配置和管理；数据集成层负责对外部数据的接入、采集、传输进行管理；数据存储层负责对存储数据、数据存储环境、状态进行管理；数据整合层实现数据的标准、标签、分类分级进行管理和数据转换、加工处理任务的管理、以及对数据与数据逻辑关系建模管理和数据分析任务管理工作；数据服务层负责对数据共享服务进行管理；数据视图层通过数据视图、服务视图、监控视图、数据建模视图、统计分析视图的方式实现数据的可视化、服务的可视化、监控的可视化、数据建模的可视化和统计分析的可视化；统一管理层用于数据全生命周期的数据质量管理、数据安全管理、元数据管理和集中监控管理。2.根据权利要求1所述的一种基于数据全生命周期管理的数据管理平台，其特征在于，数据源层完成以下管理功能：采集源、目标源的数据源定义、数据源接入、数据源模型描述、数据源权限配置和数据源检验规则，该采集源包括EXCEL文档、多媒体数据、数据库，数据源介入通过业务系统接口实现，目标源的数据源定义、数据源模型描述、数据源权限配置和数据源检验规则由数据填报人完成。3.根据权利要求1所述的一种基于数据全生命周期管理的数据管理平台，其特征在于，数据集成层完成以下管理功能：采集任务的定义管理、采集任务调度管理、数据采集实施管理、采集规则配置管理和采集日志管理，对应该管理功能，数据采集层通过EXCEL接入、服务调用、数据库抽取、文件传输协议和手工填报接口实现。4.根据权利要求1所述的一种基于数据全生命周期管理的数据管理平台，其特征在于，数据存储层完成以下管理功能：数据存储介质定义、存储资源管理、数据存储状态管理、存储备份管理、存储日志的管理，与该管理功能相对应的，数据存储层通过关系数据库、消息队列、分布式文件系统和NOSQL数据库实现。5.根据权利要求1所述的一种基于数据全生命周期管理的数据管理...

【专利技术属性】
技术研发人员：唐旋，谢传家，毛立花，王传超，崔乐乐，
申请(专利权)人：浪潮软件集团有限公司，
类型：发明
国别省市：山东;37