数据全生命周期管理系统、方法及介质技术方案

本发明专利技术提供了一种数据全生命周期管理系统、方法及介质，包括：数据采集模块：采集各类不同类型数据源的数据，通过提供数据采集交换平台对数据汇聚进行统一管理；数据存储管理模块：对数据采集模块采集的数据，根据数据的不同性质进行存储管理；数据处理模块：对数据存储管理模块存储的数据进行建模、转换，并提供在线数据查询与访问。本发明专利技术支持多种格式的数据采集，并能在数据采集过程中对数据进行持续化的处理，通过对多种采集作业提供统一的操作与管控能力，让数据的采集过程可视、可管、可控。

Data life cycle management system, method and medium

【技术实现步骤摘要】
数据全生命周期管理系统、方法及介质
本专利技术涉及计算机信息处理
，具体地，涉及数据全生命周期管理系统、方法及介质。尤其是，涉及数据生命周期管理，包括数据采集、数据治理、数据管理等。
技术介绍
数据的爆炸性增长是信息时代最典型的特征。目前在试验领域，长期以来积累了种类多样、结构复杂、体量巨大的试验数据资源。为建好、管好、用好试验数据，发挥试验数据应有价值，如何建立一种能够适应快速增长的大数据存储、管理机制，采用日益成熟的大数据、云计算技术实现对海量试验数据进行存储、治理、挖掘等全生命周期的有效管理，最大限度的发挥试验数据的综合效益是目前试验数据工程建设的重要任务。针对海量数据存储和管理的新需求，对传统的业务数据技术进行变革，采用基于大数据、云平台的架构进行数据全生命周期管理，同时结合大数据处理思想改造原有业务处理逻辑。在综合运用多种数据管理技术的基础上，采用分布式处理、并行计算、虚拟化处理等技术架构，分层次、分步骤建设好大数据中心。实现“大数据即服务、内容即服务”等云即服务的理念，贯穿全流程的数据中心建设。相关检索结果1：申请(专利)号：201810494735.2名称：一种数据源无关的数据全生命周期管理平台及方法摘要：本专利技术公开了一种数据源无关的数据全生命周期管理平台及方法，包括元数据采集层，从数据源中进行所有元数据的采集；元数据存储层，将采集的元数据进行统一集中的存储和管理；数据服务层，提供数据服务、模型服务、接口服务和展现分析过程中的计算服务；功能应用层，提供生命周期管理、生命周期分析、元数据管理、元模型管理、元数据采集管理、元数据标准化管理；基础管理层，用于平台的授权管理、日志分析、菜单管理、用户管理、安全管理和运维监控。本专利技术的一种数据源无关的数据全生命周期管理平台及方法与现有技术相比，实现数据全生命周期的跟踪管理，实现海量大数据在数据仓库中全生命周期的管理和流程化的可视地图展现。技术要点比较：该专利技术虽然其描述的数据全生命周期管理，但是并未对传统的业务数据技术进行变革，跟本专利技术提出的采用基于大数据、云平台的架构进行数据全生命周期管理，结合大数据处理思想改造原有业务处理逻辑相比，具有一定的局限性。相关检索结果2：申请(专利)号：201710851225.1名称：面向大数据的数据管理系统摘要：一种高效数据管理系统，包括采集中心、数据中心、面向用户的用户中心；所述数据中心的HADOOP集群子系统包括对采集中心经SQL服务器转送的大数据多源异构数据进行整合形成结构化数据记录的数据整合模块、数据清洗模块、将清洗后的数据进行分类的分类模块、数据存储模块。本专利技术可以快速、高效、可靠地进行数据采集、数据处理，能给多行业用户子系统提供应用数据。由于本专利技术的数据中心完成大数据清洗，使得处理和分析海量数据成为可能，并对海量数据进行了初步分析，用户后续进一步的应用和分析提供了数据准备。技术要点比较：该专利技术提出了针对多源异构数据进行整合形成结构化数据记录的数据整合模块、数据清洗模块、将清洗后的数据进行分类的分类模块、数据存储模块，但是其只是对海量数据进行了初步分析，用户后续进一步的应用和分析提供了数据准备，并未对数据进行深入挖掘分析和服务共享。本专利技术在综合运用多种数据管理技术的基础上，采用分布式处理、并行计算、虚拟化处理等技术架构，分层次、分步骤建设好大数据中心。实现“大数据即服务、内容即服务”等云即服务的理念，贯穿全流程的数据中心建设。相关检索结果3：申请(专利)号：201810637105.6名称：一种基于大数据的数据管控系统摘要：本专利技术提供了一种基于大数据的数据管控系统，包括数据管控组织模块、评价与考核模块、管控流程模块以及管控平台；本专利技术明确了数据管控过程中的组织结构、角色和职责，规范了数据管控过程中各个关节日常任务处理的运作模式，通过建立一些定性或定量的数据管控评价考核指标，去评估以及考核数据相关责任人职责履行情况、数据管控标准及数据政策的执行情况，采用专门的技术平台支撑管理流程的自动化，发布管控组织制定的一些相关标准和规范，及时反映管控过程中存在的一些问题。技术要点比较：该专利技术侧重于数据标准管理，数据质量管理、元数据管理和数据安全管理，本专利技术主要详细阐述说明数据的整个生命周期的维护和管理过程，其中包括标准、质量等管理。针对上述现有技术中的缺陷，本专利技术要解决的技术问题体现在以下几点：1)对数据源进行采集、处理、整合，形成统一的数据资源池，进行集中存储和分析使用。2)对采集到的结构化数据，半结构化数据和非结构化数据进行管理，实现对元数据提取和管理，并能基于元数据进行数据的来源回溯和去向分析。3)实现数据建模、挖掘分析功能，采用分布式处理、并行计算、虚拟化处理等技术架构，分层次、分步骤建设好大数据中心。实现“大数据即服务、内容即服务”等云即服务的理念，贯穿全流程的数据中心建设。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种数据全生命周期管理系统、方法及介质。根据本专利技术提供的一种数据全生命周期管理系统，包括：数据采集模块：采集各类不同类型数据源的数据，通过提供数据采集交换平台对数据汇聚进行统一管理；数据存储管理模块：对数据采集模块采集的数据，根据数据的不同性质进行存储管理；数据处理模块：对数据存储管理模块存储的数据进行建模、转换，并提供在线数据查询与访问。优选地，所述数据采集交换平台包括：数据源管理层：负责各类型的结构化、半结构化和非结构化数据源的统一管理，维护数据源的基础性元数据，跟踪数据源的状态；数据采集与交换层：对各类数据源进行处理，并提供处理过程中的各类日志收集和运行监控；管理界面层：提供B/S架构的图形化管理界面，支持多数据源链接从主流数据库中提取数据，以及支持文档型数据的导入和处理；所述对各类数据源进行处理包括以下任一种或任多种：采集、清洗、转换、统计、加载、交换；所述主流数据库包括：关系型数据库、非关系型数据库。优选地，所述数据存储管理模块：所述根据数据的不同性质进行存储管理指：根据预设标准将数据划分为活性数据和休眠数据，所述活性数据是指使用频率高的数据，所述休眠数据是指使用频率低和长期搁置保存的数据；在进行数据存储时，采用在线、近线、离线以及光磁结合的存储方案；所述在线、近线、离线以及光磁结合的存储方案包括：在线方案：在线由共享的SAN存储系统、磁盘阵列管理组成，提供数据存储服务，并通过双FC通道卡与数据库服务器连接，实现海量数据存储；近线、离线方案：采用蓝光光盘库存储。优选地，所述数据存储管理模块：调用数据存储管理模块存储的数据，对数据存储管理模块存储的数据进行建模、转换，并提供在线数据查询与访问。根据本专利技术提供的一种数据全生命周期管理方法，包括：数据采集步骤：采集各类不同类型本文档来自技高网...

【技术保护点】
1.一种数据全生命周期管理系统，其特征在于，包括：/n数据采集模块：采集各类不同类型数据源的数据，通过提供数据采集交换平台对数据汇聚进行统一管理；/n数据存储管理模块：对数据采集模块采集的数据，根据数据的不同性质进行存储管理；/n数据处理模块：对数据存储管理模块存储的数据进行建模、转换，并提供在线数据查询与访问。/n

【技术特征摘要】
1.一种数据全生命周期管理系统，其特征在于，包括：
数据采集模块：采集各类不同类型数据源的数据，通过提供数据采集交换平台对数据汇聚进行统一管理；
数据存储管理模块：对数据采集模块采集的数据，根据数据的不同性质进行存储管理；
数据处理模块：对数据存储管理模块存储的数据进行建模、转换，并提供在线数据查询与访问。


2.根据权利要求1所述的数据全生命周期管理系统，其特征在于，所述数据采集交换平台包括：
数据源管理层：负责各类型的结构化、半结构化和非结构化数据源的统一管理，维护数据源的基础性元数据，跟踪数据源的状态；
数据采集与交换层：对各类数据源进行处理，并提供处理过程中的各类日志收集和运行监控；
管理界面层：提供B/S架构的图形化管理界面，支持多数据源链接从主流数据库中提取数据，以及支持文档型数据的导入和处理；
所述对各类数据源进行处理包括以下任一种或任多种：
采集、清洗、转换、统计、加载、交换；
所述主流数据库包括：关系型数据库、非关系型数据库。


3.根据权利要求2所述的数据全生命周期管理系统，其特征在于，所述数据存储管理模块：
所述根据数据的不同性质进行存储管理指：
根据预设标准将数据划分为活性数据和休眠数据，所述活性数据是指使用频率高的数据，所述休眠数据是指使用频率低和长期搁置保存的数据；
在进行数据存储时，采用在线、近线、离线以及光磁结合的存储方案；
所述在线、近线、离线以及光磁结合的存储方案包括：
在线方案：在线由共享的SAN存储系统、磁盘阵列管理组成，提供数据存储服务，并通过双FC通道卡与数据库服务器连接，实现海量数据存储；
近线、离线方案：采用蓝光光盘库存储。


4.根据权利要求3所述的数据全生命周期管理系统，其特征在于，所述数据存储管理模块：
调用数据存储管理模块存储的数据，对数据存储管理模块存储的数据进行建模、转换，并提供在线数据查询与访问。


5.一种数据全生命周期管理方法，其特征在于，包括：
数据采集步骤：采集各类不同类型数据源的数据，通过提供数...

【专利技术属性】
技术研发人员：李一，龚昕，陈峰，张立斌，周大庆，黄继海，卜宪政，雷博，杨飒，杨豪璞，沈斌，宋东海，陈阳，马佳华，张胜光，稽元祥，姜山，姜鑫，桑耘，
申请(专利权)人：中国人民解放军九二四九三部队参谋部，中国电子科技集团公司第三十二研究所，
类型：发明
国别省市：辽宁;21