一种基于云计算的数据管理平台制造技术

本发明专利技术提供了一种基于云计算的数据管理平台，包括数据管理采集模块、数据管理存储模块以及数据支撑服务模块；本发明专利技术形成信息资源的统一采集、统一存储管理、统一利用管理和基于平台和共享信息资源的应用系统管理，形成平台相应的技术和管理规范，保障政务信息资源的有效服务利用；同时通过标准的云平台技术下的交换共享服务模式，实现政务数据在公共云平台上的统一存储、统一维护和灵活服务，提升政务现有数据的安全存储和高效使用能力，更加深入的进行数据挖掘等工作，创造更多的价值。

【技术实现步骤摘要】
一种基于云计算的数据管理平台
本专利技术涉及云计算
，具体涉及一种基于云计算的数据管理平台。
技术介绍
电子政务公共平台数据管理技术是结合云计算、大数据的管理技术特征，同时规范公共平台数据管理核心要素，并兼顾和引导传统数据管理技术逐步转化为云数据管理技术。公共平台管理技术设计应涵盖数据全生命周期管理，包括数据采集管理、数据存储管理、数据服务等过程的管理。但是西安哟的电子政务公共平台数据管理的建设并没有实现信息资源的统一采集管理，统一存储管理、统一利用管理和基于平台和共享信息资源的应用系统管理，不能保障政务信息资源的有效服务利用。
技术实现思路
为了解决现有技术中存在的问题，本专利技术提供了一种基于云计算的数据管理平台。本专利技术解决上述问题的技术方案为：一种基于云计算的数据管理平台，包括数据管理采集模块、数据管理存储模块以及数据支撑服务模块；所述数据管理采集模块包括采集对象管理模块、采集过程管理模块、采集监控管理模块以及采集统计管理模块，所述采集对象管理模块的采集数据源涵盖在平台内外部署的所有应用系统，包括政务业务应用、物联网应用、互联网应用和移动应用；所述采集过程管理模块通过绑定方式对数据提供者和使用者进行关联和管理，提供数据生产方与使用方一对一、一对多、多对多的绑定功能，提供绑定生成、绑定变更、绑定解除，在采集过程中，依照数据提供周期及使用周期的不同，提供不同频次的数据采集调度，为提高采集效率，通过多通道分时复用数据采集、多通道同步数据采集、分布式数据采集这几种采集技术；所述采集监控管理模块包括状态监控模块、任务监控模块和异常监控模块，所述状态监控模块监控采集过程中的所有信息，包括采集对象监控、采集对象运行状态和负载情况监控，所述任务监控模块监控采集任务执行情况，实时了解任务执行时间、采集数据量、采集数据大小、空间使用情况和内存使用情况；所述异常监控模块战队采集过程中的异常情况，能提供异常情况预警，包括采集任务执行失败、采集节点状态异常、网络情况异常；所述采集统计管理模块对采集过程和采集结构进行统计，包括：采集任务运行情况统计、采集任务资源使用情况统计、采集任务异常事件统计，并将各统计信息以不同图标方式展示；所述数据管理存储模块包括存储管理模块、存储调度模块、存储监控模块以及存储备份模块，所述存储管理模块通过集群、分布式文件系统和网格计算基数，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种存储服务，并提供更大更强更好的数据访问功能，所述存储调度模块在存储调度管理过程中，根据任务需求和调度模型提供不同的云服务动态调度机制，所述存储监控模块在存储过程中对存储的所有活动进行监控和管理，包括存储状态监控、对基础软硬件进行状态监控和性能监控，包括节点信息、文件数据块分析、文件历史操作、数据块操作历史、文件数据块排名，所述存储备份模块支持集中控制云环境多节点数据并行备份；所述数据支撑服务模块包括资源目录服务模块、共享交换服务模块、数据集成服务模块以及数据处理服务模块，所述资源目录服务模块包括目录编目、目录注册、目录发布、目录查询和目录维护功能，所述共享交换服务模块包括交换桥接、前置交换、交换传输和交换管理功能，共享交换服务模块在上述功能的基础上实现政务云平台内部应用系统间及政务云平台内部、外部应用系统间的交换服务，所述数据集成服务模块包括数据抽取服务、数据转换服务、数据加载服务、ETL开发配置服务和ETF监控管理服务功能，帮助用户将批量异构的数据集成到统一的存储管理系统中，以便完成进一步的数据挖掘和分析，所述数据处理服务模块包括数据分析服务和数据展现服务功能，所述数据分析服务根据所管理数据的规模和实际业务需求提供大数据特征的数据分析和预测分析服务，所诉数据展现服务通过统一的数据门户提供数据展现服务有关功能，数据门户提供统一的数据展现服务管理，将各类数据以图片、图像、地图、动画的方式展现数据。本专利技术具有有益效果：本专利技术提供了一种基于云计算的数据管理平台，形成信息资源的统一采集、统一存储管理、统一利用管理和基于平台和共享信息资源的应用系统管理，形成平台相应的技术和管理规范，保障政务信息资源的有效服务利用；同时通过标准的云平台技术下的交换共享服务模式，实现政务数据在公共云平台上的统一存储、统一维护和灵活服务，提升政务现有数据的安全存储和高效使用能力，更加深入的进行数据挖掘等工作，创造更多的价值。具体实施方式下面具体实施方式对本专利技术作进一步的说明。一种基于云计算的数据管理平台，包括数据管理采集模块、数据管理存储模块以及数据支撑服务模块；所述数据管理采集模块包括采集对象管理模块、采集过程管理模块、采集监控管理模块以及采集统计管理模块，所述采集对象管理模块的采集数据源涵盖在平台内外部署的所有应用系统，包括政务业务应用、物联网应用、互联网应用和移动应用，采集对象管理模块的功能包括：(1)提供采集对象的属性描述功能，所有介入的数据源需要有唯一标识、所述单位、数据内容、数据类型、更新频率、访问方式、同心机制；(2)提供组织功能，可按用户的组织机构、业务应用等不同方式进行分类管理；(3)提供对采集对象的查询、检索功能；(4)提供生命周期控制功能，包括采集对象的注册、发布、使用授权、变更、注销，支持数据源管理模型的拓展功能，以便使用多种新型的信息存取方式；所述采集过程管理模块通过绑定方式对数据提供者和使用者进行关联和管理，提供数据生产方与使用方一对一、一对多、多对多的绑定功能，提供绑定生成、绑定变更、绑定解除，在采集过程中，依照数据提供周期及使用周期的不同，提供不同频次的数据采集调度，为提高采集效率，通过多通道分时复用数据采集、多通道同步数据采集、分布式数据采集这几种采集技术；所述采集监控管理模块包括状态监控模块、任务监控模块和异常监控模块，所述状态监控模块监控采集过程中的所有信息，包括采集对象监控、采集对象运行状态和负载情况监控，所述任务监控模块监控采集任务执行情况，实时了解任务执行时间、采集数据量、采集数据大小、空间使用情况和内存使用情况；所述异常监控模块战队采集过程中的异常情况，能提供异常情况预警，包括采集任务执行失败、采集节点状态异常、网络情况异常；所述采集统计管理模块对采集过程和采集结构进行统计，包括：采集任务运行情况统计、采集任务资源使用情况统计、采集任务异常事件统计，并将各统计信息以不同图标方式展示；所述数据管理存储模块包括存储管理模块、存储调度模块、存储监控模块以及存储备份模块，所述存储管理模块通过集群、分布式文件系统和网格计算基数，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种存储服务，并提供更大更强更好的数据访问功能，所述存储调度模块在存储调度管理过程中，根据任务需求和调度模型提供不同的云服务动态调度机制，所述存储监控模块在存储过程中对存储的所有活动进行监控和管理，包括存储状态监控、对基础软硬件进行状态监控和性能监控，包括节点信息、文件数据块分析、文件历史操作、数据块操作历史、文件数据块排名，所述存储备份模块支持集中控制云环境多节点数据并行备份；所述数据支撑服务模块包括资源目录服务模块、共享交换服务模块、数据集成服务模块以及数据处理服务模块，所述资源目本文档来自技高网...

【技术保护点】
1.一种基于云计算的数据管理平台，其特征在于，包括数据管理采集模块、数据管理存储模块以及数据支撑服务模块；所述数据管理采集模块包括采集对象管理模块、采集过程管理模块、采集监控管理模块以及采集统计管理模块，所述采集对象管理模块的采集数据源涵盖在平台内外部署的所有应用系统；所述采集过程管理模块通过绑定方式对数据提供者和使用者进行关联和管理，提供数据生产方与使用方一对一、一对多、多对多的绑定功能，提供绑定生成、绑定变更、绑定解除；所述采集监控管理模块包括状态监控模块、任务监控模块和异常监控模块，所述状态监控模块监控采集过程中的所有信息，包括采集对象监控、采集对象运行状态和负载情况监控；所述采集统计管理模块对采集过程和采集结构进行统计；所述数据管理存储模块包括存储管理模块、存储调度模块、存储监控模块以及存储备份模块，所述存储管理模块通过集群、分布式文件系统和网格计算基数，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种存储服务，并提供更大更强更好的数据访问功能，所述存储调度模块在存储调度管理过程中，根据任务需求和调度模型提供不同的云服务动态调度机制，所述存储监控模块在存储过程中对存储的所有活动进行监控和管理，所述存储备份模块支持集中控制云环境多节点数据并行备份；所述数据支撑服务模块包括资源目录服务模块、共享交换服务模块、数据集成服务模块以及数据处理服务模块，所述资源目录服务模块包括目录编目、目录注册、目录发布、目录查询和目录维护功能，所述共享交换服务模块包括交换桥接、前置交换、交换传输和交换管理功能，共享交换服务模块在上述功能的基础上实现政务云平台内部应用系统间及政务云平台内部、外部应用系统间的交换服务，所述数据集成服务模块包括数据抽取服务、数据转换服务、数据加载服务、ETL开发配置服务和ETF监控管理服务功能，所述数据分析服务根据所管理数据的规模和实际业务需求提供大数据特征的数据分析和预测分析服务，所诉数据展现服务通过统一的数据门户提供数据展现服务有关功能，数据门户提供统一的数据展现服务管理。...

【技术特征摘要】
1.一种基于云计算的数据管理平台，其特征在于，包括数据管理采集模块、数据管理存储模块以及数据支撑服务模块；所述数据管理采集模块包括采集对象管理模块、采集过程管理模块、采集监控管理模块以及采集统计管理模块，所述采集对象管理模块的采集数据源涵盖在平台内外部署的所有应用系统；所述采集过程管理模块通过绑定方式对数据提供者和使用者进行关联和管理，提供数据生产方与使用方一对一、一对多、多对多的绑定功能，提供绑定生成、绑定变更、绑定解除；所述采集监控管理模块包括状态监控模块、任务监控模块和异常监控模块，所述状态监控模块监控采集过程中的所有信息，包括采集对象监控、采集对象运行状态和负载情况监控；所述采集统计管理模块对采集过程和采集结构进行统计；所述数据管理存储模块包括存储管理模块、存储调度模块、存储监控模块以及存储备份模块，所述存储管理模块通过集群、分布式文件系统和网格计算基数，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种存储服务，并提供更大更强更好的数据访问功能，所述存储调度模块在存储调度管理过程中，根据任务需求和调度模型提供不同的云服务动态调度机制，所述存储监控模块在存储过程中对存储的所有活动进行监控和管理，所述存储备份模...

【专利技术属性】
技术研发人员：曹宏，
申请(专利权)人：江苏网域科技有限公司，
类型：发明
国别省市：江苏,32