一种数据中心综合管理系统的数据交互管理系统及方法技术方案

本发明专利技术实施例公开了一种数据中心综合管理系统的数据交互管理系统及方法，包括：数据聚合处理模块、Web服务模块以及作业调度模块，所述数据聚合处理模块分别通信连接所述Web服务模块和作业调度模块，所述Web服务模块通信连接所述作业调度模块，其中，所述数据聚合处理模块用于存储数据，所述Web服务模块用于进行操作功能模块化封装，所述作业调度模块用于业务调度管理。本发明专利技术实施例可以实现数据的整体管理，提高资源利用率和数据管理效率。

Data interaction management system and method for data center integrated management system

The embodiment of the invention discloses a data interactive management system and a method for a data center integrated management system, including a data aggregation processing module, a Web service module and a job scheduling module. The data aggregation processing module communicates with and connects the Web service module and the job scheduling module respectively, and the Web service module communicates with each other. The message connects the job scheduling module, wherein the data aggregation processing module is used for storing data, the Web service module is used for encapsulating operation functional modules, and the job scheduling module is used for business scheduling management. The embodiment of the invention can realize the overall management of data, improve the utilization ratio of resources and the efficiency of data management.

【技术实现步骤摘要】
一种数据中心综合管理系统的数据交互管理系统及方法
本专利技术涉及数据处理
，特别是涉及一种数据中心综合管理系统的数据交互管理系统及方法。
技术介绍
随着数据中心综合管理系统的数据越来越来庞大，对数据的处理引入了更健壮的架构。现有技术中，数据中心综合管理系统的数据交互仍然是通过传统的Web网页进行展现，这些展现通常是最终的数据展示结果，而这些展示结果的数据量和计算程度均不复杂主要通过Hadoop实现。Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem，HDFS)。充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。Hive是Hadoop生态系统内的数据仓库平台，用于在HDFS上构建数据仓库来存储结构化数据，Hive提供了类似于SQL的查询语言HiveQL，可以提供数据表的创建、查询和变更等操作。在原生Hadoop大数据环境中，若要使用Hive在HDFS上创建数据库表，需要登录到Hive服务器，并在服务器端命令窗口中编写Shell脚本才能完成创建数据库表。然而，现有技术中，通过Web网页进行数据交互以及通过HDFS进行分布式文件存储是分别独立进行的，各自的实现过程复杂，且不能与业务信息以及综合管理系统的其他数据进行综合管理，降低了综合管理系统的资源利用率和数据管理效率。
技术实现思路
本专利技术实施例中提供了一种数据中心综合管理系统的数据交互管理系统及方法，以解决现有技术中的资源利用率和数据管理效率低的问题。为了解决上述技术问题，本专利技术实施例公开了如下技术方案：本专利技术第一方面提供了一种数据中心综合管理系统的数据交互管理系统，包括：数据聚合处理模块、Web服务模块以及作业调度模块，所述数据聚合处理模块分别通信连接所述Web服务模块和作业调度模块，所述Web服务模块通信连接所述作业调度模块，其中，所述数据聚合处理模块用于存储数据，所述Web服务模块用于进行操作功能模块化封装，所述作业调度模块用于业务调度管理。优选地，所述数据聚合处理模块包括数据服务接口单元、元数据单元和数据单元，其中，所述数据服务接口单元用于服务接口注册和管理功能；所述元数据单元用于对分布式系统中的数据对象逻辑结构的维护和管理；所述数据单元用于对存储数据的查询和维护。优选地，所述Web服务模块包括Hbase单元、Hive单元、HDFS单元和ZooKeeper单元，其中，所述Hbase单元用于Hbase表的创建、修改及数据查看；所述HDFS单元用于文件上传、下载、复制、移动、删除及权限变更；所述HIVE单元用于将SQL语句转换为分布式并行计算业务；所述ZooKeeper单元用于查看大数据集群在ZooKeeper系统上注册的节点信息。优选地，所述作业调度模块包括资源管理器、队列管理器以及作业调度器，其中，所述资源管理器用于存储接受到的业务信息；所述队列管理器用于从所述资源管理器中的业务信息进行预读取；所述作业调度器用于对所述业务信息进行分配调度。优选地，所述业务信息包括批处理作业、交互式作业、串行和并行作业。优选地，所述系统还包括三维显示模块，所述三维显示模块分别通信连接综合管理系统和所述数据聚合处理模块、Web服务模块以及作业调度模块，对各数据信息进行三维显示。优选地，所述三维显示模块包括告警单元、监控数据单元、监控预警单元。本专利技术第二方面提供了一种数据中心综合管理系统的数据交互管理方法，包括：获取综合管理系统数据；对所述数据进行Web服务处理，和/或，对所述数据进行作业调度处理；对所述数据以及作业调度进行三维显示。优选地，所述对所述数据进行Web服务处理具体包括：对于需要创建、修改或查看Hbase表的数据进行Hbase表创建、修改或查看操作；对于需要进行可分布操作的数据进行文件上传、下载、复制、移动、删除或权限变更操作；对于需要进行并行计算操作的数据将SQL语言转换为分布式并行计算业务；对于需要查看节点信息的数据进行节点信息查看操作。优选地，所述对所述数据进行作业调度处理具体包括：从接受到的数据中选取业务信息并进行初次作业分配；将剩余业务信息及新接受到的业务信息进行保存；对已保存的业务信息进行预读取；对预读取的业务信息进行再次作业分配；判断预读取业务是否全部分配完毕；如果是则结束作业分配，如果否则对预读取的业务进行作业分配。由以上技术方案可见，本专利技术中包括数据聚合处理模块、Web服务模块以及作业调度模块，所述数据聚合处理模块分别通信连接所述Web服务模块和作业调度模块，所述Web服务模块通信连接所述作业调度模块，数据中心综合管理系统的数据被数据聚合模块接受并保存，保存后的数据由数据聚合处理模块根据数据要进行的相应处理发送给相应的模块，Web服务模块以Web服务的方式对需要进行分布式操作的数据进响应的处理行，作业调度模块对业务信息进行业务分配调度，Web服务模块和作业调度模块可以同时独立工作，在进行数据存储的过程中实现业务的同步处理，最后通过三维显示模块进行显示，可以实现数据的整体管理，提高资源利用率和数据管理效率。附图说明了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种数据中心综合管理系统的数据交互管理系统的结构示意图；图2为本专利技术实施例提供的另一种数据中心综合管理系统的数据交互管理系统的结构示意图；图3为本专利技术实施例提供的另一种数据中心综合管理系统的数据交互管理系统的结构示意图；图4为本专利技术实施例提供的一种数据中心综合管理系统的数据交互管理方法的流程示意图；图5为本专利技术实施例提供的作业调度方法的结构流程示意图。具体实施方式为了使本
的人员更好地理解本专利技术中的技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。参见图1，为本专利技术实施例提供的一种数据中心综合管理系统的数据交互管理系统的结构示意图，如图1所示，本专利技术实施例提供的数据交互管理系统，包括：数据聚合处理模块、Web服务模块以及作业调度模块。所述数据聚合处理模块分别通信连接所述Web服务模块和作业调度模块，所述Web服务模块通信连接所述作业调度模块，其中，所述数据聚合处理模块用于存储数据并进行可视化管理，所述Web服务模块用于进行操作功能模块化封装，所述作业调度模块用于业务调度管理。数据中心综合管理系统包括业务量、待处理的数据等全部信息，并全部保存在数据聚合处理模块，进行数据综合管理，将分散的数据集中的一起，提高数据管理效率。Web服务模块主要进行数据的分布式管理，将现有技术中分布式存储的各步骤按功能进行封装，用户在使用时只需进行简单的操作，简化了分布式操作的步骤。作业调度模块将数据中心的业务量进行调本文档来自技高网...

【技术保护点】
1.一种数据中心综合管理系统的数据交互管理系统，其特征在于，包括：数据聚合处理模块、Web服务模块以及作业调度模块，所述数据聚合处理模块分别通信连接所述Web服务模块和作业调度模块，所述Web服务模块通信连接所述作业调度模块，其中，所述数据聚合处理模块用于存储数据，所述Web服务模块用于进行操作功能模块化封装，所述作业调度模块用于业务调度管理。

【技术特征摘要】
1.一种数据中心综合管理系统的数据交互管理系统，其特征在于，包括：数据聚合处理模块、Web服务模块以及作业调度模块，所述数据聚合处理模块分别通信连接所述Web服务模块和作业调度模块，所述Web服务模块通信连接所述作业调度模块，其中，所述数据聚合处理模块用于存储数据，所述Web服务模块用于进行操作功能模块化封装，所述作业调度模块用于业务调度管理。2.根据权利要求1所述的数据交互管理系统，其特征在于，所述数据聚合处理模块包括数据服务接口单元、元数据单元和数据单元，其中，所述数据服务接口单元用于服务接口注册和管理功能；所述元数据单元用于对分布式系统中的数据对象逻辑结构的维护和管理；所述数据单元用于对存储数据的查询和维护。3.根据权利要求1所述的数据交互管理系统，其特征在于，所述Web服务模块包括Hbase单元、Hive单元、HDFS单元和ZooKeeper单元，其中，所述Hbase单元用于Hbase表的创建、修改及数据查看；所述HDFS单元用于文件上传、下载、复制、移动、删除及权限变更；所述HIVE单元用于将SQL语句转换为分布式并行计算业务；所述ZooKeeper单元用于查看大数据集群在ZooKeeper系统上注册的节点信息。4.根据权利要求1所述的数据交互管理系统，其特征在于，所述作业调度模块包括资源管理器、队列管理器以及作业调度器，其中，所述资源管理器用于存储接受到的业务信息；所述队列管理器用于从所述资源管理器中的业务信息进行预读取；所述作业调度器用于对所述业务信息进行分配调度。5.根据权利要求4所...

【专利技术属性】
技术研发人员：李俊山，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41