一种基于大数据共享服务的集群管理平台制造技术

本发明专利技术公开了一种基于大数据共享服务的集群管理平台，属于大数据管理技术领域，包括大数据共享平台、大数据管理平台和大数据云交换平台，所述大数据共享平台的输出端与大数据管理平台的输入端通过通讯连接，所述大数据管理平台的输出端与大数据云交换平台的输入端通过通讯连接；本发明专利技术中，通过在内设置有高可扩展性的Hadoop存储体系，采用了Hadoop技术体系作为大数据交换的存储和计算框架，利用Hadoop的HDFS文件系统、MapReduce的计算系统与HBase的数据库系统实现了对海量数据的支持，使数据交换能力的提高通过标准硬件的横向扩展即可实现，且在内设置有流数据的处理模块，采用先进的流数据技术使数据处理服务可以多点分布式，按数据量进行处理，使用效果好。使用效果好。使用效果好。

【技术实现步骤摘要】
一种基于大数据共享服务的集群管理平台


[0001]本专利技术属于大数据管理
，尤其涉及一种基于大数据共享服务的集群管理平台。

技术介绍

[0002]随着科技的发展，大数据概念被提出来，大数据是源于IT行业术语，一般是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，在很多行业内，为了获取用户的用户习惯信息，均会通过进行大数据获取并进行大数据分析来实现，在大数据进行共享服务时，需要进行集群管理。
[0003]中国专利公开了(CN201610531522.3)基于可信云计算的信息安全大数据管理系统，包括信息共享服务平台和信息安全服务平台，所述信息共享服务平台包括平台接口层、平台管理层和平台部署层，所述信息安全服务平台包括数据安全处理层和数据服务层，所述平台接口层通过对外提供统一的接口，实现用户进行数据的发布、查询和获取；所述平台管理层用于管理由数据安全处理层处理后的数据，包括依次连接的信息存储模块、服务分类管理模块和服务查询检索模块，该信息共享服务平台，有效解决了集中式服务管理造成的压力集中，大量服务难以管理等问题，采用云存储系统进行加密后数据的存储，不需要了解具体的存储设备信息，不需要考虑数据备份和冗余等问题，节约了时间成本和存储成本，该系统在内并未设置有大数据管理系统，无法对于各种数据信息进行实时管理，只能用于共享，由于大数据的种类繁多，若不进行数据管理，易导致数据的纷杂与错乱，同时该系统也不具备管理监控系统，无法对于大数据进行监控，用户无法实时了解平台的运行情况，需要进行一定改进。

技术实现思路

[0004]本专利技术的目的在于：为了解决现如今的大数据集群管理平台在内并未设置有大数据管理系统，无法对于各种数据信息进行实时管理，只能用于共享，由于大数据的种类繁多，若不进行数据管理，易导致数据的纷杂与错乱，同时也不具备管理监控系统，无法对于大数据进行监控，用户无法实时了解平台的运行情况的问题，而提出的一种基于大数据共享服务的集群管理平台。
[0005]为了实现上述目的，本专利技术采用了如下技术方案：
[0006]设计一种基于大数据共享服务的集群管理平台，包括大数据共享平台、大数据管理平台和大数据云交换平台，所述大数据共享平台的输出端与大数据管理平台的输入端通过通讯连接，所述大数据管理平台的输出端与大数据云交换平台的输入端通过通讯连接。
[0007]优选的，所述大数据共享平台包括云消息服务器、大数据储存交换模块、流数据处理模块与数据管理监控模块，所述云消息服务器的输出端与大数据储存交换模块的输入端之间电性连接，所述大数据储存交换模块的输出端与流数据处理模块的输入端之间电性连
接，所述流数据处理模块的输出端与数据管理监控模块的输入端之间电性连接。
[0008]优选的，所述大数据管理平台包括集群管理模块、集群部署模块、任务管理平台、服务管理模块、用户管理模块与状态监控模块，所述大数据管理平台的输出端分别与集群管理模块、集群部署模块、任务管理平台、服务管理模块、用户管理模块及状态监控模块的输入端通过网络连接。
[0009]优选的，所述大数据云交换平台包括目录管理系统、数据交换系统、管理监控系统与实时系统监控与资源报警模块，所述目录管理系统的输出端分别与角色资源权限管理模块、分类体系与关键字资源管理模块、数据库与文件编目管理模块及数据交换系统的输入端电性连接，所述数据交换系统的输出端分别与服务组件驱动的复杂服务配置模块、数据库驱动的Links服务配置模块及管理监控系统的输入端电性连接，所述管理监控系统的输出端分别与业务域管理模块、节点代理服务管理模块及实时系统监控与资源报警模块的输入端电性连接。
[0010]优选的，所述大数据储存交换模块中采用了Hadoop技术体系作为大数据交换的存储和计算框架。
[0011]优选的，所述集群管理模块包括节点的重启与关闭、节点的自动发现与集群、节点状态显示，集群部署模块包括集群的创建与删除，任务管理平台包括任务的提交、停止与删除。
[0012]优选的，所述服务管理模块包括服务的重启、关闭与服务状态的显示，用户管理模块包括用户及用户组的添加与删除用户权限设置，状态监控模块包括运行状态监控、节点资源监控与集群资源监控。
[0013]优选的，所述数据交换系统中提供了完整的配置化服务开发工具为Links和ServiceWorks。
[0014]优选的，所述服务组件驱动的复杂服务配置模块的开发设计工具为ServiceWorks。
[0015]优选的，所述资源报警模块中用户能够通过报警服务对各种资源设定报警阀门值，提醒用户各种预警或异常情况。
[0016]综上所述，由于采用了上述技术方案，本专利技术的有益效果是：
[0017]1、本专利技术中，通过在内设置有高可扩展性的Hadoop存储体系，采用了Hadoop技术体系作为大数据交换的存储和计算框架，利用Hadoop的HDFS文件系统，MapReduce的计算系统、HBase的数据库系统实现了对海量数据的支持，使数据交换能力的提高通过标准硬件的横向扩展即可实现，且在内设置有流数据的处理模块，采用先进的流数据技术使数据处理服务可以多点分布式，按数据量进行处理，使用效果好。
[0018]2、本专利技术中，通过在内设置有目录管理系统，对资源建立标准的分类体系，提供分类体系管理，同时支持关键字管理，使资源便于查询与索引，可提供对数据库或文件等资源的在线与离线的编目，编辑整理各种信息资源，对数据资源的使用权限进行管理，提供资源使用权限的细化分配，以及按角色的资源审核，同时设置有数据交换系统，可提供基于目录资源的数据交换服务，采用模版化技术，使用户可以轻松实现自助交换服务，数据交换系统主要功能，Links为用户提供了数据结构驱动的配置化工具，实现了数据库到数据库的交换定义，极大的提高了基于数据库之间的数据交换服务定制的效率。
[0019]3、本专利技术中，通过在内设置的大数据管理平台可对于大量不同的情况进行管理，大大提高了大数据管理范围的广度与范围，提高了该平台的使用效果，将大数据共享平台、大数据管理平台与大数据云交换平台相互整合在一起，有效提高了大数据信息传播的快速性、提高了信息处理的精准度与信息共享的广泛度。
附图说明
[0020]图1为本专利技术提出的一种基于大数据共享服务的集群管理平台的主系统模块结构示意图；
[0021]图2为本专利技术提出的一种基于大数据共享服务的集群管理平台中大数据共享平台的子系统模块结构示意图；
[0022]图3为本专利技术提出的一种基于大数据共享服务的集群管理平台中大数据管理平台的子系统模块结构示意图；
[0023]图4为本专利技术提出的一种基于大数据共享服务的集群管理平台中大数据云交换平台的子系统模块结构示意图；
[0024]图例说明：1、大数据共享平台；2、大数据管理平台；3、大数据云交换平台本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据共享服务的集群管理平台，包括大数据共享平台(1)、大数据管理平台(2)和大数据云交换平台(3)，其特征在于：所述大数据共享平台(1)的输出端与大数据管理平台(2)的输入端通过通讯连接，所述大数据管理平台(2)的输出端与大数据云交换平台(3)的输入端通过通讯连接。2.根据权利要求1所述的一种基于大数据共享服务的集群管理平台，其特征在于：所述大数据共享平台(1)包括云消息服务器、大数据储存交换模块、流数据处理模块与数据管理监控模块，所述云消息服务器的输出端与大数据储存交换模块的输入端之间电性连接，所述大数据储存交换模块的输出端与流数据处理模块的输入端之间电性连接，所述流数据处理模块的输出端与数据管理监控模块的输入端之间电性连接。3.根据权利要求1所述的一种基于大数据共享服务的集群管理平台，其特征在于：所述大数据管理平台(2)包括集群管理模块、集群部署模块、任务管理平台、服务管理模块、用户管理模块与状态监控模块，所述大数据管理平台(2)的输出端分别与集群管理模块、集群部署模块、任务管理平台、服务管理模块、用户管理模块及状态监控模块的输入端通过网络连接。4.根据权利要求1所述的一种基于大数据共享服务的集群管理平台，其特征在于：所述大数据云交换平台(3)包括目录管理系统、数据交换系统、管理监控系统与实时系统监控与资源报警模块，所述目录管理系统的输出端分别与角色资源权限管理模块、分类体系与关键字资源管理模块、数据库与文件编目管理模块及数据交换系统的输入端电性连接，所述数据交换系统的输出端分别与...

【专利技术属性】
技术研发人员：郏光奇，
申请(专利权)人：江苏奥工信息技术有限公司，
类型：发明
国别省市：