集群弹性部署的方法和管理系统技术方案

本发明专利技术提供了集群弹性部署的方法和管理系统。根据本发明专利技术的方法和管理系统，能够动态部署和管理的弹性计算框架的集群。所述方法包括：定义集群的基本信息；从包括由拟用于生成集群的机器所组成的资源池中，选择拟用于生成所述集群的机器；选择将用于所述机器的软件的版本并修改所述机器的配置信息；选择所述机器要部署的服务进程；以及根据所述机器中所包括的检测脚本，对所述机器进行环境正确性检查，其中，如果所述环境正确性检查通过，则从云存储获取对所述机器进行配置的镜像文件，以及在所述机器上启用所述要部署的服务进程。

【技术实现步骤摘要】
集群弹性部署的方法和管理系统
本专利技术涉及计算机
，特别地涉及分布式系统中的集群弹性部署的方法和管理系统。
技术介绍
为了应对海量数据存储，越来越多的企业采用诸如HBase的开源数据库。然而，作为分布式系统，对于HBase的集群部署和运维非常麻烦，比如对现有集群进行扩容或剔除出现软硬件故障的机器的情况下，要依赖于运维人员的手工操作。这些操作不仅具有重复性，极易出错，而且随着集群个数和集群自身规模的增加，使得难以通过手工操作对其进行管理。为简化诸如HBase的集群管理操作，业界也出现了一些管理工具，比如ClouderaManager和Ambari。在部署集群时，用户仅需选定好HBase所依赖的软件包版本，通过工具界面配置每个机器的角色，对HBase、Zookeeper和Hadoop的配置进行调整，而具体的集群部署操作则由这些管理工具完成。即便如上所述的管理工具来实现集群管理操作，仍存在以下弊端：管理工具由于商业授权而存在诸多限制，比如ClouderaManager限制集群规模小于100机器节点；不便于多集群管理，管理工具均是针对一个集群的安装和管理，而难以对多个集群的弹性增减机器等；缺乏审计追踪，对生产环境中的机器的操作没有做必要的记录，无法帮助用户在出现问题时追查原因及责任人。
技术实现思路
有鉴于此，本专利技术提供一种集群弹性部署的方法和管理系统，通过引入资源池，将所有拟用于集群部署的机器放入资源池内，能够简化对现有资源池和集群的维护管理。为实现上述目的，根据本专利技术的一个方面，提供了一种集群弹性部署的方法。本专利技术的集群弹性部署的方法包括步骤：定义集群的基本信息；从由拟用于生成集群的机器所组成的资源池中，选择拟用于生成所述集群的机器；选择将用于所述机器的软件的版本并修改所述机器的配置信息；选择所述机器要部署的服务进程；以及根据所述机器中所包括的检测脚本，对所述机器进行环境正确性检查，其中，如果所述环境正确性检查通过，则从云存储获取对所述机器进行配置的镜像文件，以及在所述机器上启用所述要部署的服务进程。可选地，所述定义集群的基本信息包括：定义所述集群的集群名称、集群机器类型、使用有效期和集群规模。可选地，所述对所述机器进行环境正确性检查包括：对所述机器的操作系统版本、JDK版本、主机名、防火墙、时间同步配置中的一项或多项进行检查。可选地，本专利技术的集群弹性部署的方法进一步包括向所述集群添加机器的步骤，所述步骤包括：从所述资源池中选择空闲的机器并且指定在其上要部署的服务进程；以及根据所述机器中所包括的检测脚本，对所述机器进行环境正确性检查，其中，如果所述环境正确性检查通过，则从所述云存储获取对所述机器进行配置的镜像文件，对所述机器的配置进行更新，以及启用所述要部署的服务进程。可选地，本专利技术的集群弹性部署的方法进一步包括向所述集群动态删除机器的步骤，所述步骤包括：选择需要停止的机器并且停止部署在其上的服务进程；以及根据所述机器中所包括的检测脚本，对所述集群工作状态进行检测，其中，如果所述集群能够工作正常，则将所述机器的配置信息重置为初始状态。可选地，本专利技术的集群弹性部署的方法进一步包括对所述集群进行动态修改配置的步骤，所述步骤包括：对欲对其进行配置项修改的机器的原配置项进行备份；修改所述机器的要更改的配置项；以及根据所述机器中所包括的检测脚本，对修改后的配置项的合法性进行审查，其中，如果所述配置项的合法性的审查通过，则所述修改后的配置项被推送到所述机器。根据本专利技术的另一方面，提供了一种集群弹性部署的管理系统，包括中心管理服务器；由拟用于生成集群的机器所组成的资源池；以及由所述中心管理服务器，根据本专利技术的集群弹性部署的方法所部署的集群。可选地，所述资源池中的拟用于生成集群的机器能够与所述中心管理服务器协同来完成接收命令和回送响应消息的相关操作。可选地，所述资源池中的拟用于生成集群的机器包括检测脚本可选地，所述中心管理服务器还用于获取所述机器的所属集群、机器工作状态以及机器类型。可选地，所述中心管理服务器记录所述集群和所述资源池的操作日志。根据本专利技术的技术方案，通过在集群部署中引入资源池，而将所有拟用于集群部署的机器放入资源池内，提供了能够动态管理的弹性计算框架的集群。附图说明附图用于更好地理解本专利技术，不构成对本专利技术的不当限定。其中：图1是用于描述本专利技术的集群弹性部署的管理系统的示意图；图2A-2D是用于描述本专利技术的集群弹性部署的方法的示意图。具体实施方式以下结合附图对本专利技术的示范性实施例做出说明，其中包括本专利技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。为了便于描述，以HBase为例做出以下具体说明，然而本领域普通技术人员应当认识到，本专利技术的方法和管理系统并不限于HBase，而是可以对这里描述的实施例做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。图1是用于描述本专利技术的集群弹性部署的管理系统的示意图。如下将参考图1描述本专利技术的集群弹性部署的管理系统的工作机制。如图1所示，与现有技术的集群管理系统相同，本专利技术的集群弹性部署的管理系统包括中心管理服务器10、集群20、云存储30、数据库40。云存储30用于存放功能资源文件，例如Hadoop、Zookeeper、HBase镜像文件文件和配置文件。数据库40用于存放机器、集群等相关元数据信息以及状态维护信息。集群20包括多台机器并且用于处理来自接入业务应用的任务。中心管理服务器10读取存放在云存储30和数据库40中的文件和信息，根据该文件和信息维护集群20中机器的列表信息，以获取机器所属集群、机器工作状态和机器来源，进而对集群20进行配置维护、镜像文件管理、机器管理、安全控制操作。与现有技术的集群管理系统的不同之处在于，本专利技术的集群弹性部署的管理系统中的集群20是通过弹性方案所部署的集群，并且该集群弹性部署的管理系统还包括由拟用于生成集群的机器所组成的资源池50，中心管理服务器10还负责维护资源池50中机器。中心管理服务器10可通过各种通信协议与集群20和资源池50中机器通信，例如通过TCP/IP协议。资源池50中的每台机器都能够与中心管理服务器10协同来完成接收命令和回送响应消息的相关操作。可选地，资源池50中的每台机器可以安装有用于与中心管理服务器10协同来完成接收命令和回送响应消息的相关操作的HAgent。资源池50中的每台机器可以包括用于完成机器环境正确性检查以及相关服务是否正常运行的检查的检测脚本。上述环境正确性检查包括但不限于对于操作系统版本、JDK版本、主机名、防火墙、时间同步配置的检查。上述相关服务包括但不限于远程存储(RS)和数据节点(Datanode)服务进程。中心管理服务器10还负责维护资源池50中的机器的列表信息，获取机器所属集群、机器工作状态以及机器类型(实体机或虚拟机)，以防止机器被重复部署到多个集群中。在资源池50中每台机器上安装HAgent后，将在中心管理服务器10中对每台机器进行注册。对于已创建的集群20，如果需要动态添加机器，则通过中心管理服务器10从资源池50的机器中挑选一台或几台加入集群，然后启用拟部署在所选机器上的服务进程；如果集群20中的本文档来自技高网...

【技术保护点】
一种集群弹性部署的方法，其特征在于，包括步骤：定义集群的基本信息；从包括由拟用于生成集群的机器所组成的资源池中，选择拟用于生成所述集群的机器；选择将用于所述机器的软件的版本并修改所述机器的配置信息；选择所述机器要部署的服务进程；以及根据所述机器中所包括的检测脚本，对所述机器进行环境正确性检查，其中，如果所述环境正确性检查通过，则从云存储获取对所述机器进行配置的镜像文件，以及在所述机器上启用所述要部署的服务进程。

【技术特征摘要】
1.一种集群弹性部署的方法，其特征在于，所述集群的机器为实体机或虚拟机，所述方法包括步骤：定义集群的基本信息；从由拟用于生成集群的机器所组成的资源池中，选择拟用于生成所述集群的机器；选择将用于所述机器的软件的版本并修改所述机器的配置信息；选择拟部署在所述机器上的服务进程；以及根据所述机器中所包括的检测脚本，对所述机器进行环境正确性检查，其中，如果所述环境正确性检查通过，则从云存储获取对所述机器进行配置的镜像文件，以及在所述机器上启用所述拟部署在所述机器上的服务进程；以及，所述方法进一步包括对所述集群进行动态修改配置的步骤，所述步骤包括：对欲对其进行配置项修改的机器的原配置项进行备份；修改所述机器的要更改的配置项；根据所述机器中所包括的检测脚本，对修改后的配置项的合法性进行审查，其中，如果所述配置项的合法性的审查通过，则所述修改后的配置项被推送到所述机器。2.根据权利要求1所述的方法，其特征在于，所述定义集群的基本信息包括：定义所述集群的集群名称、集群机器类型、使用有效期和集群规模。3.根据权利要求1所述的方法，其特征在于，所述对所述机器进行环境正确性检查包括：对所述机器的操作系统版本、JDK版本、主机名、防火墙、时间同步配置中的一项或多项进行检查。4.根据权利要求1所述的方法，其特征在于，进一步包括向所述集群添加机器的步骤，所述步骤包括：从所述资源池中选择空闲的机器并...

【专利技术属性】
技术研发人员：唐平，
申请(专利权)人：北京京东尚科信息技术有限公司，
类型：发明
国别省市：北京;11