大数据集群扩容方法及装置制造方法及图纸

本发明专利技术提供了大数据集群扩容方法及装置，包括：调用管理待扩容集群的Ambari工具执行：对至少一个扩展节点的配置进行修改；在至少一个扩展节点上安装Ambari Agent；将至少一个扩展节点注册到待扩容集群上；根据待扩容集群，为至少一个扩展节点安装组件；调用Ansible Playbook，根据上述步骤和至少一个扩展节点的节点标识完成待扩容集群的扩容操作。本方案能够降低集群扩容的难度。

Method and device of big data cluster expansion

【技术实现步骤摘要】
大数据集群扩容方法及装置
本专利技术涉及计算机
，特别涉及大数据集群扩容方法及装置。
技术介绍
近年来，随着互联网、移动互联网、物联网的快速发展，各行各业无时无刻不在产生着大量的数据。因此，各大互联网公司都建有自己的大数据平台用于存储这些海量的数据，并对这些数据展开分析应用，发掘数据背后的价值。然而，伴随着公司业务规模及用户数量的不断增长，Hadoop分布式文件系统集群的数据存储容量大小和访问频次都在以指数级别的方式增长。而AmbariWeb管理界面支持集群的扩容，但是，扩容节点的前置准备工作仍然需要手动安装或配置。特别是，当一次扩展几十上百台机器，在集群上扩容是非常繁琐的事情，从而增加集群扩容的难度。
技术实现思路
本专利技术实施例提供了大数据集群扩容方法及装置，能够降低集群扩容的难度。第一方面，本专利技术提供了大数据集群扩容方法，包括：调用管理待扩容集群的Ambari工具执行：D1：对至少一个扩展节点的配置进行修改；D2：在所述至少一个扩展节点上安装AmbariAgent；D3：将所述至少一个扩展节点注册到所述待扩容集群上；D4：根据所述待扩容集群，为所述至少一个扩展节点安装组件；D5：调用AnsiblePlaybook，根据步骤D1至D5和所述至少一个扩展节点的节点标识完成所述待扩容集群的扩容操作。优选地，所述将所述至少一个扩展节点注册到所述待扩容集群上，包括：调用AmbariRestApi，分别将每一个所述扩展节点上的所述AmbariAgent的注册信息发送给所述Ambari工具中的AmbariServer，以使所述AmbariServer按照所述注册信息完成每一个所述扩展节点在所述待扩容集群上的注册。优选地，所述根据所述待扩容集群，为所述至少一个扩展节点安装组件，包括：确定所述待扩容集群上安装的组件；调用AmbariRestApi，执行：在所述至少一个节点上添加所述组件；安装所述至少一个节点上添加的所述组件；启动所述至少一个节点上安装的所述组件。优选地，所述调用AnsiblePlaybook，根据步骤D1至D5和所述至少一个扩展节点的节点标识完成所述待扩容集群的扩容操作，包括：调用AnsiblePlaybook执行，将步骤D1至D5编写为AnsiblePlaybook脚本；在所述待扩容集群的Inventory主机资产文件中编写所述至少一个扩展节点的节点标识；执行编写后的所述Inventory主机资产文件，并运行所述AnsiblePlaybook脚本。优选地，所述对至少一个扩展节点的配置进行修改，包括：所述配置包括：主机名、系统时间、JDK工具、防火墙和selinux中的至少一个；当所述配置包括：主机名时，按照所述待扩容集群的主机名，对至少一个扩展节点的主机名进行修改；当所述配置包括：所述系统时间时，按照所述待扩容集群的系统时间，对至少一个扩展节点的系统时间进行同步处理；当所述配置包括：JDK工具时，在至少一个扩展节点中安装所述JDK工具；当所述配置包括：防火墙时，将至少一个扩展节点的防火墙的状态修改为禁用；当所述配置包括：selinux时，将至少一个扩展节点的selinux的状态修改为禁用。第二方面，本专利技术提供了大数据集群扩容装置，包括：配置处理模块，用于调用管理待扩容集群的Ambari工具执行D1：对至少一个扩展节点的配置进行修改；组件处理模块，用于调用管理待扩容集群的Ambari工具执行D2：在所述至少一个扩展节点上安装AmbariAgent；D4：根据所述待扩容集群，为所述至少一个扩展节点安装组件；节点注册模块，用于调用管理待扩容集群的Ambari工具执行D3：将所述至少一个扩展节点注册到所述待扩容集群上；扩容处理模块，用于调用管理待扩容集群的Ambari工具执行D5：调用AnsiblePlaybook，根据所述配置处理模块执行的步骤D1、所述组件处理模块执行的步骤D2和D4、所述节点注册模块执行的步骤D5和所述至少一个扩展节点的节点标识完成所述待扩容集群的扩容操作。优选地，所述节点注册模块，用于调用AmbariRestApi，分别将每一个所述扩展节点上的所述AmbariAgent的注册信息发送给所述Ambari工具中的AmbariServer，以使所述AmbariServer按照所述注册信息完成每一个所述扩展节点在所述待扩容集群上的注册。优选地，所述组件处理模块，用于确定所述待扩容集群上安装的组件；调用AmbariRestApi，执行：在所述至少一个节点上添加所述组件；安装所述至少一个节点上添加的所述组件；启动所述至少一个节点上安装的所述组件。优选地，所述扩容处理模块，用于调用AnsiblePlaybook执行，将步骤D1至D5编写为AnsiblePlaybook脚本；在所述待扩容集群的Inventory主机资产文件中编写所述至少一个扩展节点的节点标识；执行编写后的所述Inventory主机资产文件，并运行所述AnsiblePlaybook脚本。优选地，所述配置包括：主机名、系统时间、JDK工具、防火墙和selinux中的至少一个；所述配置处理模块，用于当所述配置包括：主机名时，按照所述待扩容集群的主机名，对至少一个扩展节点的主机名进行修改；当所述配置包括：所述系统时间时，按照所述待扩容集群的系统时间，对至少一个扩展节点的系统时间进行同步处理；当所述配置包括：JDK工具时，在至少一个扩展节点中安装所述JDK工具；当所述配置包括：防火墙时，将至少一个扩展节点的防火墙的状态修改为禁用；当所述配置包括：selinux时，将至少一个扩展节点的selinux的状态修改为禁用。第三方面，本专利技术还提供了存储介质，包括：至少一个存储器和至少一个处理器；所述至少一个存储器，用于存储机器可读程序；所述至少一个处理器，用于调用所述机器可读程序，执行第一方面中任一所述的大数据集群扩容方法。第四方面，本专利技术还提供了计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行第一方面中任一所述的大数据集群扩容方法。本专利技术实施例提供了大数据集群扩容方法及装置，如需通过扩展节点对待扩容集群进行扩容，可以先通过管理待扩容集群的Ambari工具，对扩展节点上的配置进行修改，以保证扩展节点中的配置信息与待扩容集群的信息相匹配，避免待扩容集群与扩展节点之间无法正常通信；然后将AmbariAgent安装在扩展节点上，以使通过AmbariAgent执行待扩容集群中的指令去操作服务、组件，以及汇报服务状态信息等操作；再将各扩展节点注册到待扩容集群上，以便通过集群对扩展节点进行统一管理；再基本文档来自技高网...

【技术保护点】
1.大数据集群扩容方法，其特征在于，包括：/n调用管理待扩容集群的Ambari工具执行：/nD1：对至少一个扩展节点的配置进行修改；/nD2：在所述至少一个扩展节点上安装Ambari Agent；/nD3：将所述至少一个扩展节点注册到所述待扩容集群上；/nD4：根据所述待扩容集群，为所述至少一个扩展节点安装组件；/nD5：调用Ansible Playbook，根据步骤D1至D5和所述至少一个扩展节点的节点标识完成所述待扩容集群的扩容操作。/n

【技术特征摘要】
1.大数据集群扩容方法，其特征在于，包括：
调用管理待扩容集群的Ambari工具执行：
D1：对至少一个扩展节点的配置进行修改；
D2：在所述至少一个扩展节点上安装AmbariAgent；
D3：将所述至少一个扩展节点注册到所述待扩容集群上；
D4：根据所述待扩容集群，为所述至少一个扩展节点安装组件；
D5：调用AnsiblePlaybook，根据步骤D1至D5和所述至少一个扩展节点的节点标识完成所述待扩容集群的扩容操作。


2.根据权利要求1所述的大数据集群扩容方法，其特征在于，
所述将所述至少一个扩展节点注册到所述待扩容集群上，包括：
调用AmbariRestApi，分别将每一个所述扩展节点上的所述AmbariAgent的注册信息发送给所述Ambari工具中的AmbariServer，以使所述AmbariServer按照所述注册信息完成每一个所述扩展节点在所述待扩容集群上的注册。


3.根据权利要求1所述的大数据集群扩容方法，其特征在于，
所述根据所述待扩容集群，为所述至少一个扩展节点安装组件，包括：
确定所述待扩容集群上安装的组件；
调用AmbariRestApi，执行：
在所述至少一个节点上添加所述组件；
安装所述至少一个节点上添加的所述组件；
启动所述至少一个节点上安装的所述组件；
和/或，
所述调用AnsiblePlaybook，根据步骤D1至D5和所述至少一个扩展节点的节点标识完成所述待扩容集群的扩容操作，包括：
调用AnsiblePlaybook执行，将步骤D1至D5编写为AnsiblePlaybook脚本；
在所述待扩容集群的Inventory主机资产文件中编写所述至少一个扩展节点的节点标识；
执行编写后的所述Inventory主机资产文件，并运行所述AnsiblePlaybook脚本。


4.根据权利要求1至3中任一所述的大数据集群扩容方法，其特征在于，
所述对至少一个扩展节点的配置进行修改，包括：
所述配置包括：主机名、系统时间、JDK工具、防火墙和selinux中的至少一个；
当所述配置包括：主机名时，
按照所述待扩容集群的主机名，对至少一个扩展节点的主机名进行修改；
当所述配置包括：所述系统时间时，
按照所述待扩容集群的系统时间，对至少一个扩展节点的系统时间进行同步处理；
当所述配置包括：JDK工具时，
在至少一个扩展节点中安装所述JDK工具；
当所述配置包括：防火墙时，
将至少一个扩展节点的防火墙的状态修改为禁用；
当所述配置包括：selinux时，
将至少一个扩展节点的selinux的状态修改为禁用。


5.大数据集群扩容装置，其特征在于，包括：
配置处理模块，用于调用管理待扩容集群的Ambari工具执行D1：对至少一个扩展节点的配置进行修改；
...

【专利技术属性】
技术研发人员：阚宝铎，李国涛，张栋，吴李烜，
申请(专利权)人：浪潮软件股份有限公司，
类型：发明
国别省市：山东;37