大数据管理平台的自动化部署方法和装置制造方法及图纸

公开了一种大数据管理平台的自动化部署方法和装置。该方法应用于Ansible运维工具，该Ansible运维工具安装在部署该大数据管理平台的集群的主节点，节点上还预先存储有用于所述大数据管理平台的剧本文件以及部署安装包，剧本文件定义了针对所述大数据管理平台的自动化部署任务，该方法包括：响应于运行指令，从配置文件中获取配置参数，配置文件是根据与大数据管理平台相关的参数以及相应的配置模板生成的；对配置参数进行校验；若配置参数校验通过，则执行剧本文件，以基于配置文件和部署安装包实现针对大数据管理平台的自动化部署。由此，使大数据管理平台的部署/或运维更具易用性和便捷性。性和便捷性。性和便捷性。

Automatic deployment method and device of big data management platform

【技术实现步骤摘要】
大数据管理平台的自动化部署方法和装置


[0001]本申请涉及大数据
，特别涉及一种大数据管理平台的自动化部署方法和装置。

技术介绍

[0002]信息技术的飞速发展，大数据技术应用极为普遍、需求极为旺盛，随之，大数据管理集群规模越来越大、运维人员部署时间越来越长，导致大数据管理平台部署工作的时间和所耗费的精力持续增加。由此，为提高大数据技术的普及程度和降低大数据技术使用门槛，如何改进大数据管理平台的部署和/或运维，使集群的部署/或运维更具易用性和便捷性，成为亟需解决的技术问题之一。
[0003]
技术实现思路

[0004]本申请的目的是提供一种大数据管理平台的自动化部署方法和装置，以解决上述技术问题。
[0005]第一方面，本申请实施例提供了一种大数据管理平台的自动化部署方法，应用于Ansible运维工具，所述Ansible运维工具安装在部署所述大数据管理平台的集群的主节点，所述主节点上还预先存储有用于所述大数据管理平台的剧本文件以及部署安装包，所述剧本文件定义了针对所述大数据管理平台的自动化部署任务，所述方法包括：
[0006]响应于运行指令，从配置文件中获取配置参数，所述配置文件是根据与所述大数据管理平台相关的参数以及相应的配置模板生成的；
[0007]对所述配置参数进行校验；
[0008]若所述配置参数校验通过，则执行所述剧本文件，以基于所述配置文件和所述部署安装包实现针对所述大数据管理平台的自动化部署。
[0009]可选的，所述方法还包括：
[0010]若所述配置参数校验失败，则发出异常提醒，所述异常提醒用于指示出现错误的配置参数。
[0011]可选的，对所述配置参数进行校验，包括：
[0012]校验IP信息；校验网络配置信息；校验依赖信息；校验登陆信息；校验安装包路径和/或配置文件路径。
[0013]可选的，针对所述大数据管理平台的自动化部署包括以下部署和/或配置：
[0014]主节点与各从节点间的免密通信配置；
[0015]主节点及各从节点的基础系统环境配置；
[0016]数据库部署和初始化；
[0017]主节点及各从节点的大数据管理平台程序的部署与配置。
[0018]可选的，所述Ansible运维工具基于SSH协议实现主节点与各从节点间的免密通信
配置。
[0019]可选的，基础系统环境配置，包括：
[0020]域名解析；
[0021]本地Yum源配置；
[0022]安装依赖程序；
[0023]防火墙端口开放设置；
[0024]开发环境安装配置；
[0025]各节点的时间同步。
[0026]第二方面，本申请实施例提供了一种大数据管理平台的自动化部署装置，应用于Ansible运维工具，所述Ansible运维工具安装在部署所述大数据管理平台的集群的主节点，所述主节点上还预先存储有用于所述大数据管理平台的剧本文件以及部署安装包，所述剧本文件定义了针对所述大数据管理平台的自动化部署任务，所述装置包括：
[0027]参数获取单元，用于响应于运行指令，从配置文件中获取配置参数，所述配置文件是根据与所述大数据管理平台相关的参数以及相应的配置模板生成的；
[0028]参数校验单元，用于对所述配置参数进行校验；
[0029]部署单元，用于若所述配置参数校验通过，则执行所述剧本文件，以基于所述配置文件和所述部署安装包实现针对所述大数据管理平台的自动化部署。
[0030]可选的，所述装置还包括：
[0031]异常提醒单元，用于若配置参数校验失败，则发出异常提醒，所述异常提醒用于指示出现错误的配置参数。
[0032]可选的，参数校验单元对所述配置参数进行校验，包括：
[0033]校验IP信息；校验网络配置信息；校验依赖信息；校验登陆信息；校验安装包路径和/或配置文件路径。
[0034]可选的，所述部署单元针对所述大数据管理平台的自动化部署包括以下部署和/或配置：
[0035]主节点与各从节点间的免密通信配置；
[0036]主节点及各从节点的基础系统环境配置；
[0037]数据库部署和初始化；
[0038]主节点及各从节点的大数据管理平台程序的部署与配置。
[0039]可选的，所述Ansible运维工具基于SSH协议实现主节点与各从节点间的免密通信配置。
[0040]可选的，基础系统环境配置，包括：
[0041]域名解析；
[0042]本地Yum源配置；
[0043]安装依赖程序；
[0044]防火墙端口开放设置；
[0045]开发环境安装配置；
[0046]各节点的时间同步。
[0047]第三方面，本申请另一实施例还提供了一种计算装置，包括至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请实施例提供的任一大数据管理平台的自动化部署方法。
[0048]第四方面，本申请另一实施例还提供了一种计算机存储介质，其中，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行本申请实施例中的任一大数据管理平台的自动化部署方法。
[0049]本申请实施例的大数据管理平台的自动化部署方案，具有如下有益效果：
[0050](1)、使用Ansible运维工具进行大数据管理平台的自动化部署，充分利用Ansible工具无需在集群所有主机上安装客户端、便于使用等优点，契合自动部署大数据管理平台的需求。只需在主节点安装Ansible运维工具而无需在各从节点安装客户端(Agent端)，可实现对集群的主从集中化管理，便于实施部署集群的配置和部署程序的维护，能够减少开发人员工作量和运维人员的维护成本。并且，Ansible运维工具使用Python语言实现，比现有方案和程序在代码上更简洁明了、在使用上更便于操作且社区支持度更高。
[0051](2)、Ansible运维工具的安装和使用更加方便的同时又实现了大数据管理平台的离线一键式部署，节约了大数据管理平台部署和程序开发维护的时间和人力成本，使部署更加方便快捷，提高了大数据管理平台的部署效率，降低了大数据管理平台部署与应用的门槛。并且，平台内部集成常用和必需的大数据组件以供用户选取，为用户自由地使用和管理大数据组件或是开发大数据应用提供便利，用户也可根据自身需求选取相应大数据组件进行使用和对于集群中所有节点的使用情况、资源、日志、监控相关信息进行实时查看和管理。
[0052](3)、在部署过程中增加了对配置参数的基本验核和容错机制，使相关错误能够被及时发现并向用户告警提示，以及时解决例如由于用户输入错误、配置修改等引起的测试错误的情况，从而提高自动化部署效率。
[0053]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据管理平台的自动化部署方法，其特征在于，应用于Ansible运维工具，所述Ansible运维工具安装在部署所述大数据管理平台的集群的主节点，所述主节点上还预先存储有用于所述大数据管理平台的剧本文件以及部署安装包，所述剧本文件定义了针对所述大数据管理平台的自动化部署任务，所述方法包括：响应于运行指令，从配置文件中获取配置参数，所述配置文件是根据与所述大数据管理平台相关的参数以及相应的配置模板生成的；对所述配置参数进行校验；若所述配置参数校验通过，则执行所述剧本文件，以基于所述配置文件和所述部署安装包实现针对所述大数据管理平台的自动化部署。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：若所述配置参数校验失败，则发出异常提醒，所述异常提醒用于指示出现错误的配置参数。3.根据权利要求1或2所述的方法，其特征在于，对所述配置参数进行校验，包括：校验IP信息；校验网络配置信息；校验依赖信息；校验登陆信息；校验安装包路径和/或配置文件路径。4.根据权利要求1所述的方法，其特征在于，针对所述大数据管理平台的自动化部署包括以下部署和/或配置：主节点与各从节点间的免密通信配置；主节点及各从节点的基础系统环境配置；数据库部署和初始化；主节点及各从节点的大数据管理平台程序的部署与配置。5.根据权利要求4所述的方法，其特征在于，所述Ansible运维工具基于SSH协议实现主节点与各从节点间的免密通信配置。6.根据权利要求4所述的方法，其特征在于，基础系统环境配置，包括：域名解析；本地Yum源配置；安装依赖程序；防火墙端口开放设置；开发环境安装配置；各节点的时间同步。7.一种大数据管理平台的自动化部署装置，其特征在于，应用于Ansible运维工具，所述Ansible运维工具安装在部署所述大数据管理平台的集群的主节点，所述主节点上还预先存储有用于所述大数据管理平台的剧本文件以及部署安装包，所述剧本文件定义了针对所述大数据管理平台...

【专利技术属性】
技术研发人员：王煜，王杰斌，张皓，任俊龙，
申请(专利权)人：航天信息股份有限公司，
类型：发明
国别省市：