Hdp大数据平台的自动化部署方法、装置、设备及介质制造方法及图纸

本申请涉及大数据技术领域，揭示了一种Hdp大数据平台的自动化部署方法、装置、设备及介质，其中方法包括：获取自动化部署脚本的脚本主程序并执行；基于脚本主程序的执行，调用环境配置脚本根据环境配置文件得到服务器配置完成结果，根据服务器配置完成结果调用自动化部署脚本的基础软件包安装脚本以用于根据环境配置文件、基础软件包安装配置文件和待安装的基础软件包集合得到基础软件安装完成结果，根据基础软件安装完成结果调用Hdp集群安装及启动脚本以用于根据环境配置文件、Hdp集群安装配置文件和Hdp集群软件包集合进行Hdp集群的安装及服务启动得到目标Hdp大数据平台。提高部署的效率和成功率，降低后期维护的难度。难度。难度。

【技术实现步骤摘要】
Hdp大数据平台的自动化部署方法、装置、设备及介质


[0001]本申请涉及到大数据
，特别是涉及到一种Hdp大数据平台的自动化部署方法、装置、设备及介质。

技术介绍

[0002]Hdp大数据平台(Hortonworks Data Platform，简称“Hdp”)，是运行大数据分析程序的主流平台之一。在大量不同的客户现场需要部署该平台，进而对客户数据进行数据分析。传统部署方法是部署人员按照官网部署文档一步一步进行部署。传统部署方法存在不足之处：(1)部署效率低下，往往需要好几天才能部署成功，大大影响了项目进度；(2)部署过程容易出错，部署人员的水平参差不齐，部署过程发生错误的概率很高；(3)每个部署人员部署的方式很难做到绝对的统一，后期维护困难。

技术实现思路

[0003]本申请的主要目的为提供一种Hdp大数据平台的自动化部署方法、装置、设备及介质，旨在解决现有技术的Hdp大数据平台采用部署人员按照官网部署文档一步一步进行部署，存在部署效率低下、部署过程容易出错、后期维护困难的技术问题。
[0004]为了实现上述专本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种Hdp大数据平台的自动化部署方法，其特征在于，所述方法包括：获取主程序运行指令；响应所述主程序运行指令，获取自动化部署脚本的脚本主程序并执行，所述脚本主程序用于指示Hdp大数据平台的部署操作；基于所述脚本主程序的执行，调用所述自动化部署脚本的环境配置脚本，获取目标配置文件的环境配置文件，根据所述环境配置文件进行服务器配置，得到服务器配置完成结果；基于所述脚本主程序的执行，根据所述服务器配置完成结果调用所述自动化部署脚本的基础软件包安装脚本，获取待安装的基础软件包集合和所述目标配置文件的基础软件包安装配置文件，根据所述环境配置文件、所述基础软件包安装配置文件和所述待安装的基础软件包集合进行基础软件安装，得到基础软件安装完成结果；基于所述脚本主程序的执行，根据所述基础软件安装完成结果调用所述自动化部署脚本的Hdp集群安装及启动脚本，获取Hdp集群软件包集合和所述目标配置文件的Hdp集群安装配置文件，根据所述环境配置文件、所述Hdp集群安装配置文件和所述Hdp集群软件包集合进行Hdp集群的安装及服务启动，得到目标Hdp大数据平台。2.根据权利要求1所述的Hdp大数据平台的自动化部署方法，其特征在于，所述基于所述脚本主程序的执行，调用所述自动化部署脚本的环境配置脚本，获取目标配置文件的环境配置文件，根据所述环境配置文件进行服务器配置，得到服务器配置完成结果的步骤，包括：基于所述脚本主程序的执行，调用所述自动化部署脚本的环境配置脚本；通过执行所述环境配置脚本的逻辑，获取配置目录，根据所述配置目录获取所述目标配置文件的所述环境配置文件，根据所述环境配置文件确定待配置的服务器，得到待配置的服务器集合，根据所述环境配置文件，分别对所述待配置的服务器集合中每台服务器进行系统名称修改、免密码配置和系统参数修改，得到所述服务器配置完成结果。3.根据权利要求2所述的Hdp大数据平台的自动化部署方法，其特征在于，所述根据所述环境配置文件，分别对所述待配置的服务器集合中每台服务器进行系统名称修改、免密码配置和系统参数修改，得到所述服务器配置完成结果的步骤，包括：通过执行所述环境配置脚本的逻辑，分别根据所述环境配置文件中的每条环境配置数据，对所述待配置的服务器集合中的服务器进行系统名称修改、免密码配置和系统参数修改，获取所述待配置的服务器集合中的各个服务器各自对应的单服务器环境配置结果，当存在所述单服务器环境配置结果为失败时，确定所述服务器配置完成结果为失败，否则，确定所述服务器配置完成结果为成功。4.根据权利要求1所述的Hdp大数据平台的自动化部署方法，其特征在于，所述根据所述环境配置文件、所述基础软件包安装配置文件和所述待安装的基础软件包集合进行基础软件安装，得到基础软件安装完成结果的步骤，包括：基于所述脚本主程序的执行，根据所述环境配置文件、所述基础软件包安装配置文件和所述待安装的基础软件包集合依次进行系统依赖RPM包安装、Hdp平台安装包安装、Mysql安装包安装、Mysql数据库的初始化处理和JDK安装包安装，得到所述基础软件安装完成结果。
5.根据权利要求4所述的Hdp大数据平台的自动化部署方法，其特征在于，所述基于所述脚本主程序的执行，根据所述环境配置文件、所述基础软件包安装配置文件和所述待安装的基础软件包集合依次进行系统依赖RPM包安装、Hdp平台安装包安装、Mysql安装包安装、Mysql数据库的初始化处理和JDK安装包安装，得到所述基础软件安装完成结果的步骤，包括：当所述服务器配置完成结果为成功时，基于所述脚本主程序的执行，调用所述自动化部署脚本的系统依赖RPM包安装脚本；通过执行所述系统依赖RPM包安装脚本，获取所述配置目录和资源目录，根据所述配置目录获取所述目标配置文件的系统依赖RPM包安装配置文件，根据所述资源目录获取目标系统依赖RPM包，根据所述系统依赖RPM包安装配置文件和所述目标系统依赖RPM包，对所述环境配置文件对应的主服务器进行系统依赖RPM包安装，得到主服务器系统依赖RPM包安装完成信号，基于所述主服务器系统依赖RPM包安装完成信号，根据所述环境配置文件对应的所述主服务器，对所述环境配置文件对应的所有从服务器进行系统依赖RPM包安装，得到系统依赖RPM包安装结果；当所述系统依赖RPM包安装结果为成功时，基于所述脚本主程序的执行，调用所述自动化部署脚本的Hdp平台安装包安装脚本；通过执行所述Hdp平台安装包安装脚本，获取所述配置目录和所述资源目录，根据所述配置目录获取所述目标配置文件的Hdp平台安装包安装配置文件，根据所述资源目录获取目标Hdp平台安装包，根据所述Hdp平台安装包安装配置文件和所述目标Hdp平台安装包，对所述环境配置文件对应的所述主服务器进行Hdp平台安装包安装，得到主服务器Hdp平台安装包安装完成信号，基于所述主服务器Hdp平台安装包安装完成信号，根据所述环境配置文件对应的所述主服务器，对所述环境配置文件对应的所有所述从服务器进行Hdp平台安装包安装，得到Hdp平台安装包安装结果；当所述Hdp...

【专利技术属性】
技术研发人员：黄一格，
申请(专利权)人：平安国际智慧城市科技股份有限公司，
类型：发明
国别省市：