一种大数据集群自动化部署系统及方法技术方案

本发明专利技术公开了一种大数据集群自动化部署系统及方法，属于计算机软件大数据技术领域。本发明专利技术的大数据集群自动化部署系统，基于Ambari Blueprint和Ansible，由Vue.js与Flask构成前端配置交互界面，Ambari与Ansible构成后端服务自动安装的支撑，Jenkins实现任务调度与日志输出。该发明专利技术的大数据集群自动化部署系统能够显著提高大数据集群安装部署的速度，极大的简化大数据集群安装部署的流程，避免手动配置带来的诸多问题，具有很好的推广应用价值。

A Large Data Cluster Automation Deployment System and Method

【技术实现步骤摘要】
一种大数据集群自动化部署系统及方法
本专利技术涉及计算机软件大数据
，具体提供一种大数据集群自动化部署系统及方法。
技术介绍
我们正处在一个数据爆发的时代，如何存储、分析处理各行各业产生的海量数据，深挖数据背后隐藏的价值，是各大互联网公司都在积极研究的问题。而ApacheHadoop及其生态圈软件(ZooKeeper、Hive、HBase、Spark等)为大数据技术的应用和发展奠定了基础。搭建一个用于存储、分析这些数据的基础平台，成为研究、应用大数据技术的首要环节。通过在多个主机上安装大数据服务组件构成集群，既是一种这样的基础平台。这种方式通常是在3、5个节点上手动安装软件、配置服务，或者通过手动编写shell脚本在多个节点上执行的方式搭建集群。在部署大规模集群时，这种方式往往是不现实的且效率低下。因此，很多企业也以Hadoop开源版本为基础，开发了易配置、好部署、后期管理方便的大数据基础平台，业界知名的有Cloudera公司的CDH版本、Hortonworks公司的HDP版本。其中cloudera公司通过ClouderaManager实现大数据集群的自动化部署与集群管理，而H本文档来自技高网...

【技术保护点】
1.一种大数据集群自动化部署系统，其特征在于：该系统基于Ambari Blueprint和Ansible，由Vue.js与Flask构成前端配置交互界面，Ambari与Ansible构成后端服务自动安装的支撑，Jenkins实现任务调度与日志输出。

【技术特征摘要】
1.一种大数据集群自动化部署系统，其特征在于：该系统基于AmbariBlueprint和Ansible，由Vue.js与Flask构成前端配置交互界面，Ambari与Ansible构成后端服务自动安装的支撑，Jenkins实现任务调度与日志输出。2.根据权利要求1所述的大数据集群自动化部署系统，其特征在于：Ambari通过定义blueprint及hostmap两个配置文件实现Hadoop集群的后台静默安装部署和服务启动。3.根据权利要求2所述的大数据集群自动化部署系统，其特征在于：所述blueprint及hostmap配置文件均为json格式。4.根据权利要求3所述的大数据集群自动化部署系统，其特征在于：所述Ansible基于SSH协议实现远程服务器上的任务执行。5.根据权利要求4所述的大数据集群自动化部署系统，其特征在于：所述Jenkins为自动化构建任务的工具，构建过程中提供详细的日志文件和提醒功能，用于流程的控制和日志的输出。6.一种大数据集群自动化部署方法，其特征在于：用户在一台服务器上拷贝上整个部署包，并执行初始化脚本，此时部署工具的WEB应用运行起来，开发人员在WEB界面填写主机...

【专利技术属性】
技术研发人员：阚宝铎，李国涛，张栋，吴李烜，
申请(专利权)人：浪潮软件股份有限公司，
类型：发明
国别省市：山东,37