一种Hadoop集群快速部署的方法、系统和可存储介质技术方案

本发明专利技术提出了一种Hadoop集群快速部署的方法、系统和可存储介质，包括对Zookeeper集群和Hadoop集群的服务节点进行分配并统一管理，按照业务需要对节点功能进行业务划分，利用配置文件对节点功能进行管理，通过编写好的脚本对划分好的节点进行批量操作，对Zookeeper集群和Hadoop集群的服务配置进行修改以及进行服务初始化、服务分发和服务启动，从而实现快速高效地对Hadoop集群进行部署，可适用于需要部署Hadoop集群来开展业务技术但技术人员对Hadoop了解较少的情况；也适用于项目较多的情况；本发明专利技术在具体的项目实施中能实现快速复制，提高交付时间，避免劳动力的浪费，解决了以往Hadoop集群部署耗时以及对部署人员技术要求高的问题，节约人力成本的同时亦可以对Hadoop集群进行快速运维。

【技术实现步骤摘要】

本专利技术涉及hadoop集群部署与计算机，具体涉及一种hadoop集群快速部署的方法、系统和可存储介质。

技术介绍

1、hadoop分布式存储文件系统用于存储文件、搭建大型数据仓库以及完成数据处理分析和存储统计等业务，通过目录树定位文件并由很多服务器联合实现功能，数据分开存储在hadoop集群中的每个节点上，并且可以跨节点进行处理计算。zookeeper是hadoop子项目中的一种分布式协调系统，可以控制分布式系统中各个组件的一致性，确保协调的不同节点之间的通讯是可靠的。

2、随着社会信息化程度的提高，产生的的数据量也呈现出几何式甚至是爆发式的增长，t级别甚至是pt级别的数据量难以存储在一般的存储数据库中，所以对hadoop分布式存储文件系统的需求越来越大，但是传统的hadoop集群部署过程复杂繁琐，因此对数据处理的技术人员有较高的要求，部署人员需要拥有一定的hadoop基础知识储备，除此之外，hadoop集群依赖性高，可复制性差，部署起来费时费力，操作起来也较为复杂。

技术实现思路p>

1、本专利本文档来自技高网...

【技术保护点】

1.一种Hadoop集群快速部署的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述Hadoop集群的部署依赖于Zookeeper集群，并且所述Hadoop集群的多个服务在不同的节点上运行。

3.根据权利要求1所述的方法，其特征在于，所述S2中按照所述管理配置文件/etc/c3.conf修改对应的所述Zookeeper集群和对应的所述Hadoop集群的相关配置之前还包括如下步骤：

4.根据权利要求1所述的方法，其特征在于，所述S3中初始化所述Zookeeper集群和所述Hadoop集群的相关服务的过程具体包括：

5.根...

【技术特征摘要】

1.一种hadoop集群快速部署的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述hadoop集群的部署依赖于zookeeper集群，并且所述hadoop集群的多个服务在不同的节点上运行。

3.根据权利要求1所述的方法，其特征在于，所述s2中按照所述管理配置文件/etc/c3.conf修改对应的所述zookeeper集群和对应的所述hadoop集群的相关配置之前还包括如下步骤：

4.根据权利要求1所述的方法，其特征在于，所述s3中初始化所述zookeeper集群和所述hadoop集群的相关服务的过程具体包括：

5.根据权利要求1所述的方法，其特征在于，s4所...

【专利技术属性】
技术研发人员：唐成务，魏云涛，王志永，刘源，鄢小征，彭冲林，杨勇戍，
申请(专利权)人：厦门市美亚柏科信息安全研究所有限公司，
类型：发明
国别省市：