【技术实现步骤摘要】
本专利技术涉及hadoop集群部署与计算机，具体涉及一种hadoop集群快速部署的方法、系统和可存储介质。
技术介绍
1、hadoop分布式存储文件系统用于存储文件、搭建大型数据仓库以及完成数据处理分析和存储统计等业务，通过目录树定位文件并由很多服务器联合实现功能，数据分开存储在hadoop集群中的每个节点上，并且可以跨节点进行处理计算。zookeeper是hadoop子项目中的一种分布式协调系统，可以控制分布式系统中各个组件的一致性，确保协调的不同节点之间的通讯是可靠的。
2、随着社会信息化程度的提高，产生的的数据量也呈现出几何式甚至是爆发式的增长，t级别甚至是pt级别的数据量难以存储在一般的存储数据库中，所以对hadoop分布式存储文件系统的需求越来越大，但是传统的hadoop集群部署过程复杂繁琐，因此对数据处理的技术人员有较高的要求，部署人员需要拥有一定的hadoop基础知识储备，除此之外，hadoop集群依赖性高，可复制性差，部署起来费时费力，操作起来也较为复杂。
技术实现思路
1、本专利技术针对上述现有技术中一个或多个技术缺陷，提出了如下技术方案。
2、基于本专利技术的第一方面，提出了一种hadoop集群快速部署的方法，包括：
3、s1:部署zookeeper集群和hadoop集群以使得在管理节点配置文件/etc/c3.conf中配置所述zookeeper集群和所述hadoop集群对应的服务的节点ip地址；
4、s2:修改所
5、s3:初始化所述zookeeper集群和所述hadoop集群的相关服务；
6、s4:将所述zookeeper集群和所述hadoop集群的服务目录分发到对应的节点；
7、s5:启动所述对应的节点下的所述zookeeper集群和所述hadoop集群的服务。
8、更进一步地，所述hadoop集群的部署依赖于zookeeper集群，并且所述hadoop集群的多个服务在不同的节点上运行。
9、更进一步地，所述s2中按照所述管理节点配置文件/etc/c3.conf修改对应的所述zookeeper集群和对应的所述hadoop集群的相关配置之前还包括如下步骤：
10、执行config.sh脚本以获取所述zookeeper集群服务部署的节点主机名和所述hadoop集群服务中的datanode服务部署的节点主机名。
11、更进一步地，所述s3中初始化所述zookeeper集群和所述hadoop集群的相关服务的过程具体包括：
12、执行init.sh脚本以创建所述zookeeper集群的数据存储目录；以及
13、在所述管理节点配置文件/etc/c3.conf中找到cluster zk的节点配置，并在对应的节点的/data/zk/myid文件中根据节点的顺序和数量依次写入节点序号；以及
14、将namenode节点初始化并同步到所述hadoop集群高可用(ha)的另一namenode节点。
15、更进一步地，s4所述zookeeper集群和所述hadoop集群的服务目录分发到对应的节点需要执行cpush.sh脚本，具体包括：
16、根据所述管理节点配置文件/etc/c3.conf配置所述zookeeper集群中的节点，并将所述zookeeper集群的服务目录/usr/local/zookeeper-3.4.6同步到所述zookeeper集群各节点的/usr/local/目录；
17、根据所述管理节点配置文件/etc/c3.conf配置所述hadoop集群中的节点，并将所述hadoop集群的服务目录/usr/local/hadoop-2.7.7同步到所述hadoop集群各节点的/usr/local/目录。
18、更进一步地，所述服务目录/usr/local/hadoop-2.7.7的软链接目录为/usr/local/hadoop；
19、所述服务目录/usr/local/zookeeper-3.4.6的软链接目录为/usr/local/zk。
20、更进一步地，所述s5中启动所述对应的节点下的所述zookeeper集群和所述hadoop集群的服务具体包括：
21、执行start.sh脚本以使得所述zookeeper集群安装节点启动所述zookeeper集群的相关服务；
22、执行start.sh脚本以使得所述hadoop集群安装节点启动所述hadoop集群的相关服务。
23、基于本专利技术的第二方面，还提出了一种hadoop集群快速部署的系统，包括：
24、服务节点分配单元:部署zookeeper集群和hadoop集群以使得在管理节点配置文件/etc/c3.conf中配置所述zookeeper集群和所述hadoop集群对应的服务的节点ip地址；
25、服务配置单元:修改所述zookeeper集群和所述hadoop集群config.sh脚本中的数据存储目录data_dir，再按照所述管理节点配置文件/etc/c3.conf修改对应的所述zookeeper集群和对应的所述hadoop集群的相关配置；
26、服务初始化单元:初始化所述zookeeper集群和所述hadoop集群的相关服务；
27、服务分发单元:将所述zookeeper集群和所述hadoop集群的服务目录分发到对应的节点；
28、服务启动单元:启动所述对应的节点下的所述zookeeper集群和所述hadoop集群的服务。
29、基于本专利技术的第三方面，还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实施如上述之任一项所述的方法。
30、本专利技术的技术效果在于：本专利技术通过集群节点配置文件和高度集成的脚本，利用批操作一键式对hadoop集群进行快速部署，集群部署快速高效，部署人员可以简单地配置hadoop集群ip，通过脚本一键式安装或者按照划分好的节点功能进行安装，可适用于需要部署hadoop集群来开展业务技术，但技术人员对hadoop了解较少的情况；也适用于项目较多的情况；本专利技术在具体的项目实施中能实现快速复制，提高交付时间，避免劳动力的浪费，解决了以往hadoop集群部署耗时以及对部署人员技术要求高的问题，节约人力成本的同时亦可以对hadoop集群进行快速运维。
本文档来自技高网...【技术保护点】
1.一种Hadoop集群快速部署的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述Hadoop集群的部署依赖于Zookeeper集群，并且所述Hadoop集群的多个服务在不同的节点上运行。
3.根据权利要求1所述的方法，其特征在于，所述S2中按照所述管理配置文件/etc/c3.conf修改对应的所述Zookeeper集群和对应的所述Hadoop集群的相关配置之前还包括如下步骤：
4.根据权利要求1所述的方法，其特征在于，所述S3中初始化所述Zookeeper集群和所述Hadoop集群的相关服务的过程具体包括：
5.根据权利要求1所述的方法，其特征在于，S4所述Zookeeper集群和所述Hadoop集群的服务目录分发到对应的节点需要执行cpush.sh脚本，具体包括：
6.根据权利要求5所述的方法，其特征在于，所述服务目录/usr/local/hadoop-2.7.7的软链接目录为/usr/local/hadoop；
7.根据权利要求1所述的方法，其特征在于，S5中所述启动所述对应的节
8.一种Hadoop集群快速部署的系统，其特征在于，包括：
9.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实施如权利要求1-7中任一项所述的方法。
...【技术特征摘要】
1.一种hadoop集群快速部署的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述hadoop集群的部署依赖于zookeeper集群，并且所述hadoop集群的多个服务在不同的节点上运行。
3.根据权利要求1所述的方法，其特征在于，所述s2中按照所述管理配置文件/etc/c3.conf修改对应的所述zookeeper集群和对应的所述hadoop集群的相关配置之前还包括如下步骤：
4.根据权利要求1所述的方法，其特征在于，所述s3中初始化所述zookeeper集群和所述hadoop集群的相关服务的过程具体包括：
5.根据权利要求1所述的方法，其特征在于，s4所...
【专利技术属性】
技术研发人员：唐成务，魏云涛，王志永，刘源，鄢小征，彭冲林，杨勇戍，
申请(专利权)人：厦门市美亚柏科信息安全研究所有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。