一种基于脚本自动化部署Hadoop和Spark集群的方法技术

本发明专利技术涉及.一种基于脚本自动化部署Hadoop和Spark集群的方法，包括以下步骤：S1.用户提供配置文件模板、参数配置文件、源文件、脚本文件并放在同一文件夹下；S2.任选一节点，以Hadoop用户执行生成配置脚本，脚本文件将参数配置文件中的参数写入到配置文件模板中，生成实际可用配置文件；S3.任选一节点，以Hadoop用户执行安装脚本，安装脚本首先会在本机执行并自动进行环境配置，然后会ssh到其他节点执行安装脚本并自动进行环境配置；S4.用户测试Hadoop和Spark环境是否搭建成功。

【技术实现步骤摘要】
一种基于脚本自动化部署Hadoop和Spark集群的方法
本专利技术涉及大数据
，更具体地，涉及一种基于脚本自动化部署Hadoop和Spark集群的方法。
技术介绍
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上；而且它提供高吞吐量(highthroughput)来访问应用程序的数据，适合那些有着超大数据集(largedataset)的应用程序。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDF为海量的数据提供了存储，而MapReduce为海量的数据提供了计算。Spark由加州大学伯克利分校AMP实验室(Algorithms,Machines,andPeopleLab)开发，可用来构建大型的、低延迟的数据分析应用程序。Spark拥有Hadoop、MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark是一种与Hadoop相似的开源集群计算环境，实际上Spark是对Hadoop的补充，可以在通过名为Mesos的第三方集群框架在Hadoop文件系统中并行运行。
技术实现思路
本专利技术的主要目的在于提供一种基于脚本自动化部署Hadoop和Spark集群的方法，用来解决配置环境存在的费时费力的问题。为实现以上专利技术目的，采用的技术方案是：一种基于脚本自动化部署Hadoop和Spark集群的方法，包括以下步骤：S1.用户提供配置文件模板、参数配置文件、源文件、脚本文件并放在同一文件夹下。配置文件模板共有4个，分别是hdfs-site.xml模板、core-site.xml模板、mapred-site.xml模板、yarn-site.xml模板。参数配置文件包括多行<template,parameter,value>三元组、多行<ip,hostname,role>三元组、源文件安装路径、Hadoop账户密码。<template,parameter,value>三元组表示在template配置文件模板中，设置参数parameter的值为value。template的值是hdfs-site.xml、core-site.xml、mapred-site.xml、yarn-site.xml其中之一。<ip,hostname,role>三元组表示某ip的计算机节点，主机名为hostname，在集群中作为某一功能节点role，role是NameNode、DataNode、SecondaryNameNode中的其中之一。脚本共包含两个：生成配置脚本、安装脚本。S2.任选一节点，以Hadoop用户执行生成配置脚本，脚本文件将参数配置文件中的参数写入到配置文件模板中，生成实际可用配置文件。S3.任选一节点，以Hadoop用户执行安装脚本，安装脚本首先会在本机执行并自动进行环境配置，然后会ssh到其他节点执行安装脚本并自动进行环境配置。S4.用户测试Hadoop和Spark环境是否搭建成功。安装脚本除负责在本机和其他节点安装并配置JDK、Hadoop、Spark外，还负责配置各节点SSH无密码登陆。配置节点间SSH无密码登陆流程图如图2所示。与现有技术相比，本专利技术的有益效果是：本专利技术提供了一种在linux环境下使用脚本自动化部署Hadoop和Spark集群的方法，该方法通过使用linuxshell脚本语言进行自动化配置。在配置管理节点上，把脚本程序、安装源文件、Hadoop和Spark集群配置文件模板、用户自定义配置放在同一个文件夹下。通过在集群中的每台linux计算机上执行脚本程序，完成Hadoop和Spark集群自动化配置。附图说明图1为方法的流程示意图。图2为配置节点间无密码登陆流程示意图具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制；以下结合附图和实施例对本专利技术做进一步的阐述。实施例11.如图1所示，本专利技术提供了一种基于脚本的部署Hadoop和Spark集群的方法，该方法是通过linuxshell脚本进行自动化配置。本专利技术实施例共有4台独立的计算机，计算机IP、操作系统、节点功能、主机名配置如下。2.使用的安装源程序版本和路径配置如下安装程序安装版本及文件名安装方式安装路径JDKjdk‐8u141‐linux‐x64.tar离线安装/usr/lib/jdkHadoopHadoop‐2.7.3.tar.gz离线安装/usr/lib/HadoopSparkSpark‐2.2.0‐bin‐Hadoop2.7.tgz离线安装/usr/lib/Spark3.配置文件模板中需要设置的参数如下：3.任选一节点，以Hadoop用户执行生成配置脚本，脚本文件将参数配置文件中的参数写入到配置文件模板中，生成实际可用配置文件。4.任选一节点，以Hadoop用户执行安装脚本，安装脚本首先会在本机执行，然后配置各节点间SSH无密码登陆，最后SSH到其他节点执行安装脚本。安装脚本执行时会自动地添加环境变量到/etc/profile和Hadoop用户下的.bashrc文件，并自动刷新配置。同时脚本会判断安装和配置是否成功。5.人工测试Hadoop和Spark是否搭建成功，具体包括以下步骤：测试Hadoop是否搭建成功；测试Spark是否搭建成功。显然，本专利技术的上述实施例仅仅是为清楚地说明本专利技术所作的举例，而并非是对本专利技术的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本专利技术的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本专利技术权利要求的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种基于脚本自动化部署Hadoop和Spark集群的方法，其特征在于：包括以下步骤：S1.用户提供配置文件模板、参数配置文件、源文件、脚本文件并放在同一文件夹下；配置文件模板共有4个，分别是hdfs‑site.xml模板、core‑site.xml模板、mapred‑site.xml模板、yarn‑site.xml模板；参数配置文件包括多行

【技术特征摘要】
1.一种基于脚本自动化部署Hadoop和Spark集群的方法，其特征在于：包括以下步骤：S1.用户提供配置文件模板、参数配置文件、源文件、脚本文件并放在同一文件夹下；配置文件模板共有4个，分别是hdfs-site.xml模板、core-site.xml模板、mapred-site.xml模板、yarn-site.xml模板；参数配置文件包括多行<template,parameter,value>三元组、多行<ip,hostname,role>三元组、源文件安装路径、Hadoop账户密码；<template,parameter,value>三元组表示在template配置文件模板中，设置参数parameter的值为value；template的值是hdfs-site.xml、core-site.xml、mapred-site.xml、yarn-site.xml其中之一；<ip,hostname,role>三元组表示某ip的计算机节点，主机名为hostname，在集群中作为某一功能节点role，role是NameNode、DataNode、SecondaryNameNode中的其中之一；脚本共包含两个：生成配置脚本、安装脚本；S2.任选一节点，以Hadoop用户执行生成配置脚本，脚本文件将参数配置文件中的参数写入到配置文件模板中，生成实际可用配置文件；S3.任选一节点，以Hadoop用户执行安装脚本，安装脚本首先会在本机执行并自动进行环境配置，然后会ssh到其他节点执行安装脚本并自动进行环境配置；S4.用户测试Hadoop和Spark环境是否搭建成功。2.根据权利要求1所述的一种基于脚本自动化部署Hadoop和Spark集群的方法，其特征在于：生成配置脚本会自动对参数配置文件中<template,parameter,value>和<ip,hostname,role>进行正确性检查；如果在<template,parameter,value>和<...

【专利技术属性】
技术研发人员：周毅，高艳涛，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44