一种用于Hadoop集群自动安装的系统及方法技术方案

本发明专利技术提供一种用于Hadoop集群自动安装的系统及方法，该系统包括：DHCP服务器用于分配及管理动态IP；BOOT服务器用于存储操作系统配置模板及Hadoop应用服务配置模板；YUM服务器用于存储操作系统及Hadoop应用服务的安装源文件；物理机节点执行以下步骤：从DHCP服务器获取动态IP；根据一个性化Kickstart安装脚本从YUM服务器上获取相应的安装源文件；根据动态IP、安装源文件在物理机节点中安装操作系统；接收Hadoop应用服务安装指令，根据Hadoop应用服务配置模板及个性化Kickstart安装脚本在Hadoop集群安装Hadoop应用服务。

System and method for automatic installation of Hadoop cluster

The present invention provides a system for automatic installation of Hadoop cluster and method, the system includes a DHCP server for the allocation and management of dynamic IP; BOOT server operating system for storing configuration templates and Hadoop application service configuration template; YUM server is used to store the operating system and Hadoop application services installation source files; the physical nodes perform the following the following steps: acquiring dynamic IP from the DHCP server; according to a personalized Kickstart installation script to get the corresponding installation files from the YUM server; according to the dynamic IP, installation source file to install the operating system on a physical machine node; receiving Hadoop application service installation instructions, according to the Hadoop application service configuration template and personalized Kickstart installation script to install the Hadoop application service in the Hadoop cluster.

【技术实现步骤摘要】
一种用于Hadoop集群自动安装的系统及方法
本专利技术是关于大数据技术，具体地，是关于一种用于Hadoop集群自动安装的系统及方法。
技术介绍
Hadoop是一个由Apache基金会所开发的能够对大量数据进行分布式处理的软件框架。其在大数据处理中广泛应用，得益于自身在数据提取、变形和加载(ETL)方面的优势：Hadoop的分布式架构，将大数据处理引擎尽可能的靠近存储端，如像ETL这样的批处理操作，其结果可以直接走向存储。Hadoop的MapReduce实现了任务的碎片化，并将碎片任务(Map)发送到多个节点上，之后再以数据集的形式加载(Reduce)到数据仓库里。在Hadoop部署实践中，存在两个方面的问题：1、物理机硬件各类繁多，操作系统配置复杂；2、Hadoop应用服务丰富，集群结构耦合性高。传统模式下，物理机的安装需依赖管理员手工安装，再一台台进行系统配置，这样不仅十分浪费时间，且配置过程复杂操作性风险高。而Hadoop的每个服务都有不同的管理接口，管理员必须了解所有接口才能进行配置服务，其集群结构复杂度较高。为了解决操作系统和Hadoop应用程序自动化安装问题，有必要开发出一套标准化的安装技术来实现Hadoop平台下的物理机集群的快速部署方法。
技术实现思路
本专利技术实施例的主要目的在于提供一种用于Hadoop集群自动安装的系统及方法，以解决现有安装模式由于硬件种类繁多，配置复杂导致的费时费力的问题。为了实现上述目的，本专利技术实施例提供一种用于Hadoop集群自动安装的系统，所述的系统包括：DHCP服务器、BOOT服务器、YUM服务器、Hadoop集群及物理机节点，其中，所述的DHCP服务器用于分配及管理动态IP；所述的BOOT服务器用于存储操作系统配置模板及Hadoop应用服务配置模板；所述的YUM服务器用于存储操作系统及Hadoop应用服务的安装源文件；所述物理机节点执行以下步骤：从所述DHCP服务器获取所述动态IP；根据一个性化Kickstart安装脚本从所述YUM服务器上获取相应的安装源文件；根据所述动态IP、安装源文件在所述物理机节点中安装操作系统；接收Hadoop应用服务安装指令，根据所述Hadoop应用服务配置模板及个性化Kickstart安装脚本在所述Hadoop集群安装Hadoop应用服务。在一实施例中，在根据所述动态IP、安装源文件在所述物理机节点中安装操作系统之后，所述物理机节点还执行以下步骤：用所述物理机节点的应用IP替换所述动态IP。在一实施例中，上述的Hadoop应用服务配置模板的种类至少包含：管理节点模板、服务节点模板及应用节点模板。在一实施例中，上述的个性化Kickstart安装脚本为所述BOOT服务器根据所述Hadoop应用服务配置模板的种类及物理机节点生成的对应于所述种类及物理机节点的安装脚本。在一实施例中，上述的操作系统配置模板的配置参数至少包含：所述物理机节点的主机号、主机名、集群网络IP地址、操作系统版本号。本专利技术实施例还提供一种用于Hadoop集群自动安装的方法，所述的方法应用于上述的系统中，所述的方法包括：从所述DHCP服务器获取所述动态IP；根据一个性化Kickstart安装脚本从所述YUM服务器上获取相应的安装源文件；根据所述动态IP、安装源文件在所述物理机节点中安装操作系统；接收Hadoop应用服务安装指令，根据所述Hadoop应用服务配置模板及个性化Kickstart安装脚本在所述Hadoop集群安装Hadoop应用服务。在一实施例中，在根据所述动态IP、安装源文件在所述物理机节点中安装操作系统之后，所述的方法还包括：用所述物理机节点的应用IP替换所述动态IP。在一实施例中，上述的Hadoop应用服务配置模板的种类至少包含：管理节点模板、服务节点模板及应用节点模板。在一实施例中，上述的个性化Kickstart安装脚本为所述BOOT服务器根据所述Hadoop应用服务配置模板的种类及物理机节点生成的对应于所述种类及物理机节点的安装脚本。在一实施例中，上述的操作系统配置模板的配置参数至少包含：所述物理机节点的主机号、主机名、集群网络IP地址、操作系统版本号。本专利技术实施例的有益效果在于，解决了由于硬件种类繁多，配置复杂导致的安装过程费时费力问题，能够快速安装操作系统及相应应用程序，从而大大节约了人工成本。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为根据本专利技术实施例的用于Hadoop集群自动安装的系统的结构示意图；图2为根据本专利技术实施例的用于Hadoop集群自动安装的方法的流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供一种用于Hadoop集群自动安装的系统及方法。以下结合附图对本专利技术进行详细说明。本专利技术实施例提供一种用于Hadoop集群自动安装的系统，如图1所示，该用于Hadoop集群自动安装的系统主要包括：DHCP服务器101、BOOT服务器102、YUM服务器103、Hadoop集群104及物理机节点105。其中，上述的DHCP服务器101用于分配及管理动态IP，为物理机节点105接入Hadoop集群104之前提供安装网络IP地址。BOOT服务器102用于存储操作系统配置模板及Hadoop应用服务配置模板，参数配置库部署在此BOOT服务器102中，该参数配置库中至少包含该操作系统配置模版的各类配置参数及Hadoop应用服务配置模板的各类配置参数。其中，该操作系统配置模版的各类配置参数可以例如是物理机节点105的主机号(唯一标识)、主机名、集群网络IP地址、操作系统版本号等；Hadoop应用服务配置模板的各类配置参数至少包含：根据物理机节点105在集群中的角色以及硬件配置划分的三个种类：管理节点模板、服务节点模板及应用节点模板，这三类模板配置的应用服务种类和数量均有所不同。上述的YUM服务器103用于存储操作系统及Hadoop应用服务各版本的安装源文件。由图1所示的内容可以看出，该物理机节点105与上述的DHCP服务器101、BOOT服务器102、YUM服务器103之间主要执行以下过程：首先，从DHCP服务器101获取动态IP；具体地，该物理机节点105可以是在接入安装网络后，从PXE网卡启动，该安装网络中的DHCP服务器101索取动态IP。然后，根据一个性化Kickstart安装脚本从YUM服务器103上获取相应的安装源文件。此过程中，BOOT服务器102根据物理机节点105的主机号找到对应的配置文件，并在物理机节点105内存中加载操作系统内核及个性化Kickstart安装脚本。其中，该个性化Kickstart安装脚本为BOOT服务器102根据Hadoop应用服务配置模板的种类及物理本文档来自技高网...

【技术保护点】
一种用于Hadoop集群自动安装的系统，其特征在于，所述的系统包括：DHCP服务器、BOOT服务器、YUM服务器、Hadoop集群及物理机节点，其中，所述的DHCP服务器用于分配及管理动态IP；所述的BOOT服务器用于存储操作系统配置模板及Hadoop应用服务配置模板；所述的YUM服务器用于存储操作系统及Hadoop应用服务的安装源文件；所述物理机节点执行以下步骤：从所述DHCP服务器获取所述动态IP；根据一个性化Kickstart安装脚本从所述YUM服务器上获取相应的安装源文件；根据所述动态IP、安装源文件在所述物理机节点中安装操作系统；接收Hadoop应用服务安装指令，根据所述Hadoop应用服务配置模板及个性化Kickstart安装脚本在所述Hadoop集群安装Hadoop应用服务。

【技术特征摘要】
1.一种用于Hadoop集群自动安装的系统，其特征在于，所述的系统包括：DHCP服务器、BOOT服务器、YUM服务器、Hadoop集群及物理机节点，其中，所述的DHCP服务器用于分配及管理动态IP；所述的BOOT服务器用于存储操作系统配置模板及Hadoop应用服务配置模板；所述的YUM服务器用于存储操作系统及Hadoop应用服务的安装源文件；所述物理机节点执行以下步骤：从所述DHCP服务器获取所述动态IP；根据一个性化Kickstart安装脚本从所述YUM服务器上获取相应的安装源文件；根据所述动态IP、安装源文件在所述物理机节点中安装操作系统；接收Hadoop应用服务安装指令，根据所述Hadoop应用服务配置模板及个性化Kickstart安装脚本在所述Hadoop集群安装Hadoop应用服务。2.根据权利要求1所述的用于Hadoop集群自动安装的系统，其特征在于，在根据所述动态IP、安装源文件在所述物理机节点中安装操作系统之后，所述物理机节点还执行以下步骤：用所述物理机节点的应用IP替换所述动态IP。3.根据权利要求2所述的用于Hadoop集群自动安装的系统，其特征在于，所述Hadoop应用服务配置模板的种类至少包含：管理节点模板、服务节点模板及应用节点模板。4.根据权利要求3所述的用于Hadoop集群自动安装的系统，其特征在于，所述个性化Kickstart安装脚本为所述BOOT服务器根据所述Hadoop应用服务配置模板的种类及物理机节点生成的对应于所述种类及物理机节点的安装脚本。5.根据权利要求4所述的用于Hadoop集群自动安装...

【专利技术属性】
技术研发人员：朱伟，郝建明，马平清，王巍，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：上海,31