一种一键安装、管理单节点大数据组件的方法及系统技术方案

本发明专利技术公开了一种一键安装、管理单节点大数据组件的方法及系统，具体涉及计算机应用技术领域，包括如下步骤：为hadoop集群内各主机部署集群底层环境资源；选取hadoop集群内一台主机为初始节点，并将其余主机设为二级节点；建立集群内各节点之间的互信通信关系，使主机之间能够实现免密通信；将初始节点上的环境配置上传至日志保存，并将其应用到各二级节点上；对各二级节点进行个性设置，并将设置数据上传至日志保存；监控各节点上的部署状态，并对故障节点进行修复。本发明专利技术通过集中式管理模块管理hadoop集群的底层资源，能够实时监控各节点状态，并根据配置信息能够针对性地对故障节点进行快速修复。节点进行快速修复。节点进行快速修复。

【技术实现步骤摘要】
一种一键安装、管理单节点大数据组件的方法及系统


[0001]本专利技术涉及计算机应用
，更具体地说，本专利技术涉及一种一键安装、管理单节点大数据组件的方法及系统。

技术介绍

[0002]随着信息技术的飞速发展，信息时代产生的数据日益在膨胀，Hadoop作为解决大数据领域的重要技术手段，目前被广泛应用着。Hadoop产品最初由Apache基金会进行开源(下文统一称为Apache开源版)，该版本主要用于验证和学习目的，较少用于商用，目前主要安装部署方式是手工安装或者编写批量脚本安装。
[0003]随着业务量的增长和业务数据量的增长，在上百台甚至上千上万台集群规模下，需部署Hadoop的机器成千上万后，单纯依靠手动部署已经是不可能。
[0004]因此，本专利技术提出了一种一键安装、管理单节点大数据组件的方法及系统来解决多机器自动部署Hadoop的难题。

技术实现思路

[0005]为了克服现有技术的上述缺陷，本专利技术的实施例提供一种一键安装、管理单节点大数据组件的方法及系统，通过在单一节点上先行配置hadoop环本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种一键安装、管理单节点大数据组件的方法，其特征在于，包括如下步骤；步骤S101、为hadoop集群内各主机部署集群底层环境资源；步骤S102、选取hadoop集群内一台主机为初始节点，并将其余主机设为二级节点；步骤S103、建立集群内各节点之间的互信通信关系，使主机之间能够实现免密通信；步骤S104、将初始节点上的环境配置上传至日志保存，并将其应用到各二级节点上；步骤S105、对各二级节点进行个性设置，并将设置数据上传至日志保存；步骤S106、监控各节点上的部署状态，并对故障节点进行修复。2.根据权利要求1所述的一种一键安装、管理单节点大数据组件的方法，其特征在于，在步骤S102中，当初始节点为集群主节点时，二级节点均为从节点；反之，则主节点从二级节点中选择。3.根据权利要求1所述的一种一键安装、管理单节点大数据组件的方法，其特征在于，在步骤S105中，个性化修改为根据某一节点实际规划项与初始节点的对应环境配置的差异进行的修改；具体步骤如下：步骤S201、确定二级节点与初始节点的配置差异；步骤S202、查询保存数据中是否有数据差异与步骤S201中的配置差异相同，若有则进行步骤S203，若无则对差异部分进行修改，并进行校验其是否能正常运行；步骤S203、将与配置差异相同的环境配置分发该二级节点进行应用，以完成个性化修改。4.根据权利要求1所述的一种一键安装、管理单节点大数据组件的方法，其特征在于，在步骤S106中，对故障节点进行具体修复步骤如下；步骤S301、确定故障节点的故障时间；步骤S302、根据日志记录判断故障节点环境变量配置是否发生变化，并故障时间对其进行相应修复。5.根据权利要求4所述的一种一键安装、管理单节点大数据组件的方法，其特征在于，在步骤S302中，当故障节点是配置开始后即发生故障时，将该节点与初始节点的共同环境配置与初始节点配置作比较，判断二者是否相同，若不相同，则将初始节点配置替换到该节点上，重新启动验证；若相同，则对个性修改的配置进行校验，直至该节点正常，并将该修复过...

【专利技术属性】
技术研发人员：任玉荣，方月月，陈晓娟，刘会锋，薛飞龙，
申请(专利权)人：陕西天诚软件有限公司，
类型：发明
国别省市：