分布式Hadoop集群管理方法、主控端以及受控端技术

本发明专利技术提供一种分布式Hadoop集群管理方法、主控端以及受控端，方法包括：部署在分布式Hadoop集群的主服务器上的主控端接收用户发送的控制指令；所述主控端将所述控制指令分别发送至部署在所述分布式Hadoop集群的全部从服务器上的各受控端，以使所述受控端执行所述控制指令对应的操作。从而能够实现对分布式Hadoop集群的管理与监控，节省人力与财务资源。

【技术实现步骤摘要】
分布式Hadoop集群管理方法、主控端以及受控端
本专利技术涉及通信领域，尤其涉及一种分布式Hadoop集群管理方法、主控端以及受控端。
技术介绍
在互联网、电信等许多关键领域，随着企业业务的不断发展，企业的I/T环境也在不断进行演变，所需存储的数据也越来越多，单个数据库已经很难满足海量数据库存储和高并发数据访问，因此，分布式Hadoop集群的出现成为必然。分布式Hadoop集群能够有效的解决海量数据存储和并发问题，通过数据的水平切合和数据表的垂直切分，有效的缓解了海量数据存储，通过负载均衡、高可用、轮询等缓解了高并发问题。但是，分布式Hadoop集群中不同的软件组件会安装于不同的硬件服务器，数百台乃至数千台服务器会同时执行不同的任务，但相互之间又具有很强的关联性，因此，很难实现对分布式Hadoop集群的管理，并且较为耗费人力与财务资源。
技术实现思路
本专利技术提供一种分布式Hadoop集群管理方法、主控端以及受控端，用于解决现有技术中分布式Hadoop集群由于同时执行不同的任务而导致的较难管理的技术问题。本专利技术的第一个方面是提供一种分布式Hadoop集群管理方法，包括：部署在所述分布式Hadoop集群的主服务器上的主控端接收用户发送的控制指令；所述主控端将所述控制指令分别发送至部署在所述分布式Hadoop集群的全部从服务器上的各受控端，以使所述受控端执行所述控制指令对应的操作。本专利技术的另一个方面是提供一种分布式Hadoop集群管理方法，包括：受控端接收主控端发送的控制指令，其中，所述主控端部署在所述分布式Hadoop集群的主服务器上，所述受控端部署在所述分布式Hadoop集群的全部从服务器上；所述受控端根据所述控制指令执行所述控制指令对应的操作。本专利技术的又一个方面是提供一种主控端，包括：控制指令接收模块，用于接收用户发送的控制指令；发送模块，用于将所述控制指令分别发送至部署在分布式Hadoop集群的全部从服务器上的各受控端，以使所述受控端执行所述控制指令对应的操作。本专利技术的又一个方面是提供一种受控端，包括：接收模块，用于接收主控端发送的控制指令，其中，所述主控端部署在分布式Hadoop集群的主服务器上，所述受控端部署在所述分布式Hadoop集群的全部从服务器上；执行模块，用于根据所述控制指令执行所述控制指令对应的操作。本专利技术提供的分布式Hadoop集群管理方法、主控端以及受控端，通过接收用户发送的控制指令，并将控制指令分别发送至部署在分布式Hadoop集群的全部从服务器上的各受控端，以使各受控端同时执行相同的操作，从而能够实现对分布式Hadoop集群的管理与监控，节省人力与财务资源。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。图1为本专利技术实施例一提供的分布式Hadoop集群管理方法的流程图；图2为本专利技术实施例二提供的分布式Hadoop集群管理方法的流程图；图3为本专利技术实施例三提供的分布式Hadoop集群管理方法的流程图；图4为本专利技术实施例四提供的分布式Hadoop集群管理方法的流程图；图5为本专利技术实施例五提供的主控端的结构图；图6为本专利技术实施例六提供的主控端的结构图；图7为本专利技术实施例七提供的受控端的结构图；图8为本专利技术实施例八提供的受控端的结构图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例一提供的分布式Hadoop集群管理方法的流程图，如图1所示，本专利技术提供的分布式Hadoop集群管理方法包括：101、部署在分布式Hadoop集群的主服务器上的主控端接收用户发送的控制指令。102、所述主控端将所述控制指令分别发送至部署在所述分布式Hadoop集群的全部从服务器上的各受控端，以使所述受控端执行所述控制指令对应的操作。在本实施例中，主控端部署在分布式集群数据库中的主服务器上，当主服务器开机时，即在后台常驻进程，以便能够实时接收用户发送的控制指令。受控端部署在分布式Hadoop集群中各从服务器上，用于接收主控端发送的控制指令。当主控端接收到用户发送的控制指令之后，主控端可以通过网络Socket将接收到的控制指令分别发送至各受控端，以使各受控端根据接收到的控制指令同步执行相应的操作。进一步地，在将控制指令发送至受控端之后，在受控端执行控制指令对应的操作时，主控端还可以实时接收受控端的反馈内容，并将反馈内容发送至网页服务器上进行显示，以使用户能够对当前的从服务器的工作状态进行实时监控，从而降低了分布式Hadoop集群的监控与管理成本。本实施例提供的分布式Hadoop集群管理方法，通过接收用户发送的控制指令，并将控制指令分别发送至部署在分布式Hadoop集群的全部从服务器上的各受控端，以使各受控端同时执行相同的操作，从而能够实现对分布式Hadoop集群的管理与监控，节省人力与财务资源。进一步地，在上述实施例的基础上，控制指令中可以包括多种不同的内容，具体地，所述控制指令包括待安装项目文件以及安装指令；相应地，步骤102具体包括：所述主控端将所述待安装项目文件以及所述安装指令发送至所述受控端，以使所述受控端根据所述安装指令安装所述待安装项目文件。实际应用中，由于现有的分布式Hadoop集群中不同的从服务器一般都安装有不同的软件，不同的软件分别执行不同的操作，因此，管理时较为耗费人力财力。因此，为了能够提高分布式Hadoop集群的管理与监控，控制指令中可以包括待安装项目文件与安装指令。主控端接收到用户发送的待安装项目文件与安装指令之后，可以通过Thrift将待安装项目文件与安装指令进行压缩编码之后，分别发送至分布式Hadoop集群中的各从服务器上部署的受控端，以使受控端根据安装指令安装待安装项目文件。其中可知的是，对待传输内容进行压缩后再传输，能够减小待传输数据的占用空间，进而能够减小数据传输时服务器的压力，提高传输的速度，为分布式Hadoop集群的管理提供了基础。本实施例提供的分布式Hadoop集群管理方法，通过向受控端发送待安装项目文件以及安装指令，以使受控端根据安装指令安装待安装项目文件，从而能够使分布式Hadoop集群中的各从服务器上安装的软件都一致，从而降低了分布式Hadoop集群管理的难度，进而极大地降低了分布式Hadoop集群的管理成本。进一步地，在上述任一实施例的基础上，为了能够获取分布式Hadoop集群中从服务器的状态，所述控制指令包括状态询问指令；相应地，步骤102具体包括：所述主控端将所述状态询问指令发送至所述各受控端，以使所述各受控端根据所述状态询问指令将各从服务器当前状态信息返回至所述主控端。在本实施例中，为了能够方便地获取到当前分布式Hadoop集群中从服务器的状态，可以向部署在分布式Hadoop集群中各从服务器上的受控端发送状态询问指令，以使各受控端获取本文档来自技高网...

【技术保护点】
1.一种分布式Hadoop集群管理方法，其特征在于，包括：部署在分布式Hadoop集群的主服务器上的主控端接收用户发送的控制指令；所述主控端将所述控制指令分别发送至部署在所述分布式Hadoop集群的全部从服务器上的各受控端，以使所述受控端执行所述控制指令对应的操作。

【技术特征摘要】
1.一种分布式Hadoop集群管理方法，其特征在于，包括：部署在分布式Hadoop集群的主服务器上的主控端接收用户发送的控制指令；所述主控端将所述控制指令分别发送至部署在所述分布式Hadoop集群的全部从服务器上的各受控端，以使所述受控端执行所述控制指令对应的操作。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述主控端接收所述受控端定期反馈的当前状态信息，所述当前状态信息包括所述从服务器的CPU占用状态、硬盘使用量以及所述从服务器上部署的软件的使用信息；所述主控端将所述当前状态信息发送至网页服务器，以使所述网页服务器展示所述状态信息。3.根据权利要求2所述的方法，其特征在于，所述主控端接收所述受控端定期反馈的当前状态信息之后，还包括：将所述当前状态信息与预设的标准状态范围进行比对；若检测到所述当前状态信息不在所述预设的状态范围内，则向用户发送状态异常提醒。4.根据权利要求1所述的方法，其特征在于，所述控制指令包括待安装项目文件以及安装指令；所述主控端将所述控制指令分别发送至部署在所述分布式Hadoop集群的全部从服务器上的各受控端，包括：所述主控端将所述待安装项目文件以及所述安装指令发送至所述受控端，以使所述受控端根据所述安装指令安装所述待安装项目文件。5.根据权利要求1所述的方法，其特征在于，所述控制指令包括状态询问指令；所述主控端将所述控制指令分别发送至部署在所述分布式Hadoop集群的全部从服务器上的各受控端，包括：所述主控端将所述状态询问指令发送至所述各受控端，以使所述各受控端根据所述状态询问指令将各从服务器当前状态信息返回至所述主控端；或，所述控制指令包括状态询问指令与待查询从服务器标识；所述主控端将所述控制指令分别发送至部署在所述分布式Hadoop集群...

【专利技术属性】
技术研发人员：向磊，
申请(专利权)人：精硕科技北京股份有限公司，
类型：发明
国别省市：北京,11