基于Kubernetes组建Hadoop集群的实现方法技术

本发明专利技术提供了一种基于Kubernetes组建Hadoop集群的实现方法，包括S1、Manager节点循环监听Hadoop集群中各节点的配置信息，并以所述配置信息动态地封装为系统文件；通过Kubernetes API将系统文件以挂载共享文件方式向Hadoop集群中各节点进行更新操作；S2、接收自用户对Hadoop集群发起的管理请求，对Hadoop集群中的节点根据所述管理请求执行更新操作并通知Manager节点，Manager节点接收执行更新操作的节点所发出的修改请求对所述配置信息进行更新，并根据更新后的配置信息对系统文件进行修改。本发明专利技术能够实现对Hadoop集群的动态维护，提高了Hadoop集群的高可用性及高扩展性。

【技术实现步骤摘要】
基于Kubernetes组建Hadoop集群的实现方法
本专利技术涉及云计算的容器
，尤其涉及一种基于Kubernetes组建Hadoop集群的实现方法。
技术介绍
Kubernetes是开源容器集群管理项目，其可在主机集群之间提供一个能够自动化部署、可拓展、应用容器可运营的开源平台。Kubernetes通常结合Docker容器工具工作，并且整合多个运行着Docker容器的主机集群。使用Kubernetes管理Docker容器集群非常方便，不但能动态监测容器的状态，还能维护管理容器。Hadoop是一个开发和运行处理大规模数据的软件平台，是采用的基于JAVA语言实现的开源软件框架，其可实现在大量计算机组成的分布式集群，以对海量数据进行分布式计算。通常情况下，搭建Hadoop集群时，需要事先知道Hadoop集群中所有节点的Hostname以及其对应的IP，并将Hostname和IP写入到Manager节点的Workers文件中去，之后才能组建、启动Hadoop集群。由于Kubernetes管理Docker容器的过程中，通常是动态地进行维护，以实现增加或者删除节点，同时Docker容本文档来自技高网...

【技术保护点】
1.基于Kubernetes组建Hadoop集群的实现方法，所述Hadoop集群中运行至少一个节点；其特征在于，包括：S1、Manager节点循环监听Hadoop集群中各节点的配置信息，并以所述配置信息动态地封装为系统文件；通过Kubernetes API将系统文件以挂载共享文件方式向Hadoop集群中各节点进行更新操作；S2、接收自用户对Hadoop集群发起的管理请求，对Hadoop集群中的节点根据所述管理请求执行更新操作并通知Manager节点，Manager节点接收执行更新操作的节点所发出的修改请求对所述配置信息进行更新，并根据更新后的配置信息对系统文件进行修改。

【技术特征摘要】
1.基于Kubernetes组建Hadoop集群的实现方法，所述Hadoop集群中运行至少一个节点；其特征在于，包括：S1、Manager节点循环监听Hadoop集群中各节点的配置信息，并以所述配置信息动态地封装为系统文件；通过KubernetesAPI将系统文件以挂载共享文件方式向Hadoop集群中各节点进行更新操作；S2、接收自用户对Hadoop集群发起的管理请求，对Hadoop集群中的节点根据所述管理请求执行更新操作并通知Manager节点，Manager节点接收执行更新操作的节点所发出的修改请求对所述配置信息进行更新，并根据更新后的配置信息对系统文件进行修改。2.根据权利要求1所述的实现方法，其特征在于，在Manager节点根据更新后所形成的配置信息对系统文件进行修改之后，还包括：Manager节点根据更新后的配置信息对系统文件执行刷新操作。3.根据权利要求1所述的实现方法，其特征在于，所述步骤S1在Manager节点被启动的同时被执行，所述步骤S1在Manager节点中以后台运行方式被执行，并被配置为系统插件或者系统进程。4.根据权利要求1或2或者3所述的实现方法，其特征在于，所述系统文件被配置为Hosts文件、txt格式文件、xml格式或者JS对象标记；所述配置信息由Hostname、IP、GPU使用率、更新操作持续时间或者运行所述Hadoop集群所依赖的硬件设备的硬件功率值中的至少一种组成。5.根据权利要求4所述的实现方法，其特征在于，当Hadoop集群中的节点根据所述管理请求执行更新操作时，基于所述管理请求将发生更新操作的节点与未发生更新操作的节点所形成的更新后的配置信息对系统文件进行修改，并通知Manager节点。6.根据权利要求4所述的实现方法，其...

【专利技术属性】
技术研发人员：许广彬，谭瑞忠，濮天晖，张银滨，郭晓，王子豪，强亮，
申请(专利权)人：上海数耕智能科技有限公司，
类型：发明
国别省市：上海,31