一种大数据平台管理节点高可用的实现方法及装置制造方法及图纸

本发明专利技术提出了一种大数据平台管理节点高可用的实现方法，所述大数据平台是基于开源Ambari的基础上实现的，包括：根据管理节点的状态以及加权值选择最优管理节点作为主管理节点，提供对外服务；接收客户端或集群代理节点的请求信息，查询本地缓存中是否存在相同的请求信息，如果存在，将请求结果返回给对应客户端或集群代理节点；如果不存在，转发请求信息；转发模块根据请求类型将请求信息对应发送主管理节点，本发明专利技术还提出了一种大数据平台管理节点高可用的实现装置，有效的提高了大数据平台管理节点高可用实现的可靠性。

【技术实现步骤摘要】
一种大数据平台管理节点高可用的实现方法及装置
本专利技术涉及管理节点可用领域，尤其是涉及一种大数据平台管理节点高可用的实现方法及装置。
技术介绍
在大数据时代，越来越多的公司和单位应用大数据技术处理海量信息助力业务发展，大数据的应用变得越来越广泛。但是大数据组件众多、相互依赖，运维工作十分复杂，大数据管理平台的出现大大简化了大数据集群的运维工作，降低了大数据技术的使用门槛。但是，基于开源Ambari的大数据管理平台存在单点故障的问题，一旦管理节点出现故障不可用时，大数据组件虽然处于运行状态，业务不受影响，但是集群处于无监控、不可管理的状态，而且大数据各个组件的监听端口也和开源默认端口不一致，导致用户无法查看业务具体运行状态，大数据集群处于“失联”状态。因此，大数据管理平台管理节点高可用如何实现是一个需要面临解决的问题。
技术实现思路
本专利技术为了解决现有技术中存在的问题，创新提出了一种大数据平台管理节点高可用的实现方法及装置，有效解决由于管理节点故障时造成大数据平台集群无法监控以及管理的问题，有效的提高了大数据平台管理节点高可用实现的可靠性。本专利技术第一方面提供了一种大数据平台管理节点高可用的实现方法，包括：根据集群规模设定管理节点的个数；实时获取管理节点的状态以及加权值，根据管理节点的状态以及加权值选择切换最优管理节点作为主管理节点，用于提供对外服务，剩余管理节点作为备用管理节点；接收客户端或集群代理节点的请求信息，查询本地缓存中是否存在相同的请求信息，如果存在，将本地缓存中的请求信息对应的请求结果返回给对应客户端或集群代理节点；如果不存在，转发请求信息；接收转发的请求信息，根据请求类型将请求信息对应发送主管理节点，并将主管理节点返回的结果信息返回给客户端或集群代理节点。可选地，根据集群规模设定管理节点的个数具体包括：获取集群规模信息；判断集群规模是否大于第一阈值，如果集群规模大于第一阈值，设定第一数量的管理节点；如果集群规模大于第一阈值且小于第二阈值，设定第二数量的管理节点；如果集群规模大于第二阈值，设定第三数量的管理节点。获取管理节点的状态以及加权值，根据管理节点的状态以及加权值选择切换最优管理节点作为主管理节点具体包括：各个管理节点计算自身的加权值；获取管理节点的状态以及加权值；选择切换状态为存活状态且加权值最大的管理节点作为主管理节点。进一步地，各个管理节点计算自身的加权值具体是：建立加权值的计算公式，具体是：其中，W为管理节点的加权值，Rmax为所有管理节点中内存的最大值，r为当前计算的管理节点的内存值，Pmax为所有管理节点中核数的最大值，p为当前计算的管理节点的核数；根据加权值的计算公式，各个管理节点计算自身的加权值。可选地，所述请求类型包括：页面请求、握手通讯请求、心跳请求、数据访问请求。本专利技术第二方面还提供了一种大数据平台管理节点高可用的实现装置，包括：选择设定模块，根据集群规模设定管理节点的个数；切换模块，实时获取管理节点的状态以及加权值，根据管理节点的状态以及加权值选择切换最优管理节点作为主管理节点，用于提供对外服务，剩余管理节点作为备用管理节点；接收模块，接收客户端或集群代理节点的请求信息，查询本地缓存中是否存在相同的请求信息，如果存在，将本地缓存中的请求信息对应的请求结果返回给对应客户端或集群代理节点；如果不存在，转发请求信息；转发模块，接收转发的请求信息，根据请求类型将请求信息对应发送主管理节点，并将主管理节点返回的结果信息返回给客户端或集群代理节点。可选地，选择设定模块具体包括：第一获取子模块，获取集群规模信息；判断子模块，判断集群规模是否大于第一阈值，如果集群规模大于第一阈值，设定第一数量的管理节点；如果集群规模大于第一阈值且小于第二阈值，设定第二数量的管理节点；如果集群规模大于第二阈值，设定第三数量的管理节点。可选地，切换模块具体包括：计算子模块，各个管理节点计算自身的加权值；第二获取子模块，获取管理节点的状态以及加权值；选择切换子模块，选择切换状态为存活状态且加权值最大的管理节点作为主管理节点。进一步地，计算子模块中的加权值的计算公式具体是：其中，W为管理节点的加权值，Rmax为所有管理节点中内存的最大值，r为当前计算的管理节点的内存值，Pmax为所有管理节点中核数的最大值，p为当前计算的管理节点的核数。可选地，所述请求类型包括：页面请求、握手通讯请求、心跳请求、数据访问请求。本专利技术采用的技术方案包括以下技术效果：1、本专利技术大数据平台在管理节点发生故障，服务停止时，大数据集群仍然能够稳定运行，继续提供集群服务，能够有效的提高大数据平台的可用性，有效解决由于管理节点故障时造成大数据平台集群无法监控以及管理的问题，有效的提高了大数据平台管理节点高可用实现的可靠性。2、本专利技术中接收客户端或集群代理节点的请求信息，查询本地缓存中是否存在相同的请求信息，如果存在，将本地缓存中的请求信息对应的请求结果返回给对应客户端或集群代理节点；如果不存在，转发请求信息，提高了大数据平台请求信息的处理效率。3、本专利技术在主管理节点故障时，从备用管理节点中选择加权值最大的备用管理节点作为主管理节点，保证了主管理节点的资源配置充足以及性能最佳。4、本专利技术中根据请求类型将请求信息对应发送主管理节点，保证了请求信息的正常高效传送以及处理。应当理解的是以上的一般描述以及后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明为了更清楚说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见的，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术方案中实施例一方法的流程示意图；图2为本专利技术方案中实施例一方法中步骤S1的流程示意图；图3为本专利技术方案中实施例一方法中步骤S2的流程示意图；图4为本专利技术方案中实施例一方法中步骤S21的流程示意图；图5为本专利技术方案中实施例二装置的结构示意图；图6为本专利技术方案中实施例一大数据平台内部节点连接示意图；图7为本专利技术方案中实施例二装置中选择设定模块的结构示意图；图8为本专利技术方案中实施例二装置中切换模块的结构示意图；图9为本专利技术方案中实施例二装置中转发模块的结构示意图。具体实施方式为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本专利技术进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本专利技术的不同结构。为了简化本专利技术的公开，下文中对特定例子的部件和设置进行描述。此外，本专利技术可以在不同例子中重复参考数字和/或字母。这种重复是为了简化本文档来自技高网...

【技术保护点】
1.一种大数据平台管理节点高可用的实现方法，其特征是，包括：/n根据集群规模设定管理节点的个数；/n实时获取管理节点的状态以及加权值，根据管理节点的状态以及加权值选择切换最优管理节点作为主管理节点，用于提供对外服务，剩余管理节点作为备用管理节点；/n接收客户端或集群代理节点的请求信息，查询本地缓存中是否存在相同的请求信息，如果存在，将本地缓存中的请求信息对应的请求结果返回给对应客户端或集群代理节点；如果不存在，转发请求信息；/n接收转发的请求信息，根据请求类型将请求信息对应发送主管理节点，并将主管理节点返回的结果信息返回给客户端或集群代理节点。/n

【技术特征摘要】
1.一种大数据平台管理节点高可用的实现方法，其特征是，包括：
根据集群规模设定管理节点的个数；
实时获取管理节点的状态以及加权值，根据管理节点的状态以及加权值选择切换最优管理节点作为主管理节点，用于提供对外服务，剩余管理节点作为备用管理节点；
接收客户端或集群代理节点的请求信息，查询本地缓存中是否存在相同的请求信息，如果存在，将本地缓存中的请求信息对应的请求结果返回给对应客户端或集群代理节点；如果不存在，转发请求信息；
接收转发的请求信息，根据请求类型将请求信息对应发送主管理节点，并将主管理节点返回的结果信息返回给客户端或集群代理节点。


2.根据权利要求1所述的大数据平台管理节点高可用的实现方法，其特征是，根据集群规模设定管理节点的个数具体包括：
获取集群规模信息；
判断集群规模是否大于第一阈值，如果集群规模大于第一阈值，设定第一数量的管理节点；如果集群规模大于第一阈值且小于第二阈值，设定第二数量的管理节点；如果集群规模大于第二阈值，设定第三数量的管理节点。


3.根据权利要求1所述的大数据平台管理节点高可用的实现方法，其特征是，获取管理节点的状态以及加权值，根据管理节点的状态以及加权值选择切换最优管理节点作为主管理节点具体包括：
各个管理节点计算自身的加权值；
获取管理节点的状态以及加权值；
选择切换状态为存活状态且加权值最大的管理节点作为主管理节点。


4.根据权利要求3所述的大数据平台管理节点高可用的实现方法，其特征是，各个管理节点计算自身的加权值具体是：
建立加权值的计算公式，具体是：



其中，W为管理节点的加权值，Rmax为所有管理节点中内存的最大值，r为当前计算的管理节点的内存值，Pmax为所有管理节点中核数的最大值，p为当前计算的管理节点的核数；
根据加权值的计算公式，各个管理节点计算自身的加权值。


5.根据权利要求1所述的大数据平台管理节点高可用的实现方法，其特征是，所述请求类型包括：页面请求、握手通讯请...

【专利技术属性】
技术研发人员：李建康，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32