一种HIVE高可用预警方法，设备及计算机可读存储介质技术

本发明专利技术提供一种HIVE高可用预警方法，设备及计算机可读存储介质，基于BP神经网络算法和K最邻近分类算法实现通过对Active HiveServer2所在节点服务器各项指标数据采集，调用K最邻近分类算法纵向计算，调用BP神经网络算法横向计算，层层递归计算预测综合终参是否在可控范围内，根据综合终参与服务器与服务器能够正常运行为HiveServer2提供服务的平衡系数QoSMax比较采取对应的行动，实现对HIVE高可用的预警，提高集群服务器利用效率，解决当前资源占用与HIVE HA高可用保障的矛盾问题，降低构建数据中心大数据集群的成本，提高资源利用率，避免多Standby HiveServer2带来的问题。

A high availability warning method, equipment and computer readable storage medium for hive

【技术实现步骤摘要】
一种HIVE高可用预警方法，设备及计算机可读存储介质
本专利技术涉及服务器
，尤其涉及一种HIVE高可用预警方法，设备及计算机可读存储介质。
技术介绍
Apache社区在HIVE0.14版本开始支持对HiveServer2HA的功能，通过ZooKeeperServiceDiscovery模式使用1个Namespace容纳多个节点的HiveServer2配置信息，不再只是指定某一个host和port，以此来保证集群所有HiveServer2的高可用。当前HIVEHA实现方案需要大量资源提供支持，首先3到5个StandbyHiveServer2节点的安装需要3到5台服务器资源及价值成本，服务器所占用机架空间、占用的网络带宽等成本；其次为ZKFC自动切换选举Active时的锁竞争导致的内存高占用问题，每个StandybyHiveServer2向每个ActiveHiveServer2注册并发送心跳信息所带来成倍增长的网络带宽占用问题，StandbyHiveServer2节点同时查看log日志时造成的Agent带宽占用问题。
技术实现思路
为了克服上述现有技术中的不足，本专利技术提出一种HIVE高可用预警算法，基于东西向BP神经网络算法和南北向K最邻近分类算法进行立体叠加预测计算，解决当前资源占用与HIVEHA高可用保障的矛盾问题，降低构建数据中心大数据集群的成本，提高资源利用率，避免多StandbyHiveServer2带来的问题。方法包括：S1，获取HiveServer2所在节点的指标信息；S2，基于指标信息调用K最邻近算法，计算出下一个时间节点的指标信息；根据各个时间点各项指标信息乘以各自权重相加计算综合终参；S3，根据各个时间点计算的终参和各时间点指标值以及计算出的下一个时间节点的指标，调用BP神经网络算法计算所述节点的综合终参；S4，根据预测的综合终参，对比服务器正常运行为HiveServer2提供服务的平衡系数QoSMax，根据范围采取以下操作：1)、启动HA，关闭StandbyHiveServer2节点；2)、启动所有StandbyHiveServer2节点，无需启动HA；3)、发出预警，提示管理员是否启动HA自动部署；4)、发出红色预警，并自动启动HA自动部署；S5，启动HA自动部署，机制为HA自动部署所需时间小于步骤4发出红色预警的时间。基于上述方法本专利技术还提供一种实现HIVE高可用预警方法的设备，包括：存储器，用于存储计算机程序及HIVE高可用预警方法；处理器，用于执行所述计算机程序及实现多存储器压力测试系统，以实现HIVE高可用预警方法的步骤。基于上述方法本专利技术还提供一种具有HIVE高可用预警方法的计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行以实现HIVE高可用预警方法的步骤。从以上技术方案可以看出，本专利技术具有以下优点：本专利技术基于BP神经网络算法和K最邻近分类算法实现通过对ActiveHiveServer2所在节点服务器各项指标数据采集，调用K最邻近分类算法纵向计算，调用BP神经网络算法横向计算，层层递归计算预测综合终参是否在可控范围内，根据综合终参与服务器与服务器能够正常运行为HiveServer2提供服务的平衡系数QoSMax比较采取对应的行动，实现对HIVE高可用的预警，提高集群服务器利用效率、提升性能，解决当前资源占用与HIVEHA高可用保障的矛盾问题，降低构建数据中心大数据集群的成本，提高资源利用率，避免多StandbyHiveServer2带来的问题。附图说明为了更清楚地说明本专利技术的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为HIVE高可用预警方法流程图。具体实施方式本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本专利技术的范围。附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。本专利技术提供一种HIVE高可用预警方法，如图1所示，方法包括：S1，获取HiveServer2所在节点的指标信息；S2，基于指标信息调用K最邻近算法，计算出下一个时间节点的指标信息；根据各个时间点各项指标信息乘以各自权重相加计算综合终参；S3，根据各个时间点计算的终参和各时间点指标值以及计算出的下一个时间节点的指标，调用BP神经网络算法计算所述节点的综合终参；S4，根据预测的综合终参，对比服务器正常运行为HiveServer2提供服务的平衡系数QoSMax，根据范围采取以下操作：1)、启动HA，关闭StandbyHiveServer2节点；2)、启动所有StandbyHiveServer2节点，无需启动HA；3)、发出预警，提示管理员是否启动HA自动部署；4)、发出红色预警，并自动启动HA自动部署；S5，启动HA自动部署，机制为HA自动部署所需时间小于步骤4发出红色预警的时间。基于上述方法，下面具体说明本方法的实施方式：1：服务器time1-timeN各项详细指标获取1.1集群启动时间点为time1，获取HiveServer2所在节点I/O、Job、磁盘、CPU、网络、内存、电源、运行时间各项指标。通过iostat获取当前I/O详细指标；通过jobs–l获取当前Job详细指标；通过df获取当前磁盘详细指标通过top获取当前CPU详细指标和运行时间详细指标；通过netstat获取当前网络详细指标；通过free获取当前内存详细指标；通过Sys本文档来自技高网...

【技术保护点】
1.一种HIVE高可用预警方法，其特征在于，方法包括：/nS1，获取HiveServer2所在节点的指标信息；/nS2，基于指标信息调用K最邻近算法，计算出下一个时间节点的指标信息；根据各个时间点各项指标信息乘以各自权重相加计算综合终参；/nS3，根据各个时间点计算的终参和各时间点指标值以及计算出的下一个时间节点的指标，调用BP神经网络算法计算所述节点的综合终参；/nS4，根据预测的综合终参，对比服务器正常运行为HiveServer2提供服务的平衡系数QoSMax，根据范围采取以下操作：/n1)、启动HA，关闭Standby HiveServer2节点；/n2)、启动所有Standby HiveServer2节点，无需启动HA；/n3)、发出预警，提示管理员是否启动HA自动部署；/n4)、发出红色预警，并自动启动HA自动部署；/nS5，启动HA自动部署，机制为HA自动部署所需时间小于步骤4发出红色预警的时间。/n

【技术特征摘要】
1.一种HIVE高可用预警方法，其特征在于，方法包括：
S1，获取HiveServer2所在节点的指标信息；
S2，基于指标信息调用K最邻近算法，计算出下一个时间节点的指标信息；根据各个时间点各项指标信息乘以各自权重相加计算综合终参；
S3，根据各个时间点计算的终参和各时间点指标值以及计算出的下一个时间节点的指标，调用BP神经网络算法计算所述节点的综合终参；
S4，根据预测的综合终参，对比服务器正常运行为HiveServer2提供服务的平衡系数QoSMax，根据范围采取以下操作：
1)、启动HA，关闭StandbyHiveServer2节点；
2)、启动所有StandbyHiveServer2节点，无需启动HA；
3)、发出预警，提示管理员是否启动HA自动部署；
4)、发出红色预警，并自动启动HA自动部署；
S5，启动HA自动部署，机制为HA自动部署所需时间小于步骤4发出红色预警的时间。


2.根据权利要求1所述的HIVE高可用预警方法，其特征在于，
步骤S1还包括：
1.1通过iostat获取当前I/O详细指标；
通过jobs–l获取当前Job详细指标；
通过df获取当前磁盘详细指标
通过top获取当前CPU详细指标和运行时间详细指标；
通过netstat获取当前网络详细指标；
通过free获取当前内存详细指标；
通过SystemPowerSupply获取当前电源详细指标；
1.2每隔DataNode心跳间隔时间获取一次服务器各项指标；
1.3当前时间为timeN，即当前有N组服务器指标数据。


3.根据权利要求1所述的HIVE高可用预警方法，其特征在于，
步骤S2还包括：
取距当前时间之前获取的1000组数据；
2.1I/O终参计算：
2.1.1I/O终参等于各项指标乘各自权重后相加，计算所取1000组数据得到每个时间的I/O终参；
2.1.2调用K最邻近算法，输入I/O指标time1-timeN的各项指标：繁忙程度、负载、响应速度，分别预测time(N+1)的繁忙程度i(N+1)、负载j(N+1)、响应速度k(N+1)；
2.1.3调用BP神经网络算法，输入I/O指标time1-timeN的各项指标：IO终参、繁忙程度、负载、响应速度，以及time(N+1)的繁忙程度i(N+1)、负载j(N+1)、响应速度k(N+1)，预测time(N+1)的I/O终参IO(N+1)；
2.1.4循环重复步骤2.1.2和2.1.3计算I/O终参IO(N+2)-IO(N+N)；
2.2Job终参计算：
2.2.1Job终参等于各项指标乘各自权重后相加，计算所取1000组数据得到每个时间的Job终参；
2.2.2调用K最邻近算法，输入Job指标time1-timeN的各项指标：当前Job数、负载、当前Job已运行时间，分别预测time(N+1)的Job数l(N+1)、负载m(N+1)、当前Job已运行时间n(N+1)；
2.2.3调用BP神经网络算法，输入Job指标time1-timeN的各项指标：Job终参、当前Job数、负载、当期Job已运行时间，以及time(N+1)的当前Job数l(N+1)、负载m(N+1)、当期Job已运行时间n(N+1)，预测time(N+1)的Job终参Job(N+1)；
2.2.4循环重复步骤2.2.2和2.2.3计算Job终参Job(N+2)-Job(N+N)；
2.3CPU终参计算：
2.3.1CPU终参等于各项指标乘各自权重后相加，计算所取1000组数据得到每个时间的CPU终参；
2.3.2调用K最邻近算法，输入CPU指标time1-timeN的各项指标：使用率、负载、总核数，分别预测time(N+1)的使用率o(N+1)、负载p(N+1)、总核数q(N+1)；
2.3.3调用BP神经网络算法，输入CPU指标time1-timeN的各项指标：CPU终参、使用率、负载、总核数，以及time(N+1)的使用率o(N+1)、负载p(N+1)、总核数q(N+1)，预测time(N+1)的CPU终参CPU(N+1)；
2.3.4循环重复步骤2.3.2和2.3.3计算CPU终参CPU(N+2)-CPU(N+N)。


4.根据权利要求3所述的HIVE高可用预警方法，其特征在于，
步骤S2还包括：
2.4网络终参计算
2.4.1网络终参等于各项指标乘各自权重后相加，计算所取1000组数据得到每个时间的网络终参；
2.4.2调用K最邻近算法，输入网络指标time1-timeN的各项指标：使用率、负载、总带宽，分别预测time(N+1)的使用率r(N+1)、负载s(N+1)、总带宽t(N+1)；
2.4.3调用BP神经网络算法，输入网络指标time1-timeN的各项指标：网络终参、使用率、负载、总带宽，以及time(N+1)的使用率r(N+1)、负载s(N+1)、总带宽t(N+1)，预测time(N+1)的网络终参：网络(N+1)；
2.4.4循环重复步骤2.4.2和2.4.3计算网络终参网络(N+2)-网络(N+N)；
2.5内存终参计算
2.5.1内存终参等于各项指标乘各自权重后相加，计算所取1000组数据得到每个时间的内存终参；
2.5.2调用K最邻近算法，输入内存指标time1-timeN的各项指标：使用率、负载、总内存，分别预测time(N+1)的使用率u(N+1)、负载v(N+1)、总内存w(N+1)；
2.5.3调用BP神经网络算法，输入内存指标time1-timeN的各项指标：内存终参、使用率、负载、总内存，以及time(N+1)的使用率u(N+1)、负载v(N+1)、总内存w(N+1)，预测time(N+1)的内存终参：内存(N+1)；
2.5.4循环重复步骤2.5.2和2.5.3计算内存终参内存(N+2)-内存(N+N)。


5.根据权利要求1...

【专利技术属性】
技术研发人员：陈欣，张东东，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32