一种基于数据仓库工具Hive组件的测试方法及系统技术方案

本发明专利技术涉及服务器技术领域，提供一种基于数据仓库工具Hive组件的测试方法及系统，方法包括：对集群HiveServer2当前状态进行检查，获取节点HiveServer2_1和节点HiveServer2_2的主备状态；对节点HiveServer2_1和节点HiveServer2_2执行强制状态切换动作，并检查状态切换是否成功；对集群HiveServer2进行第一次集群功能验证，然后执行节点故障模拟动作；对集群HiveServer2进行第二次集群功能验证，从而实现基于数据仓库工具Hive组件的自动化测试，提高了测试效率，而且验证Insight平台数据仓库Hive组件具有高可用性。

A test method and system based on hive component of data warehouse tool

【技术实现步骤摘要】
一种基于数据仓库工具Hive组件的测试方法及系统
本专利技术属于服务器
，尤其涉及一种基于数据仓库工具Hive组件的测试方法及系统。
技术介绍
数据仓库工具Hive组件的高可用性HA(HighAvailability)功能是大数据集群的重要功能，承载着大数据平台数据仓库管理和调度，是集群数据库数据表以及相关操作查询高稳定性、高可靠性的保障，因此Hive组件的HA功能测试是非常重要的环节。当前Hive组件在高可用性功能测试时，执行过程中日志结果没有记录，只能采用手工测试，并且操作复杂耗时耗力，执行通过也存在数据稳定性和可靠性的风险，无法绝对保障高可用没有任何风险。
技术实现思路
针对现有技术中的缺陷，本专利技术提供了一种基于数据仓库工具Hive组件的测试方法，旨在解决现有技术中Hive组件测试为手动测试，没有日志记录功能，而且耗时耗力的技术问题。本专利技术所提供的技术方案是：一种基于数据仓库工具Hive组件的测试方法，所述方法包括下述步骤：S1、对集群HiveServer2当前状态进行检查，获取节点HiveServer2_1和节点HiveServer2_2的主备状态；S2、当获取到的节点HiveServer2_1和节点HiveServer2_2的主备状态后，对所述节点HiveServer2_1和节点HiveServer2_2执行强制状态切换动作，并检查状态切换是否成功；S3、在节点HiveServer2_1和节点HiveServer2_2执行强制状态切换动作后，对集群HiveServer2进行第一次集群功能验证；S4、当第一次集群功能验证通过时，对所述集群HiveServer2执行节点故障模拟动作；S5、当执行完节点故障模拟动作，且查验到集群HiveServer2的节点状态发生自动切换后，对集群HiveServer2进行第二次集群功能验证。作为一种改进的方案，所述对集群HiveServer2当前状态进行检查，获取节点HiveServer2_1和节点HiveServer2_2的主备状态的步骤具体包括下述步骤：调用Hive自身脚本获取状态为Active的HiveServer2所在节点；对节点HiveServer2_1和节点HiveServer2_2的主备状态进行记录。作为一种改进的方案，所述当获取到的节点HiveServer2_1和节点HiveServer2_2的主备状态后，对所述节点HiveServer2_1和节点HiveServer2_2执行强制状态切换动作，并检查状态切换是否成功的步骤具体包括下述步骤：当所述节点HiveServer2_1状态为Active，所述节点HiveServer2_2状态为Backup时，调用执行Hive强制切换HiveServer2的命令将节点HiveServer2_2的状态切换为Active，并检查节点HiveServer2_2的状态切换是否成功，此时节点HiveServer2_1状态变为Backup；调用执行Hive强制切换HiveServer2的命令将节点HiveServer2_1的状态切换为Active，并检查节点HiveServer2_1的状态切换是否成功，此时节点HiveServer2_2的状态重新变为Backup。所述在节点HiveServer2_1和节点HiveServer2_2执行强制状态切换动作后，对集群HiveServer2进行第一次集群功能验证的步骤具体包括下述步骤：查找测试JAR包的位置；通过TestDFSIO工具，运行基准测试；运行Hive基准测试命令验证集群HiveServer2组件功能是否正常。作为一种改进的方案，所述当第一次集群功能验证通过时，对所述集群HiveServer2执行节点故障模拟动作的步骤具体包括下述步骤：获取节点HiveServer2_1的HiveServer2的进程号，通过kill-9命令杀死该进程；再查验节点HiveServer2_2的状态是否进行了自动切换；当验证节点HiveServer2_2的状态未进行自动切换时，强制杀死HiveServer2的进程。作为一种改进的方案，所述方法还包括下述步骤：在执行上述步骤S1、S2、S3、S4以及S5的过程中，将每一个步骤的执行过程记录到日志文件.log中。本专利技术的另一目的在于提供一种基于数据仓库工具Hive组件的测试系统，所述系统包括：状态检查模块，用于对集群HiveServer2当前状态进行检查，获取节点HiveServer2_1和节点HiveServer2_2的主备状态；状态切换动作执行模块，用于当获取到的节点HiveServer2_1和节点HiveServer2_2的主备状态后，对所述节点HiveServer2_1和节点HiveServer2_2执行强制状态切换动作，并检查状态切换是否成功；第一次集群功能验证模块，用于在节点HiveServer2_1和节点HiveServer2_2执行强制状态切换动作后，对集群HiveServer2进行第一次集群功能验证；故障模拟模块，用于当第一次集群功能验证通过时，对所述集群HiveServer2执行节点故障模拟动作；第二次集群功能验证模块，用于当执行完节点故障模拟动作，且查验到集群HiveServer2的节点状态发生自动切换后，对集群HiveServer2进行第二次集群功能验证。作为一种改进的方案，所述状态检查模块具体包括：状态获取模块，用于调用Hive自身脚本获取状态为Active的HiveServer2所在节点；状态记录模块，用于对节点HiveServer2_1和节点HiveServer2_2的主备状态进行记录。作为一种改进的方案，所述状态切换动作执行模块具体包括下述步骤：第一切换控制模块，用于当所述节点HiveServer2_1状态为Active，所述节点HiveServer2_2状态为Backup时，调用执行Hive强制切换HiveServer2的命令将节点HiveServer2_2的状态切换为Active，并检查节点HiveServer2_2的状态切换是否成功，此时节点HiveServer2_1状态变为Backup；第二切换控制模块，用于调用执行Hive强制切换HiveServer2的命令将节点HiveServer2_1的状态切换为Active，并检查节点HiveServer2_1的状态切换是否成功，此时节点HiveServer2_2的状态重新变为Backup。作为一种改进的方案，所述系统还包括：日志文件形成模块，用于将每一个步骤的执行过程记录到日志文件.log中。在本专利技术实施例中，对集群HiveServer2当前状态进行检查，获取节点HiveServer2_1和节点HiveServer2_2的主备状态；对节点HiveServer2_1和节点HiveServer2本文档来自技高网...

【技术保护点】
1.一种基于数据仓库工具Hive组件的测试方法，其特征在于，所述方法包括下述步骤：/nS1、对集群HiveServer2当前状态进行检查，获取节点HiveServer2_1和节点HiveServer2_2的主备状态；/nS2、当获取到的节点HiveServer2_1和节点HiveServer2_2的主备状态后，对所述节点HiveServer2_1和节点HiveServer2_2执行强制状态切换动作，并检查状态切换是否成功；/nS3、在节点HiveServer2_1和节点HiveServer2_2执行强制状态切换动作后，对集群HiveServer2进行第一次集群功能验证；/nS4、当第一次集群功能验证通过时，对所述集群HiveServer2执行节点故障模拟动作；/nS5、当执行完节点故障模拟动作，且查验到集群HiveServer2的节点状态发生自动切换后，对集群HiveServer2进行第二次集群功能验证。/n

【技术特征摘要】
1.一种基于数据仓库工具Hive组件的测试方法，其特征在于，所述方法包括下述步骤：
S1、对集群HiveServer2当前状态进行检查，获取节点HiveServer2_1和节点HiveServer2_2的主备状态；
S2、当获取到的节点HiveServer2_1和节点HiveServer2_2的主备状态后，对所述节点HiveServer2_1和节点HiveServer2_2执行强制状态切换动作，并检查状态切换是否成功；
S3、在节点HiveServer2_1和节点HiveServer2_2执行强制状态切换动作后，对集群HiveServer2进行第一次集群功能验证；
S4、当第一次集群功能验证通过时，对所述集群HiveServer2执行节点故障模拟动作；
S5、当执行完节点故障模拟动作，且查验到集群HiveServer2的节点状态发生自动切换后，对集群HiveServer2进行第二次集群功能验证。


2.根据权利要求1所述的基于数据仓库工具Hive组件的测试方法，其特征在于，所述对集群HiveServer2当前状态进行检查，获取节点HiveServer2_1和节点HiveServer2_2的主备状态的步骤具体包括下述步骤：
调用Hive自身脚本获取状态为Active的HiveServer2所在节点；
对节点HiveServer2_1和节点HiveServer2_2的主备状态进行记录。


3.根据权利要求1所述的基于数据仓库工具Hive组件的测试方法，其特征在于，所述当获取到的节点HiveServer2_1和节点HiveServer2_2的主备状态后，对所述节点HiveServer2_1和节点HiveServer2_2执行强制状态切换动作，并检查状态切换是否成功的步骤具体包括下述步骤：
当所述节点HiveServer2_1状态为Active，所述节点HiveServer2_2状态为Backup时，调用执行Hive强制切换HiveServer2的命令将节点HiveServer2_2的状态切换为Active，并检查节点HiveServer2_2的状态切换是否成功，此时节点HiveServer2_1状态变为Backup；
调用执行Hive强制切换HiveServer2的命令将节点HiveServer2_1的状态切换为Active，并检查节点HiveServer2_1的状态切换是否成功，此时节点HiveServer2_2的状态重新变为Backup。


4.根据权利要求1所述的基于数据仓库工具Hive组件的测试方法，其特征在于，所述在节点HiveServer2_1和节点HiveServer2_2执行强制状态切换动作后，对集群HiveServer2进行第一次集群功能验证的步骤具体包括下述步骤：
查找测试JAR包的位置；
通过TestDFSIO工具，运行基准测试；
运行Hive基准测试命令验证集群HiveServer2组件功能是否正常。


5.根据权利要求1所述的基于数据仓库工具Hive组件的测试方法，其特征在于，所述当第一次集群功能验证通过时，对所述集群HiveServer2执行节点故障模拟动...

【专利技术属性】
技术研发人员：张东东，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32