多HiveServer2服务器场景下连接池的实现方法及系统技术方案

本发明专利技术公开了一种多HiveServer2服务器场景下连接池的实现方法及系统，方法包括：构建HiveServer2服务器状态列表，列表中HiveServer2服务器与其工作状态一一对应；接收用户请求；对多HiveServer2服务器执行负载均衡分配，返回用户请求与HiveServer2服务器的连接或连接错误信息。系统包括：多HiveServer2服务器管理模块、信息交互模块和响应模块。计算机设备和存储介质通过执行计算机程序能够实现上述方法过程。本发明专利技术能实现多HiveServer2服务器对HDFS等文件的管理，其中提出的负载均衡分配策略能够实现多HiveServer2服务器的负载均衡、故障检测、告警和自动恢复等，提高了用户请求任务执行的效率和效果，且能节省并充分利用HiveServer2服务器资源，且负载均衡分配策略的可扩展性高。

Implementation method and system of connection pool in multi hiveserver2 server scenario

【技术实现步骤摘要】
多HiveServer2服务器场景下连接池的实现方法及系统
本专利技术涉及大数据数据存储管理领域，特别涉及一种多HiveServer2服务器场景下连接池的实现方法及系统。
技术介绍
Hadoop框架是大数据领域存储和计算大数据最优秀、最基础、应用最广泛的框架。它实现了一个优秀的分布式文件系统(HadoopDistributedFileSystem)，简称HDFS。如果直接通过HDFS跟大数据打交道，学习成本太高，同时开发逻辑太复杂。因此，Hive应运而生，Hive接口采用类SQL语法，学习成本低，开发逻辑简单，同时具有可扩展性，延展性，容错性。Hive实现了对HDFS文件的映射，通过连接Hive可以完成对HDFS文件的管理，而部署了Hive2.X版本以后的服务器，通常称为HiverServer2服务器。业内目前普遍是与单个HiverServer2服务器直连或使用虚拟IP的形式与多个HiverServer2服务器连接，都存在相当大的缺陷，如功能单一、配置不够灵活、硬件花费高且需要独立部署服务器等等。
技术实现思路
本专利技术的本文档来自技高网...

【技术保护点】
1.一种多HiveServer2服务器场景下连接池的实现方法，其特征在于，所述方法包括：/n构建HiveServer2服务器状态列表，列表中HiveServer2服务器与其工作状态一一对应；/n接收用户请求；/n对多HiveServer2服务器执行负载均衡分配，返回所述用户请求与HiveServer2服务器的连接信息或连接错误信息。/n

【技术特征摘要】
1.一种多HiveServer2服务器场景下连接池的实现方法，其特征在于，所述方法包括：
构建HiveServer2服务器状态列表，列表中HiveServer2服务器与其工作状态一一对应；
接收用户请求；
对多HiveServer2服务器执行负载均衡分配，返回所述用户请求与HiveServer2服务器的连接信息或连接错误信息。


2.根据权利要求1所述的多HiveServer2服务器场景下连接池的实现方法，其特征在于，所述HiveServer2服务器的工作状态包括HiveServer2服务器执行用户请求的次数、执行用户请求的耗时、当前是否正在执行用户请求以及是否故障。


3.根据权利要求1或2所述的多HiveServer2服务器场景下连接池的实现方法，其特征在于，所述对多HiveServer2服务器执行负载均衡分配，包括以下过程：
检测所述HiveServer2服务器状态列表中的每个HiveServer2服务器是否故障，并由所有未发生故障的HiveServer2服务器构建可用HiveServer2服务器列表；
针对所述可用HiveServer2服务器列表中的每个HiveServer2服务器，从所述HiveServer2服务器状态列表中采集该HiveServer2服务器的工作状态；
根据所采集到的工作状态排列所述可用HiveServer2服务器列表中所有HiveServer2服务器的优先级，由此构建可用HiveServer2服务器有序列表；
依次遍历所述可用HiveServer2服务器有序列表，直至所述用户请求与某一HiveServer2服务器成功建立连接或遍历结束。


4.根据权利要求3所述的多HiveServer2服务器场景下连接池的实现方法，其特征在于，所述检测所述HiveServer2服务器状态列表中的每个HiveServer2服务器是否故障具体通过一独立单线程A实现，该单线程A在所述多HiveServer2服务器场景下连接池的实现方法运行过程中实时检测每个HiveServer2服务器是否故障，并实时更新所述HiveServer2服务器状态列表。


5.根据权利要求3所述的多HiveServer2服务器场景下连接池的实现方法，其特征在于，在所述依次遍历所述可用HiveServer2服务器有序列表的过程中：
针对当前遍历的且未与用户请求建立连接的HiveServer2服务器，采集连接异常信息，并将该HiveServer2服务器在所述HiveServer2服务器状态列表中的工作状态更改为临时异常；
判断所述连接异常信息是否包含于用户自定义设置的异常库，若是，则将所述连接异常信息反馈至用户，由用户进行处理；否则，继续遍历下一个HiveServer2服务器，并通过另一独立单线程B检测上述工作状态被更改为临时异常的HiveServer2服务器是否故障，若是，则将该HiveServer2服务器从可用HiveServer2服务器有序列表中剔除，同时发送告警信息，且将该HiveServer2服务器在所述HiveServer2服务器状态列表中的工作状态更改为故障，反之，将工作状态...

【专利技术属性】
技术研发人员：杨延威，汪目明，孙迁，
申请(专利权)人：苏宁云计算有限公司，
类型：发明
国别省市：江苏;32