一种数据库连接池连接Impala的方法及系统技术方案

本发明专利技术公开了一种数据库连接池连接Impala的方法及系统，属于大数据处理技术领域，当需要连接带Kerberos认证的Impala时，创建Kerberos连接池，所述Kerberos连接池初始化方法放在Kerberos认证模块中；通过设置定时刷新认证模块，每隔固定时间刷新一次Kerberos认证。所述系统包括数据库连接池创建模块、Kerberos认证模块以及定时刷新认证模块。本发明专利技术既适用于不带Kerberos认证的Impala连接也适用于带Kerberos认证的Impala连接，较于单独连接的方式，节省了每次连接创建和销毁的资源占用。占用。占用。

【技术实现步骤摘要】
一种数据库连接池连接Impala的方法及系统


[0001]本专利技术涉及大数据处理
，具体地说是一种数据库连接池连接Impala的方法及系统。

技术介绍

[0002]随着大数据技术的发展，Impala也随之诞生，它是一种新型查询系统，提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据，与其他Hadoop的SQL引擎相比，它提供了高性能和低延迟。
[0003]Kerberos 是一种网络认证协议，其设计目标是通过密钥系统为客户机 / 服务器应用程序提供强大的认证服务。该认证过程的实现不依赖于主机操作系统的认证，无需基于主机地址的信任，不要求网络上所有主机的物理安全，并假定网络上传送的数据包可以被任意地读取、修改和插入数据。在以上情况下， Kerberos 作为一种可信任的第三方认证服务，是通过传统的密码技术执行认证服务的。
[0004]随着网络信息数据的爆炸式增长，如何高效快速的处理GB级以上的数据成为人们重点关注的问题，大数据技术因此而生，Impala作为一种MPP大数据查询引擎也被人熟知，由于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库连接池连接Impala的方法，其特征在于，当需要连接带Kerberos认证的Impala时，创建Kerberos连接池，所述Kerberos连接池初始化方法放在Kerberos认证模块中；通过设置定时刷新认证模块，每隔固定时间刷新一次Kerberos认证；该方法的实现过程如下：（1）、获取Impala连接配置信息；（2）、判断是否需要进行Kerberos认证；（3）、若步骤（2）中不需要认证，则创建普通数据库连接池，并获取Impala连接；需要认证则执行步骤（4）和步骤（5）来创建Kerberos认证连接池；（4）、进行Kerberos认证；（5）、创建Kerberos认证连接池：创建继承了普通连接池的子连接池，并传入认证信息；重写子类连接池初始化方法，即将父类的连接池初始化方法放入认证用户的doAs()方法中执行；（6）、从连接池中获取Impala连接；（7）、定时扫描创建的数据库连接池，并对其中的Kerberos连接池进行认证信息刷新，然后重启并完成初始化。2.根据权利要求1所述的一种数据库连接池连接Impala的方法，其特征在于，所述Impala连接配置信息，包括地址，账号，驱动信息。3.根据权利要求1所述的一种数据库连接池连接Impala的方法，其特征在于，所述定时刷新认证模块，间隔24小时定时扫描创建的数据库连接池，并对其中的Kerberos连接池进行认证信息刷新。4.根据权利要求1所述的一种数据库连接池连接Impala的方法，其特征在于，所述创建Kerberos认证连接池的具体实现过程如下：（5.1）、创建继承了普通连接池的子连接池；（5.2）、将Kerberos认证后的信息传入子连接池，包括Kerberos认证父类初始化方法；（5.3）、重写连接池初始化方法，将原有的初始化方法放入认证用户的doAs()方法中执行；（5.4）、初始化后，子连接池即变为了Kerberos连接池。5.根据权利要求1或3或4所述的一种数据库连接池连接Impala的方法，其特征在于，认证刷新定时任务的具体过程如下：（7.1）、扫描已创建的数据库连接池，获取连接池列表；（7.2）、遍历连接池列表，判断是否为Kerberos连接池；（7.3）、若是Kerberos连接池，则执行步骤（7.4）和步骤（7.5）；否则不执行；（7.4）、进行Kerberos认证；（7.5）、Kerberos连接池重启，然后初始化。6.一种数据库连接池连接Impala的系统，其特征在于，包括数据库连接池创建模块、Kerber...

【专利技术属性】
技术研发人员：刘旭，房兰涛，谢恩鹏，杨明生，
申请(专利权)人：山东浪潮超高清智能科技有限公司，
类型：发明
国别省市：