一种基于HiveMetaStore的权限控制方法技术

本发明专利技术涉及权限控制技术领域，尤其涉及一种基于HiveMetaStore的权限控制方法，包括以下步骤：将HiveMetaStore中的元数据信息提交到Hiveserver2中以输出优化数据，将所述优化数据输入到权限校验插件中与策略文件进行匹配验证；当所述匹配验证通过时将对应的元数据信息返回至输入端；获取若干验证周期内权限验证的验证通过次数；基于权限验证的验证通过次数的方差对权限控制的全面性进行判定；若判定所述全面性不符合要求，则对权限校验插件的并发同步连接数量进行调节；若确定所述稳定性不符合要求，则对策略文件的缓存刷新频率进行调节；基于Hiveserver2的平均吞吐量对权限校验插件单次批处理的数据量进行二次调节。本发明专利技术实现了对于权限控制的全面性的提高。

【技术实现步骤摘要】

本专利技术涉及权限控制，尤其涉及一种基于hivemetastore的权限控制方法。

技术介绍

1、现有技术中，hive是基于hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以查询、分析、存储在hadoop中的大规模数据的机制。hivemetastore和hiveserver2是hive中两个不同的组件，它们在hive的体系结构中扮演着不同的角色，但它们之间有一定的关系。hivemetastore是hive的元数据存储和管理组件。hivemetastore负责管理hive中的表、分区、列的属性等元数据信息。h iveserver2是hive的服务接口，用于提供远程客户端对hive的访问。允许客户端使用不同的编程语言(如java、python)通过thrift接口与hive进行通信。此外还有两种客户端h ive-c l i与bee l ine。hive-c l i是通过metastore访问元数据的，beeline将sql提交给hiveserver2，由hiveserver2编译，然后访问metastore，提交作业。

2、本文档来自技高网...

【技术保护点】

1.一种基于HiveMetaStore的权限控制方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于HiveMetaStore的权限控制方法，其特征在于，调节所述权限校验插件的并发同步连接数量的步骤包括：

3.根据权利要求2所述的基于HiveMetaStore的权限控制方法，其特征在于，确定所述策略文件匹配的稳定性的过程包括：所述权限验证的验证通过次数的方差仅满足所述第一方差条件时，初步判定策略文件匹配的稳定性不符合要求，并根据验证权限的平均通过量对策略文件匹配的稳定性进行二次判定。

4.根据权利要求3所述的基于HiveMetaStore的权...

【技术特征摘要】

1.一种基于hivemetastore的权限控制方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于hivemetastore的权限控制方法，其特征在于，调节所述权限校验插件的并发同步连接数量的步骤包括：

3.根据权利要求2所述的基于hivemetastore的权限控制方法，其特征在于，确定所述策略文件匹配的稳定性的过程包括：所述权限验证的验证通过次数的方差仅满足所述第一方差条件时，初步判定策略文件匹配的稳定性不符合要求，并根据验证权限的平均通过量对策略文件匹配的稳定性进行二次判定。

4.根据权利要求3所述的基于hivemetastore的权限控制方法，其特征在于，所述权限校验插件的并发同步连接数量的增大幅度通过权限验证的验证通过次数的方差与预设第二方差的差值确定。

5.根据权利要求4所述的基于hivemetastore的权限控制方法，其特征在于，调节所述策略文件的...

【专利技术属性】
技术研发人员：高海玲，高经郡，吕彦奎，
申请(专利权)人：北京科杰科技有限公司，
类型：发明
国别省市：