一种解决基于HIVE元数据管理节点存储压力的方法技术

本发明专利技术公开了一种解决基于HIVE元数据管理节点存储压力的方法，包括：基于业务查询请求，包括机房编号和查询时间，解析接口请求获取查询条件，并校验参数合法性；根据机房编号查询内存，获得集群列表；基于查询时间与集群列表获得目标集群列表；从内存读取目标集群列表的业务集群信息；判断查询时间在固定时间分区内，组装参数impala动态数据源表查询输入，调用本地动态数据源接口操作impala,先执行刷新当前表操作，然后再执行表查询，获得查询结果并将查询将结果封装返回。本发明专利技术节省了Hive和Impala的元数据内存占用资源，提高Impala同步Hive元数据的响应速度。步Hive元数据的响应速度。步Hive元数据的响应速度。

【技术实现步骤摘要】
一种解决基于HIVE元数据管理节点存储压力的方法


[0001]本专利技术属于大数据交互式查询领域，特别是涉及一种解决基于HIVE元数据管理节点存储压力的方法。

技术介绍

[0002]原生Hadoop版本(包括CU系统使用CDH 5.14Hadoop发行版)本身由于NameNode设计原因不支持水平扩展从而限制单个大数据HDFS集群规模,解决元数据存储压力业界大都采用存算完全分离云原生架构实现元数据水平扩展以支持千亿级别文件或对象存储，比如新一代分布式数据通用存储开源框架Apache Ozone及其生态；需要建立大规模分区数量，占用资源大，响应速度慢，甚至回出现元数据节点内存不足而导致的日志查询异常问题。因此，迫切需要提出一种新的方法来解决这些问题。

技术实现思路

[0003]为解决上述问题，本专利技术提供了如下方案：一种解决基于HIVE元数据管理节点存储压力的方法，包括：
[0004]基于业务查询请求，解析接口请求获取查询条件，并校验参数合法性；其中，所述查询条件至少包括机房编号和查询时间；
[0005]根据所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种解决基于HIVE元数据管理节点存储压力的方法，其特征在于，包括：基于业务查询请求，解析接口请求获取查询条件，并校验参数合法性；其中，所述查询条件至少包括机房编号和查询时间；根据所述机房编号查询内存，获得集群列表；基于所述查询时间与所述集群列表获得目标集群列表；从内存读取所述目标集群列表的业务集群信息；判断所述查询时间在固定时间分区内，组装参数impala动态数据源表查询输入，调用本地动态数据源接口操作impala,先执行刷新当前表操作，然后再执行表查询，获得查询结果并将所述查询将结果封装返回。2.根据权利要求1所述的解决基于HIVE元数据管理节点存储压力的方法，其特征在于：校验参数合法性包括依次校验字段类型、机房信息和查询时间跨度；依次校验字段类型、机房信息和查询时间跨度的过程包括，校验字段类型判断格式是否错误，若错误直接输出查询结果；否则，进行机房信息校验；校验机房信息判断机房是否存在，若机房不存在直接输出查询结果；否则，进行查询时间跨度校验；校验查询时间跨度判断查询时间跨度是否在配置参数范围，若不在配置参数范围直接输出查询结果；否则，根据所述查询条件进行内存查询。3.根据权利要求1所述的解决基于HIVE元数据管理节点存储压力的方法，其特征在于，基于所述查询时间与所述集群列表获得目标集群列表的过程包括：根据所述查询时间查找Nacos业务集群配置，根据集群保存时间进行集群模式分类后查询数据，获得目标集群列表。4.根据权利要求3所述的解决基于HIVE元数据管理节点存储压力的方法，其特征在于：所述Nacos业务集群配置包括历史集群和磁盘阵列信息；所述集群模式包括首选集群和/或历史集群。5.根据权利要求1所述的解决基于HIVE元数据管理节点存储压力的方法，其特征在于：所述动态数据源采用服务初始化饥饿加载先创建好数据源并管理数据源的连接，后续有查询请求则直接从单例连接池中获取，如果在服务启动后新增和修改集群连接配置不触发新增或更新数据源，等待查询请求来后从连接池找不到则直接创建新的连接并放在连接池后再使用。6.根据权利要求1所述的解决基于HIVE元数据管理节...

【专利技术属性】
技术研发人员：高魁鸿，
申请(专利权)人：中电信数智科技有限公司，
类型：发明
国别省市：