一种基于混合存储方案的impala在线交互式查询方法技术

本发明专利技术实施例提供了一种基于混合存储方案的impala在线交互式查询方法，包括：用hadoop命令建立hbase表，并用impala在hdfs上建表；在HIVE中建立外部表进行关联，并在impala中查看是否有外部表；若在impala中具有外部表，则创建脚本将当日数据导入至所述hdfs；当用户发出查询请求时，分别对hdfs和hbase进行查询，并将查询结果组合显示给用户。本发明专利技术实施例提供的基于混合存储方案的impala在线交互式查询方法，充分利用hbase和hdfs的特点对增量的数据进行混合存储，提高impala交互式查询的速度。

【技术实现步骤摘要】
一种基于混合存储方案的impala在线交互式查询方法
本专利技术实施例涉及大数据处理
，尤其涉及一种基于混合存储方案的impala在线交互式查询方法。
技术介绍
近年来，随着计算机存储能力的提升和信息技术的发展，数据量成指数型增长，大数据的趋势使得科学技术发展日新月异，大数据技术兴起，商业模式也发生了颠覆性变化。大数据不仅仅代表的是海量的数据，更代表着对海量数据的存储、处理的技术。大数据充斥着人类经济社会的角角落落，如何从海量数据去提取有价值的信息是一个亟待解决的问题。大数据的处理和传统的处理方式不同，它主要利用了多台机器的强大的并行计算能力。经过这些年的发展，大数据领域出现了各种大数据处理平台，如hadoop，spark，storm，这些框架通常针对某类大数据问题进行处理。一般将大数据处理的问题分为三大类：实时数据流处理问题、离线批量数据处理问题、大规模数据交互式查询问题。impala是hadoop生态体系的一员，主要为了解决第三类问题：大规模数据交互式查询，它可以对存储在hadoop数据库hbase和分布式文件系统hdfs上的数据用类似SQL语句进行交互式查询。我们在实践中本文档来自技高网...

【技术保护点】
1.一种基于混合存储方案的impala在线交互式查询方法，其特征在于，包括：用hadoop命令建立hbase表，并用impala在hdfs上建表；在HIVE中建立外部表进行关联，并在impala中查看是否有外部表；若在impala中具有外部表，则创建脚本将当日数据导入至所述hdfs；当用户发出查询请求时，分别对hdfs和hbase进行查询，并将查询结果组合显示给用户。

【技术特征摘要】
1.一种基于混合存储方案的impala在线交互式查询方法，其特征在于，包括：用hadoop命令建立hbase表，并用impala在hdfs上建表；在HIVE中建立外部表进行关联，并在impala中查看是否有外部表；若在impala中具有外部表，则创建脚本将当日数据导入至所述hdfs；当用户发出查询请求时，分别对hdfs和hbase进行查询，并将查询结果组合显示给用户。2.根据权利要求1所述的方法，其特征在于，所述用impala在hdfs上建表包括：创建查询条件对应的查询字段以及将数据按照每天进行分区。3.根据权利要求2所述的方法，其特征在于，所述当用户发出查询请求时，分别对hdfs和hbase进行查询，并将查询结果组合显示给用户，包括：检测查询条件中是否包含时间条件，若包含时间条件且所有需要查询的数据均已复制到hdfs的表，则只对hdfs进行查询；若包含时间条件且所有需要查询的数据均未复制到hdfs中则只对HBase进行查询；若不包含时间条件或时...

【专利技术属性】
技术研发人员：李开，邹复好，訚实松，刘鹏坤，孙斌，
申请(专利权)人：武汉魅瞳科技有限公司，
类型：发明
国别省市：湖北,42