一种基于Spark内存技术对HBase数据库加速读写的方法技术

本发明专利技术公开了一种基于Spark内存技术对HBase数据库加速读写的方法，对Hbase数据库进行改进，将数据的计算单元由Hbase转到Spark内存计算，数据的高效存储使用Hbase on HDFS架构，调用相应的API进行增加、删除、修改、查找操作，利用内存计算的优势实现大规模列式数据库在高并发、低延时场景的实时查询要求。本发明专利技术的一种基于Spark内存技术对HBase数据库加速读写的方法和现有技术相比，采用内存计算对传统Hbase数据库进行改造，对海量数据的入库、查询均有大幅度性能提升，不仅能够有效提高大数据集群计算性能、缩短产品研发周期，通过内存的高IO特性还可对集群的高并发能力和稳定性进行有效提升。

【技术实现步骤摘要】
一种基于Spark内存技术对HBase数据库加速读写的方法
本专利技术涉及大数据计算
，具体地说是一种基于Spark内存技术对HBase数据库加速读写的方法。
技术介绍
在大数据时代，每日均会存储计算数以亿计的海量数据。优秀的列式存储组件HBase具有较好的存储、计算、稳定性和平行扩展能力，被使用的范围越来越广，但仍面临一些问题。如，高并发读写混合不足、全局扫描性能不高、复杂语法支持不够等。内存计算组件Spark作为一款高性能的内存计算框架，在实时计算领域具有很大的优势。
技术实现思路
本专利技术的技术任务是提供一种基于Spark内存技术对HBase数据库加速读写的方法。本专利技术的技术任务是按以下方式实现的：一种基于Spark内存技术对HBase数据库加速读写的方法，对Hbase数据库进行改进，将数据的计算单元由Hbase转到Spark内存计算，数据的高效存储使用HbaseonHDFS架构，调用相应的API进行增加、删除、修改、查找操作，利用内存计算的优势实现大规模列式数据库在高并发、低延时场景的实时查询要求。所述的调用相应的API进行增加、删除、修改、查找操作，包括，采用Sca本文档来自技高网...

【技术保护点】
1.一种基于Spark内存技术对HBase数据库加速读写的方法，其特征在于，对Hbase数据库进行改进，将数据的计算单元由Hbase转到Spark内存计算，数据的高效存储使用Hbase on HDFS架构，调用相应的API进行增加、删除、修改、查找操作，利用内存计算的优势实现大规模列式数据库在高并发、低延时场景的实时查询要求。

【技术特征摘要】
1.一种基于Spark内存技术对HBase数据库加速读写的方法，其特征在于，对Hbase数据库进行改进，将数据的计算单元由Hbase转到Spark内存计算，数据的高效存储使用HbaseonHDFS架构，调用相应的API进行增加、删除、修改、查找操作，利用内存计算的优势实现大规模列式数据库在高并发、低延时场景的实时查询要求。2.根据权利要求1所述的基于Spark内存技术对HBase数据库加速读写的方法，其特征在于，所述的调用相应的API进行增加、删除、修改、查找操作，包括，采用Scala或Java语言调用相应的API进行操作。3.根据权利要求1所述的基于Spark内存技术对HBase数据库加速读写的方法，其特征在于，该方法操作具体步骤如下：步骤1）配置Hbase相应Jar包文件依赖，确保Hbase方法可被Spark正常获取；步骤2）使用HBaseShell创建表，create'access_log','info'；步骤3）启动SparkShell，执行bin/spark-shell–masteryarn–deploy-modeclie...

【专利技术属性】
技术研发人员：王文文，路国隋，梁志勇，牛硕，
申请(专利权)人：浪潮软件股份有限公司，
类型：发明
国别省市：山东,37