一种基于Hbase的数据处理系统、方法及装置制造方法及图纸

技术编号:40965313 阅读:22 留言:0更新日期:2024-04-18 20:45
本发明专利技术提供一种基于Hbase的数据处理系统、方法及装置,所述系统包括:注解模块,用于存储预先定义的多个操作注解,所述操作注解用于标识针对Hbase数据库的Hbase操作,每一操作注解对应有相应Hbase操作的执行逻辑;扫描模块,用于响应于获取到的待执行代码,对待执行代码进行扫描,以确定所述待执行代码中与所述多个操作注解匹配的目标注解;确定目标注解对应的操作对象信息,所述操作对象信息包括操作范围和操作结果限定信息;执行模块,用于确定目标注解对应的执行逻辑,并在执行待执行代码时,根据确定的执行逻辑执行目标注解部分的代码,以对Hbase数据库中操作范围内的数据执行相应的Hbase操作并返回匹配于所述操作结果限定信息的操作结果。

【技术实现步骤摘要】

本专利技术涉及数据库领域,尤其涉及一种基于hbase的数据处理系统、方法及装置。


技术介绍

1、hbase是hadoop database的简称,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。利用hbase技术可在服务器上搭建起大规模结构化存储集群,基于其海量存储、列式存储和极易扩展的优势,hbase技术被广泛应用于需要实时读写随机访问超大规模数据集的应用系统。但由于hbase作为一个分布式数据库系统,在cap(consistency,availability, partition tolerance,一致性,可用性、分区容错性)原则中强调了一致性和分区容错性。这两个特性对于分布式系统的设计和运行非常重要,但同时也会对查询过程和系统的编程复杂性产生一定影响。

2、传统的hbase交互方式通常是使用hbase java api(官方提供的接口)直接编写hbase客户端代码。虽然这种方式可以实现与hbase的交互,但使用hbase java api编写代码可能相对复杂,需要了解hbase的底层架构、表模型和api,对于开发人员的要求较高。本文档来自技高网...

【技术保护点】

1.一种基于Hbase的数据处理系统,其特征在于,所述系统包括:

2.根据权利要求1所述的系统,其特征在于,

3.根据权利要求2所述的系统,其特征在于,所述多个操作注解包括下述至少之一:表删除注解、字段删除注解、扫描注解、创建注解、插入注解。

4.根据权利要求3所述的系统,其特征在于,

5.根据权利要求1所述的系统,其特征在于,所述系统还包括:

6.根据权利要求1所述的系统,其特征在于,所述注解模块还用于:

7.一种基于Hbase的数据处理方法,其特征在于,应用于Hbase客户端,所述Hbase客户端中存储有预先定义...

【技术特征摘要】

1.一种基于hbase的数据处理系统,其特征在于,所述系统包括:

2.根据权利要求1所述的系统,其特征在于,

3.根据权利要求2所述的系统,其特征在于,所述多个操作注解包括下述至少之一:表删除注解、字段删除注解、扫描注解、创建注解、插入注解。

4.根据权利要求3所述的系统,其特征在于,

5.根据权利要求1所述的系统,其特征在于,所述系统还包括:

6.根据权利要求1所述的系统,其特征在于,所述注解模块还用于:

7.一种基于hbase的数据处理方法,其特征在于,应用于hbase客户端,所述hbase客户端中存储有预...

【专利技术属性】
技术研发人员:李琳琳王宗力鞠高明口拴军
申请(专利权)人:江苏金融租赁股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1