Hbase数据库的Rowkey设计方法及装置制造方法及图纸

本发明专利技术提供了一种Hbase数据库的Rowkey设计方法及装置，应用于大数据领域，该方法包括：确定所需存储数据需要占用的分区数量；根据当前时间和分区数量，确定所需存储数据对应的Rowkey的前半段；生成离散随机的通用唯一识别码，确定为所需存储数据对应的Rowkey的后半段；整合前半段和后半段，得到Rowkey设计值。进行分段设计，根据当前时间和分区数量，确定前半段为顺序字符串，让数据整体作为一个连续的整体，可以有效提高Hbase的读取效率；后半段由离散随机的通用唯一识别码组成，让数据在一定区域内离散存储，有助于提高数据的并行写入效率，既能提高数据的写入性能，又能提高数据的读取性能。读取性能。读取性能。

【技术实现步骤摘要】
Hbase数据库的Rowkey设计方法及装置


[0001]本专利技术涉及大数据
，尤其涉及一种Hbase数据库的Rowkey设计方法及装置。

技术介绍

[0002]在大数据开发和使用中高性能、大数据量的查询是必不可少的，在当前环境下满足高性能、大数据量特点的数据库非Hbase莫属。Hbase是一个被广泛使用的nosql(not only sql)数据库，因为其存储数据量大、以及分区服务器访问的特点，而被广泛应用于大数据领域。Hbase在读写数据时需要通过RowKey找到对应的Region(区域)，但Rowkey太过连续会影响数据的写入，即过于集中在一个分区，写入速度慢；Rowkey太过分散，又会分布在过多分区，使得数据的查询访问分区过多，查询任务过多，查询效率缓慢。
[0003]因而，现有技术中，一是通过Hbase Rowkey加盐，属于添加随机前缀，离散的写在Hbase的各个分区中，但只能提高写性能的需求，却降低了读性能的需求。另一种是Hbase以顺序或者倒序的时间字符串或者时间戳作为Rowkey，却仅能满足单独的读或者写，无法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种Hbase数据库的Rowkey设计方法，其特征在于，包括：根据Hbase数据库所需存储的数据量，确定所需存储数据需要占用的分区数量；确定数据存储的当前时间，根据所述当前时间和分区数量，确定所需存储数据对应的Rowkey的前半段；生成离散随机的通用唯一识别码，确定为所需存储数据对应的Rowkey的后半段；整合所需存储数据对应的Rowkey的前半段和所需存储数据对应的Rowkey的后半段，得到所需存储数据对应的Rowkey设计值。2.如权利要求1所述的Hbase数据库的Rowkey设计方法，其特征在于，根据Hbase数据库所需存储的数据量，确定所需存储数据需要占用的分区数量，包括：确定Hbase数据库的区域大小；根据Hbase数据库的区域大小和所需存储的数据量，确定所需存储数据需要占用的分区数量。3.如权利要求1所述的Hbase数据库的Rowkey设计方法，其特征在于，确定数据存储的当前时间，根据所述当前时间和分区数量，确定所需存储数据对应的Rowkey的前半段，包括：确定Hbase数据库并行写入的最小分区数；所述Hbase数据库并行写入的最小分区数是确保Hbase数据库并行写入时数据接收无延迟的分区数的最小值；根据所述分区数量、Hbase数据库并行写入的最小分区数和所述当前时间，确定所需存储数据对应的Rowkey的前半段。4.如权利要求1所述的Hbase数据库的Rowkey设计方法，其特征在于，还包括：获取Hbase数据库所需存储数据；将所需存储数据作为一条数据记录，将所需存储数据对应的Rowkey设计值，作为所述数据记录的Rowkey，将所述数据记录存储于Hbase数据库。5.一种Hbase数据库的Rowkey设计装置，其特征在于，包括：分区数量确定模块，用于根据Hbase数据库所需存储的数据量，确定所需存储数据需要占用的分区...

【专利技术属性】
技术研发人员：朱阿龙，田林，石慧彪，刘琦，张靖羚，何聪聪，豆敏娟，刘宇琦，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：