基于时空短码的HBase时空数据存储索引方法及系统技术方案

技术编号:45344902 阅读:15 留言:0更新日期:2025-05-27 18:59
本发明专利技术提出了一种基于时空短码的HBase时空数据存储索引方法及系统,涉及大数据技术领域,根据时间信息和空间格网,分别生成时间片短码和空间短码;将所述时间片短码、空间短码、对象标识以及唯一标识进行组合,以构建多种数据分区模型,并根据所述数据分区模型对Hbase数据库所需存储的数据量进行预分区;根据所述多种数据分区模型中的行键、时间片短码以及空间短码进行空间索引或行键索引,以获取索引结果。本发明专利技术有助于来提升存储查询效率。

【技术实现步骤摘要】

本专利技术涉及大数据,尤其涉及一种基于时空短码的hbase时空数据存储索引方法及系统。


技术介绍

1、近年来,随着对地观测、卫星遥感、生态评估、国土监管逐渐向宏观、动态、精细化方向发展,基础地理信息数据的更新速度与精度要求越来越高,因而形成了海量的多时期、高精度地理信息数据。在大数据开发和使用中高性能、大数据量的查询是必不可少的,在当前环境下满足高性能、大数据量特点的数据库非hbase莫属。hbase是一个被广泛使用的nosql(notonly sql)数据库,因为其存储数据量大、以及分区服务器访问的特点,而被广泛应用于大数据领域。

2、公告号为cn113407518b的中国专利公开了一种hbase数据库的rowkey设计方法及装置,该方法包括:确定所需存储数据需要占用的分区数量;根据当前时间和分区数量,确定所需存储数据对应的rowkey的前半段;生成离散随机的通用唯一识别码,确定为所需存储数据对应的rowkey的后半段;整合前半段和后半段,得到rowkey设计值。但是上述申请提供的方案仅针对具体业务需求跟数据存储形态来单独设计算法,无法对海量本文档来自技高网...

【技术保护点】

1.一种基于时空短码的HBase时空数据存储索引方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述根据时间信息和空间格网,分别生成时间片短码和空间短码,具体包括:

3.如权利要求1所述的方法,其特征在于,所述多种数据分区模型包括空间数据模型、时序数据模型、时空数据模型以及循环时空数据模型,所述空间数据模型包括空间短码和唯一标识,所述时序数据模型包括时间片短码和对象标识,所述时空数据模型包括空间短码、时间片短码以及对象标识,所述循环时空数据模型包括时间片短码、空间短码以及对象标识。

4.如权利要求3所述的方法,其特征在于,所述...

【技术特征摘要】

1.一种基于时空短码的hbase时空数据存储索引方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述根据时间信息和空间格网,分别生成时间片短码和空间短码,具体包括:

3.如权利要求1所述的方法,其特征在于,所述多种数据分区模型包括空间数据模型、时序数据模型、时空数据模型以及循环时空数据模型,所述空间数据模型包括空间短码和唯一标识,所述时序数据模型包括时间片短码和对象标识,所述时空数据模型包括空间短码、时间片短码以及对象标识,所述循环时空数据模型包括时间片短码、空间短码以及对象标识。

4.如权利要求3所述的方法,其特征在于,所述时间片短码表示基于分区容量和数据产生周期设定的时间编码,所述对象标识表示依照时间顺序连续且均匀产生数据的对象主体对应的主键,所述空间短码表示是对空间数据按照空间格网划分后所在的格网进行编码的空间编码,所述唯一标识表示数据信息原本所携带且具有唯一性的主键。

5.如权利要求2所述的方法,其特征在于,所述将时间信息按预设位数转换...

【专利技术属性】
技术研发人员:黄铭铭侯力峰毛再明
申请(专利权)人:合肥英泽信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1