一种海量轨迹数据缓存方法、查询方法及装置制造方法及图纸

技术编号:44933040 阅读:21 留言:0更新日期:2025-04-08 19:15
本发明专利技术提供了一种海量轨迹数据缓存方法、查询方法及装置,属于数据存取技术领域,其方法包括:获取海量轨迹数据,并确定所述海量轨迹数据的关键字段和时间字段;基于所述关键字段和所述时间字段对hbase数据库进行分区,获得多个分区,并将所述海量轨迹数据缓存至所述多个分区。本发明专利技术利用hbase数据库将海量轨迹数据缓存至hadoop集群中的特性,实现对海量轨迹数据的分布式缓存,在节省数据缓存成本的同时提高了海量轨迹数据的缓存效率。

【技术实现步骤摘要】

本专利技术涉及数据存取,具体涉及一种海量轨迹数据缓存方法、查询方法及装置


技术介绍

1、随着定位技术的进步发展,例如支持gps定位的手机的普及,大量的轨迹数据产生。轨迹数据涉及到多类型的数据,例如:铁路客运、航空客运、轨道交通等等,不同类型的数据涉及到不同的业务部门,就会产生不同的表,并且轨迹数据在不停产生,所以在查询指定轨迹数据时,就需要进行大量的实时计算获取数据。为了更快的获取指定轨迹数据,就可以将上一次查询的数据缓存起来,方便下次查询。

2、传统的数据缓存方式是:利用redis数据库对海量轨迹数据进行缓存,其存在以下技术问题:redis数据库是将数据缓存到内存中,但是由于轨迹数据的数据量太大,如果全部缓存到内存中的话,缓存成本高,且缓存数据查询效率较低。

3、因此,亟需提供一种海量轨迹数据缓存方法、查询方法及装置,实现对海量轨迹数据的快速查询,并降低缓存成本。


技术实现思路

1、有鉴于此,有必要提供一种海量轨迹数据缓存方法、查询方法及装置,用以解决现有技术中存在的将海量轨迹数据本文档来自技高网...

【技术保护点】

1.一种海量轨迹数据缓存方法,其特征在于,包括:

2.根据权利要求1所述的海量轨迹数据缓存方法,其特征在于,所述基于所述关键字段和所述时间字段对hbase数据库进行分区,获得多个分区,包括:

3.根据权利要求2所述的海量轨迹数据缓存方法,其特征在于,所述分区关键字节包括分区数量不同的第一字节和第二字节,所述第一字节对应的分区数量大于所述第二字节对应的分区数量,则所述基于所述数据量和所述集群性能值确定所述行键中的分区关键字节,包括:

4.根据权利要求1所述的海量轨迹数据缓存方法,其特征在于,所述海量轨迹数据为用户轨迹数据,则所述关键字段为用户唯一身份标识...

【技术特征摘要】

1.一种海量轨迹数据缓存方法,其特征在于,包括:

2.根据权利要求1所述的海量轨迹数据缓存方法,其特征在于,所述基于所述关键字段和所述时间字段对hbase数据库进行分区,获得多个分区,包括:

3.根据权利要求2所述的海量轨迹数据缓存方法,其特征在于,所述分区关键字节包括分区数量不同的第一字节和第二字节,所述第一字节对应的分区数量大于所述第二字节对应的分区数量,则所述基于所述数据量和所述集群性能值确定所述行键中的分区关键字节,包括:

4.根据权利要求1所述的海量轨迹数据缓存方法,其特征在于,所述海量轨迹数据为用户轨迹数据,则所述关键字段为用户唯...

【专利技术属性】
技术研发人员:张爽张雄彪余志壮熊纯李显锋
申请(专利权)人:武汉达梦数据技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1