【技术实现步骤摘要】
时空数据的处理方法、装置、电子设备和存储介质
本申请涉及大数据处理
,具体而言,涉及一种时空数据的处理方法、装置、电子设备和存储介质。
技术介绍
时空数据是指同时具有时间、空间维度信息的数据,实际生活中产生的时空数据具有多源、海量、更新快的特点。而随着互联网的高速发展、智能设备的完善,产生的时空数据将越来越多。在大数据环境下,传统的随机存储方式不便于对大量的时空数据进行管理。
技术实现思路
本申请实施例的目的在于提供一种时空数据的处理方法、装置、电子设备和存储介质,用以改善传统的随机存储方式不便于对大量的时空数据进行管理的问题。第一方面,实施例提供一种时空数据的处理方法,所述方法包括:对多条时空数据中每条时空数据的经纬度信息进行编码,得到每条时空数据对应的第一编码数据;为每条时空数据对应的第一编码数据添加时间戳信息,得到每条时空数据对应的第二编码数据;对所述多条时空数据对应的所有第二编码数据进行排序,并根据排序结果生成多个第一存储文件;在未合并的所述第 ...
【技术保护点】
1.一种时空数据的处理方法,其特征在于,所述方法包括:/n对多条时空数据中每条时空数据的经纬度信息进行编码,得到每条时空数据对应的第一编码数据;/n为每条时空数据对应的第一编码数据添加时间戳信息,得到每条时空数据对应的第二编码数据;/n对所述多条时空数据对应的所有第二编码数据进行排序,并根据排序结果生成多个第一存储文件;/n在未合并的所述第一存储文件的数量达到指定个数时,将所述未合并的所述第一存储文件合并为一个第二存储文件;/n对每个所述第二存储文件中的所有第二编码数据进行重新排序。/n
【技术特征摘要】
1.一种时空数据的处理方法,其特征在于,所述方法包括:
对多条时空数据中每条时空数据的经纬度信息进行编码,得到每条时空数据对应的第一编码数据;
为每条时空数据对应的第一编码数据添加时间戳信息,得到每条时空数据对应的第二编码数据;
对所述多条时空数据对应的所有第二编码数据进行排序,并根据排序结果生成多个第一存储文件;
在未合并的所述第一存储文件的数量达到指定个数时,将所述未合并的所述第一存储文件合并为一个第二存储文件;
对每个所述第二存储文件中的所有第二编码数据进行重新排序。
2.根据权利要求1所述的方法,其特征在于,所述对多条时空数据中每条时空数据的经纬度信息进行编码,得到每条时空数据对应的第一编码数据,包括:
将多条时空数据中的每条时空数据的经纬度信息映射为小区号,并对所述小区号进行编码,得到所述时空数据的第一编码数据。
3.根据权利要求1所述的方法,其特征在于,所述对所述多条时空数据对应的所有第二编码数据进行排序,并根据排序结果生成多个第一存储文件,包括:
对所述多条时空数据对应的所有第二编码数据进行排序,并根据排序结果以及预设的字节长度,对所述多条时空数据对应的所有第二编码数据进行打包,得到所述多条时空数据对应的多个第一存储文件。
4.根据权利要求3所述的方法,其特征在于,所述对所述多条时空数据对应的所有第二编码数据进行排序,并根据排序结果以及预设的字节长度,对所述多条时空数据对应的所有第二编码数据进行打包,得到所述多条时空数据对应的多个第一存储文件,包括:
将所述多条时空数据对应的所有第二编码数据写入跳跃表;
每当所述跳跃表中的第二编码数据达到预设的字节长度时,将所述跳跃表中的第二编码数据打包生成一个所述第一存储文件,以得到所述多条时空数据对应的多个第一存储文件。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取查询指令,所述查询指令中包括目标经纬度;
通过布隆过滤器判断多个第二存储文件中是否存在所述目标经纬度对应的目标编码数据;
当通过所述布隆过滤器判定所述多个第二存储文件中存在所述目标经纬度对应的目标编码数据时,从所...
【专利技术属性】
技术研发人员:王炎辉,
申请(专利权)人:北京明略软件系统有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。