时空数据的处理方法、装置、电子设备和存储介质制造方法及图纸

本申请提供一种时空数据的处理方法、装置、电子设备和存储介质，该方法包括：对多条时空数据中每条时空数据的经纬度信息进行编码，得到每条时空数据对应的第一编码数据；为每条时空数据对应的第一编码数据添加时间戳信息，得到每条时空数据对应的第二编码数据；对所述多条时空数据对应的所有第二编码数据进行排序，并根据排序结果生成多个第一存储文件；在未合并的所述第一存储文件的数量达到指定个数时，将所述未合并的所述第一存储文件合并为一个第二存储文件；对每个所述第二存储文件中的所有第二编码数据进行重新排序。以此能够改善传统的随机存储方式不便于对大量的时空数据进行管理的问题。

Processing methods, devices, electronic devices and storage media of spatiotemporal data

【技术实现步骤摘要】
时空数据的处理方法、装置、电子设备和存储介质
本申请涉及大数据处理
，具体而言，涉及一种时空数据的处理方法、装置、电子设备和存储介质。
技术介绍
时空数据是指同时具有时间、空间维度信息的数据，实际生活中产生的时空数据具有多源、海量、更新快的特点。而随着互联网的高速发展、智能设备的完善，产生的时空数据将越来越多。在大数据环境下，传统的随机存储方式不便于对大量的时空数据进行管理。
技术实现思路
本申请实施例的目的在于提供一种时空数据的处理方法、装置、电子设备和存储介质，用以改善传统的随机存储方式不便于对大量的时空数据进行管理的问题。第一方面，实施例提供一种时空数据的处理方法，所述方法包括：对多条时空数据中每条时空数据的经纬度信息进行编码，得到每条时空数据对应的第一编码数据；为每条时空数据对应的第一编码数据添加时间戳信息，得到每条时空数据对应的第二编码数据；对所述多条时空数据对应的所有第二编码数据进行排序，并根据排序结果生成多个第一存储文件；在未合并的所述第一存储文件的数量达到指定个数时，将所述未合并的所述第一存储文件合并为一个第二存储文件；对每个所述第二存储文件中的所有第二编码数据进行重新排序。通过上述方法，对于大量的时空数据，能够依据经纬度、时间戳进行编码，从而可以将得到的第二编码数据作为用于实现数据过滤的索引内容。当对这些第二编码数据进行排序并生成第一存储文件后，可以实现基于索引内容的序列划分，划分的内容即为每个第一存储文件中的内容。当包含大量第二编码数据的多个第一存储文件被合并为第二存储文件，并进行重新排序后，可以实现对于各个第一存储文件内的内容更新，从而使得每个第二存储文件内的各个第一存储文件之间也实现有序存储。由于对时空数据的索引内容进行了有序存储，可以较为方便地基于有序的索引内容对大量时空数据进行管理，有利于数据的快速加载。在可选的实施方式中，所述对多条时空数据中每条时空数据的经纬度信息进行编码，得到每条时空数据对应的第一编码数据，包括：将多条时空数据中的每条时空数据的经纬度信息映射为小区号，并对所述小区号进行编码，得到所述时空数据的第一编码数据。通过上述实施方式，在存储过程中的编码阶段由于将经纬度信息映射为小区号并对小区号进行编码，有利于实现数据分类，在后续基于存储结果进行数据查询时能够快速得到所查询的数据的空间属性。在可选的实施方式中，所述对所述多条时空数据对应的所有第二编码数据进行排序，并根据排序结果生成多个第一存储文件，包括：对所述多条时空数据对应的所有第二编码数据进行排序，并根据排序结果以及预设的字节长度，对所述多条时空数据对应的所有第二编码数据进行打包，得到所述多条时空数据对应的多个第一存储文件。通过上述实施方式，可以使得大量时空数据对应的每个第一存储文件中，各编码数据是按照第二编码数据的排序结果进行存储的，通过索引数据的有序存储能够实现时空数据特征的有序存储，便于后续查询。在可选的实施方式中，所述对所述多条时空数据对应的所有第二编码数据进行排序，并根据排序结果以及预设的字节长度，对所述多条时空数据对应的所有第二编码数据进行打包，得到所述多条时空数据对应的多个第一存储文件，包括：将所述多条时空数据对应的所有第二编码数据写入跳跃表；每当所述跳跃表中的第二编码数据达到预设的字节长度时，将所述跳跃表中的第二编码数据打包生成一个所述第一存储文件，以得到所述多条时空数据对应的多个第一存储文件。通过上述实施方式，基于跳跃表实现排序，能够快速对大量的第二编码数据进行处理，从而快速生成大量的第一存储文件。在可选的实施方式中，所述方法还包括：获取查询指令，所述查询指令中包括目标经纬度；通过布隆过滤器判断多个第二存储文件中是否存在所述目标经纬度对应的目标编码数据；当通过所述布隆过滤器判定所述多个第二存储文件中存在所述目标经纬度对应的目标编码数据时，从所述多个第二存储文件中获取所述目标编码数据；根据所述目标编码数据得到与所述目标编码数据对应的时空数据，作为查询结果。通过上述实施方式，对于用户输入经纬度信息后得到的查询指令，先根据查询指令中的目标经纬度先调用布隆过滤器判断出已存储的各个第二存储文件中是否存储用户所需的数据，能够在布隆过滤器判断出多个第二存储文件中存在目标经纬度对应的目标编码数据时，访问相应的第二存储文件，以从相应的第二存储文件中获取到目标编码数据。然后根据目标编码数据得到与该目标编码数据对应的时空数据，作为查询结果。以此可以避免无效访问，还能提升数据加载、查询效率。在可选的实施方式中，所述从所述多个第二存储文件中获取所述目标编码数据，包括：从所述多个第二存储文件中确定出所述目标经纬度对应的第二存储文件，作为目标存储文件；根据所述目标存储文件中已存储的所有第二编码数据对应的排序结果，从所述目标存储文件中获取所述目标编码数据。通过上述实施方式，由于同一目标存储文件中的编码内容相近，对于用户输入的目标经纬度有利于获取到批量的目标编码数据，例如，在根据经纬度信息进行查询时，上述方法有利于快速返回一定范围内的所有时间数据，从而有利于快速得到相关的时空数据。第二方面，实施例提供一种时空数据的处理装置，所述装置包括：编码模块，用于对多条时空数据中每条时空数据的经纬度信息进行编码，得到每条时空数据对应的第一编码数据；所述编码模块，还用于为每条时空数据对应的第一编码数据添加时间戳信息，得到每条时空数据对应的第二编码数据；处理模块，用于对所述多条时空数据对应的所有第二编码数据进行排序，并根据排序结果生成多个第一存储文件；所述处理模块，还用于在未合并的所述第一存储文件的数量达到指定个数时，将所述未合并的所述第一存储文件合并为一个第二存储文件；所述处理模块，还用于对每个所述第二存储文件中的所有第二编码数据进行重新排序。通过上述装置可以执行前述第一方面提供的方法，可以较为方便地基于有序的索引内容对大量时空数据进行管理，有利于数据的快速加载，便于数据查询。在可选的实施方式中，所述装置还包括：获取模块，用于获取查询指令，所述查询指令中包括目标经纬度；判断模块，用于通过布隆过滤器判断多个第二存储文件中是否存在所述目标经纬度对应的目标编码数据；查询模块，用于在通过所述布隆过滤器判定所述多个第二存储文件中存在所述目标经纬度对应的目标编码数据时，从所述多个第二存储文件中获取所述目标编码数据；所述查询模块，还用于根据所述目标编码数据得到与所述目标编码数据对应的时空数据，作为查询结果。第三方面，实施例提供一种电子设备，包括：存储器；处理器；所述存储器上存储有所述处理器可执行的计算机程序，所述计算机程序被所述处理器执行时执行前述第一方面提供的方法。第四方面，实施例提供一种存储介质，所述存储介质上存储有本文档来自技高网...

【技术保护点】
1.一种时空数据的处理方法，其特征在于，所述方法包括：/n对多条时空数据中每条时空数据的经纬度信息进行编码，得到每条时空数据对应的第一编码数据；/n为每条时空数据对应的第一编码数据添加时间戳信息，得到每条时空数据对应的第二编码数据；/n对所述多条时空数据对应的所有第二编码数据进行排序，并根据排序结果生成多个第一存储文件；/n在未合并的所述第一存储文件的数量达到指定个数时，将所述未合并的所述第一存储文件合并为一个第二存储文件；/n对每个所述第二存储文件中的所有第二编码数据进行重新排序。/n

【技术特征摘要】
1.一种时空数据的处理方法，其特征在于，所述方法包括：
对多条时空数据中每条时空数据的经纬度信息进行编码，得到每条时空数据对应的第一编码数据；
为每条时空数据对应的第一编码数据添加时间戳信息，得到每条时空数据对应的第二编码数据；
对所述多条时空数据对应的所有第二编码数据进行排序，并根据排序结果生成多个第一存储文件；
在未合并的所述第一存储文件的数量达到指定个数时，将所述未合并的所述第一存储文件合并为一个第二存储文件；
对每个所述第二存储文件中的所有第二编码数据进行重新排序。


2.根据权利要求1所述的方法，其特征在于，所述对多条时空数据中每条时空数据的经纬度信息进行编码，得到每条时空数据对应的第一编码数据，包括：
将多条时空数据中的每条时空数据的经纬度信息映射为小区号，并对所述小区号进行编码，得到所述时空数据的第一编码数据。


3.根据权利要求1所述的方法，其特征在于，所述对所述多条时空数据对应的所有第二编码数据进行排序，并根据排序结果生成多个第一存储文件，包括：
对所述多条时空数据对应的所有第二编码数据进行排序，并根据排序结果以及预设的字节长度，对所述多条时空数据对应的所有第二编码数据进行打包，得到所述多条时空数据对应的多个第一存储文件。


4.根据权利要求3所述的方法，其特征在于，所述对所述多条时空数据对应的所有第二编码数据进行排序，并根据排序结果以及预设的字节长度，对所述多条时空数据对应的所有第二编码数据进行打包，得到所述多条时空数据对应的多个第一存储文件，包括：
将所述多条时空数据对应的所有第二编码数据写入跳跃表；
每当所述跳跃表中的第二编码数据达到预设的字节长度时，将所述跳跃表中的第二编码数据打包生成一个所述第一存储文件，以得到所述多条时空数据对应的多个第一存储文件。


5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取查询指令，所述查询指令中包括目标经纬度；
通过布隆过滤器判断多个第二存储文件中是否存在所述目标经纬度对应的目标编码数据；
当通过所述布隆过滤器判定所述多个第二存储文件中存在所述目标经纬度对应的目标编码数据时，从所...

【专利技术属性】
技术研发人员：王炎辉，
申请(专利权)人：北京明略软件系统有限公司，
类型：发明
国别省市：北京;11