基于分布式表格存储高精度地图数据的方法及其相关设备技术

本发明专利技术公开了一种基于分布式表格存储高精度地图数据的方法及其相关设备。其中方法包括：获取待存储的高精度地图数据；确定高精度地图数据所对应的业务逻辑需求；根据业务逻辑需求和高精度地图数据，建立对应的数据表格；按照业务逻辑需求，将对应的数据表格中的数据进行分布式存储。该方法可以提供存储可靠性，对数据管理更加精细化，并且根据业务逻辑来实现对高精度地图数据的对应存储，以便数据访问时可快速索引下载到某个区域图幅的数据，提高数据读取效率。数据读取效率。数据读取效率。

【技术实现步骤摘要】
基于分布式表格存储高精度地图数据的方法及其相关设备
[0001]本申请为申请号201910523533.0、申请日2019年6月17日、专利技术名称“基于分布式表格存储高精度地图数据的方法及其相关设备”的分案申请。


[0002]本专利技术涉及地图数据处理
，尤其涉及一种基于分布式表格存储高精度地图数据的方法、装置、计算机设备和存储介质。

技术介绍

[0003]高精度地图数据较传统地图数据要素更加精细化，相应的数据量也会非常大。数据量大包括两个方面：一是数据的存储容量大，目前存储集群容量占用已经达到PB(PetaByte，千兆字节)级，后续随着全国构网、城市道路生产推进后还会有数倍级的容量需求。二是数据条数量级很大，精细粒度的数据元素非常多，一个较大图幅轻松达到百万级元素。
[0004]相关技术中，地图数据通常采用以下三种存储方式：第一种方式，使用NFS(Network File System，网络文件系统)文件共享存储，将每个图幅数据按照单文件的方式进行存储；第二种方式，使用PG(PostgreSQL，数据库服务器)数据库等关系型数据库进行存储，将高精度地图数据按维度存储到关系表中，并依赖数据库的索引实现高效读取；第三种方式，使用公司级的分布式文件存储系统AFS，其中，AFS是一种平台化管理的大规模分布式存储，支持多种跨语言的API(Application Programming Interface，应用程序编程接口)，提供较完整的POSIX(Portable Operating System Interface of UNIX，可移植操作系统接口)语义。
[0005]但是，上述三种存储方式对高精度地图这么大量级数据的存储，有着明显缺点：第一种方式，NFS是通用的文件共享协议，但可靠性并不高，对网络环境要求较苛刻，特别是在跨局域网时维护较难，同时整个文件托管的方式粒度太粗，对业务逻辑有局限性；第二种方式，使用PG库等进行存储，高精度地图的精细元素特别多，导致关系库里条目会很庞大，索引也非常大，性能会随着数据量增加而降低；第三种方式，使用AFS是一种支持大规模存储的分布式文件存储，所有数据记录在文件中，但需要在业务层记录大量的索引信息，以便定位数据所在的文件路径、offset(文件开头位置)及size(读取内容的总长)；另外，多请求并发写入不能保证数据安全，并且append(数据追加)的数据写入方式不适合业务逻辑的扩展，导致业务逻辑复杂。

技术实现思路

[0006]本专利技术的目的旨在至少在一定程度上解决上述的技术问题之一。
[0007]为此，本专利技术的第一个目的在于提出一种基于分布式表格存储高精度地图数据的方法。该方法可以提供存储可靠性，对数据管理更加精细化，并且根据业务逻辑来实现对高精度地图数据的对应存储，以便数据访问时可快速索引下载到某个区域图幅的数据，提高
数据读取效率。
[0008]本专利技术的第二个目的在于提出一种基于分布式表格存储高精度地图数据的装置。
[0009]本专利技术的第三个目的在于提出一种计算机设备。
[0010]本专利技术的第四个目的在于提出一种计算机可读存储介质。
[0011]为达到上述目的，本专利技术第一方面实施例提出的基于分布式表格存储高精度地图数据的方法，包括：获取待存储的高精度地图数据；确定所述高精度地图数据所对应的业务逻辑需求；根据所述业务逻辑需求和所述高精度地图数据，建立对应的数据表格，包括：当所述业务逻辑需求为直接读取特定记录的方式时，根据所述业务逻辑需求，确定待建立表格的表格类型；根据所述表格类型和预先设定的规则，生成所述待建立表格中的行键；将所述高精度地图数据作为所述行键的数值，以建立所述对应的数据表格；按照所述业务逻辑需求，将所述对应的数据表格中的数据进行分布式存储。
[0012]本专利技术实施例的基于分布式表格存储高精度地图数据的方法，可获取待存储的高精度地图数据，并确定高精度地图数据所对应的业务逻辑需求，根据该业务逻辑需求和高精度地图数据，建立对应的数据表格，并按照业务逻辑需求，将对应的数据表格中的数据进行分布式存储。即通过采用分布式表格系统对高精度地图数据进行存储，提高了可靠性，并对数据管理更加精细化；另外，能够做到根据业务逻辑来实现对高精度地图数据的对应存储，以便数据访问时可快速索引下载到某个区域图幅的数据，提高数据读取效率，且平滑扩容、调整集群大小，并且，上层服务业务逻辑简单，可以使得整体架构分层解耦。
[0013]为达到上述目的，本专利技术第二方面实施例提出的基于分布式表格存储高精度地图数据的装置，包括：获取模块，用于获取待存储的高精度地图数据；需求确定模块，用于确定所述高精度地图数据所对应的业务逻辑需求；表格建立模块，用于根据所述业务逻辑需求和所述高精度地图数据，建立对应的数据表格，还用于，当所述业务逻辑需求为直接读取特定记录的方式时，根据所述业务逻辑需求，确定待建立表格的表格类型；根据所述表格类型和预先设定的规则，生成所述待建立表格中的行键；将所述高精度地图数据作为所述行键的数值，以建立所述对应的数据表格；存储模块，用于按照所述业务逻辑需求，将所述对应的数据表格中的数据进行分布式存储。
[0014]本专利技术实施例的基于分布式表格存储高精度地图数据的装置，可通过获取模块获取待存储的高精度地图数据，需求确定模块确定高精度地图数据所对应的业务逻辑需求，表格建立模块根据该业务逻辑需求和高精度地图数据，建立对应的数据表格，存储模块按照业务逻辑需求，将对应的数据表格中的数据进行分布式存储。即通过采用分布式表格系统对高精度地图数据进行存储，提高了可靠性，并对数据管理更加精细化；另外，能够做到根据业务逻辑来实现对高精度地图数据的对应存储，以便数据访问时可快速索引下载到某个区域图幅的数据，提高数据读取效率，且平滑扩容、调整集群大小，并且，上层服务业务逻辑简单，可以使得整体架构分层解耦。
[0015]为达到上述目的，本专利技术第三方面实施例提出的计算机设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时，实现本专利技术第一方面实施例所述的基于分布式表格存储高精度地图数据的方法。
[0016]为达到上述目的，本专利技术第四方面实施例提出的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本专利技术第一方面实施例所述的基于分
布式表格存储高精度地图数据的方法。
[0017]本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0018]本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0019]图1是根据本专利技术一个实施例的基于分布式表格存储高精度地图数据的方法的流程图；
[0020]图2是根据本专利技术实施例的基于分布式表格存储高精度地图数据的方法的示例图一；
[0021]图3是根据本专利技术一个具体实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式表格存储高精度地图数据的方法，其特征在于，包括：获取待存储的高精度地图数据；确定所述高精度地图数据所对应的业务逻辑需求；根据所述业务逻辑需求和所述高精度地图数据，建立对应的数据表格，包括：当所述业务逻辑需求为直接读取特定记录的方式时，根据所述业务逻辑需求，确定待建立表格的表格类型；根据所述表格类型和预先设定的规则，生成所述待建立表格中的行键；将所述高精度地图数据作为所述行键的数值，以建立所述对应的数据表格；按照所述业务逻辑需求，将所述对应的数据表格中的数据进行分布式存储。2.根据权利要求1所述的方法，其特征在于，所述表格类型为哈希序表类。3.根据权利要求2所述的方法，其特征在于，所述按照所述业务逻辑需求，将所述对应的数据表格中的数据进行分布式存储，包括：计算所述对应的数据表格中的行键所对应的哈希值；基于所述行键所对应的哈希值，将所述行键所对应的数据分布式存储至对应节点。4.一种基于分布式表格存储高精度地图数据的装置，其特征在于，包括：获取模块，用于获取待存储的高精度地图数据；需求确定模块，用于确定所述高精度地图数据所对应的业务逻辑需求；表格建立模块，用于根据所述业...

【专利技术属性】
技术研发人员：王方伟，张振理，罗盼，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：