一种海量国土空间矢量数据管理方法及系统技术方案

本发明专利技术涉及一种海量国土空间矢量数据管理方法及系统，方法包括：将待存储的国土空间数据进行识别处理，得到空间数据和矢量数据，并建立所述空间数据与矢量数据之间的第一映射关联关系；将所述空间数据和所述矢量数据分离存储，所述空间数据存储至空间数据库，所述矢量数据存储至属性数据库。具有可有效减少国土空间数据处理中数据库中表对象的数量，降低数据库运维管理难度等优点。数据库运维管理难度等优点。数据库运维管理难度等优点。

【技术实现步骤摘要】
一种海量国土空间矢量数据管理方法及系统


[0001]本专利技术涉及国土空间数据处理领域，尤其涉及一种海量国土空间矢量数据管理方法及系统。

技术介绍

[0002]在国土空间数据处理中，数据来源种类多(如：shp、gdb、GeoJSON等)，数据处理量非常大。如图1所示，国土空间数据一般可分为矢量数据、栅格数据和三维数据，其中，矢量数据又包含空间数据和属性数据。现有技术中对国土空间数据的处理中，主要依赖ArcGIS或SuperMap等外部软件，基于人工操作进行数据导入管理，并采用关系数据库进行存储，一般是直接采用关系数据库提供的几何字段类型将矢量数据统一存储在关系数据库中，矢量数据中空间数据和属性数据都同时存在空间数据库中。当采用这种处理模式时，如果矢量数据中包含大量的地理目标，利用关系数据库存储时形成的表数量会极度膨胀，如导入的文件中包含有多个图层时(如GDB数据文件)，会在空间数据库中产生多个数据表，每个数据表对应一个图层，因此，极易造成空间数据库表数量的膨胀，严重增加数据库管理员的运维管理难度，而且，受关系型数据库的索引检索机制的限制，在进行矢量数据的存储和查询时，非常费时，并影响效率，不利于系统的查询和维护。
[0003]并且，在传统的空间数据库中，单一的存储方式不能满足大数据高并发甚至高时效的应用要求。在互联网应用场景中，采用文档数据库来解决数据列的动态扩展问题已经得到了应用，但在空间数据存储，查询尤其还是空间分析上性能尚比较弱，不足以支撑高性能的复杂空间分析。传统关系型数据库和文档数据库都需要基于索引来进行查询加速，而这两种模式的索引建立模型依赖于固定的数据列，对于动态列支持能力差，不适合在大数据场景中对国土空间的矢量数据进行数据挖掘及海量属性信息的高效检索。

技术实现思路

[0004]本专利技术要解决的技术问题就在于：针对现有技术存在的技术问题，本专利技术提供一种可有效减少国土空间矢量数据处理中数据库中表对象的数量，降低数据库运维管理难度的海量国土空间矢量数据管理方法及系统。
[0005]为解决上述技术问题，本专利技术提出的技术方案为：一种海量国土空间矢量数据管理方法，将待存储的国土空间矢量数据进行识别处理，得到空间数据和属性数据，并建立所述空间数据与属性数据之间的第一映射关联关系；将所述空间数据和所述属性数据分离存储，所述空间数据存储至空间数据库，所述属性数据存储至属性数据库。
[0006]进一步地，在所述识别处理中，包括：将待存储的国土空间矢量数据识别，得到空间数据和属性数据；对所述空间数据进行格式转换，得到具有统一格式类型的空间数据；将所述属性数据进行解析为属性列表数据和属性列元数据，并建立所述属性列表数据和所述属性列元数据之间的第二映射关联关系。
[0007]进一步地，还包括将所述属性列表数据和所述属性列元数据进行键值分离存储。
[0008]进一步地，还包括将所述属性列表数据进行序列化处理，并将序列化处理后的属性列表数据接入搜索引擎。
[0009]进一步地，还包括：对所述空间数据进行检索，并根据所述第一映射关联关系得到对应的属性数据；
[0010]或者：
[0011]对所述属性列表数据进行检索，并根据所述第一映射关联关系得到对应的空间数据，根据所述第二映射关联关系得到对应的属性列元数据。
[0012]一种海量国土空间矢量数据管理系统，包括数据存储模块：用于将待存储的国土空间矢量数据进行识别处理，得到空间数据和属性数据，并建立所述空间数据与属性数据之间的第一映射关联关系；将所述空间数据和所述属性数据分离存储，所述空间数据存储至空间数据库，所述属性数据存储至属性数据库。
[0013]进一步地，在所述数据存储模块的识别处理中，包括：将待存储的国土空间矢量数据识别，得到空间数据和属性数据；对所述空间数据进行格式转换，得到具有统一格式类型的空间数据；将所述属性数据进行解析为属性列表数据和属性列元数据，并建立所述属性列表数据和所述属性列元数据之间的第二映射关联关系。
[0014]进一步地，还包括将所述属性列表数据和所述属性列元数据进行键值分离存储。
[0015]进一步地，还包括将所述属性列表数据进行序列化处理，并将序列化处理后的属性列表数据接入搜索引擎。
[0016]进一步地，还包括数据检索模块：用于对所述空间数据进行检索，并根据所述第一映射关联关系得到对应的属性数据；
[0017]或者：
[0018]对所述属性列表数据进行检索，并根据所述第一映射关联关系得到对应的空间数据，根据所述第二映射关联关系得到对应的属性列元数据。
[0019]与现有技术相比，本专利技术的优点在于：
[0020]1、本专利技术通过将国土空间数据识别解析为空间数据和属性数据，将空间数据和属性数据进行分离存储，可以有效降低数据库中表对象的数量，降低数据库的复杂度，同时也降低了空间数据库的运维管理难度。
[0021]2、本专利技术在将空间数据和属性数据进行分离存储的同时，建立空间数据与属性数据之间的映射关联关系，可以方便的实现基于空间数据或属性数据其中之一查询检索并通过映射关联关系查询到对应的属性数据或空间数据；既可以充分利用空间数据库的空间分析与处理能力，大幅提高空间数据库属性信息的查询性能，又可以充分利用属性数据序列化后接入搜索引擎的搜索处理能力，提高对矢量数据的查询性能、以及对矢量数据的挖掘处理能力。
[0022]3、本专利技术通过将空间数据与属性数据分享，并将属性数据存储到采用文档型数据库的属性数据库中，从而解决了空间属性表中属性字段的动态管理功能，解决了关系型数据库中需要固化数据列的问题。
附图说明
[0023]图1为国土空间数据组成类型示意图。
[0024]图2为本专利技术具体实施例的流程示意图。
[0025]图3为本专利技术具体实施例的矢量数据对象构成示意图。
[0026]图4为本专利技术具体实施例的数据检索流程示意图。
具体实施方式
[0027]以下结合说明书附图和具体优选的实施例对本专利技术作进一步描述，但并不因此而限制本专利技术的保护范围。
[0028]本实施例中，如图2所示，一种海量国土空间矢量数据管理方法，将待存储的国土空间矢量数据进行识别处理，得到空间数据和属性数据，并建立空间数据与属性数据之间的第一映射关联关系；将空间数据和属性数据分离存储，空间数据存储至空间数据库，矢量数据存储至属性数据库。在本实施例中，空间数据库采用关系型数据库，属性数据库采用文档型数据库。国土空间数据的格式、规范多样，如GDB、Shapfile、GeoJSON等等，并且文件数据量大，单个文件通常超过GB字节，具有时空信息数据多而杂的特性。
[0029]在本实施例的识别处理中，包括：将待存储的国土空间矢量数据识别，得到空间数据和属性数据；对空间数据进行格式转换，得到具有统一格式类型的空间数据；将属性数据进行解析为属性列表数据和属性列元数据，并建立属性列表数据和属性列元数据之间的第二映射关联关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种海量国土空间矢量数据管理方法，其特征在于：将待存储的国土空间矢量数据进行识别处理，得到空间数据和属性数据，并建立所述空间数据与属性数据之间的第一映射关联关系；将所述空间数据和所述属性数据分离存储，所述空间数据存储至空间数据库，所述属性数据存储至属性数据库。2.根据权利要求1所述的海量国土空间矢量数据管理方法，其特征在于：在所述识别处理中，包括：将待存储的国土空间矢量数据识别，得到空间数据和属性数据；对所述空间数据进行格式转换，得到具有统一格式类型的空间数据；将所述属性数据进行解析为属性列表数据和属性列元数据，并建立所述属性列表数据和所述属性列元数据之间的第二映射关联关系。3.根据权利要求2所述的海量国土空间矢量数据管理方法，其特征在于：还包括将所述属性列表数据和所述属性列元数据进行键值分离存储。4.根据权利要求3所述的海量国土空间矢量数据管理方法，其特征在于：还包括将所述属性列表数据进行序列化处理，并将序列化处理后的属性列表数据接入搜索引擎。5.根据权利要求4所述的海量国土空间矢量数据管理方法，其特征在于：还包括：对所述空间数据进行检索，并根据所述第一映射关联关系得到对应的属性数据；或者：对所述属性列表数据进行检索，并根据所述第一映射关联关系得到对应的空间数据，根据所述第二映射关联关系得到对应的属性列元数据。6.一种海量国土空间矢量数据管理系...

【专利技术属性】
技术研发人员：吴祖湖，文宁，秦晓莉，范琰，朱莉莉，黄锦凤，李倩，李艳华，钟赣南，周宇阳，李珺，
申请(专利权)人：湖南省国土资源规划院，
类型：发明
国别省市：