一种大规模GIS数据分布式处理的方法和系统技术方案

本发明专利技术公开了一种大规模GIS数据分布式处理的方法和系统，包括处理器，所述处理器的输入端单向电性连接有输入模块，所述处理器的输出端单向电性连接有计算分析模块，所述处理器的输出端单向电性连接有数据集转换模块。本发明专利技术通过使用该系统对百万级地类图斑数据进行处理发布后，数据查询服务能够秒级内返回结果，提升响应效率，同时也提供百万级数据的空间分析能力，具体查询时间在200毫秒左右，大范围空间数据出图在2秒内，基于分布式存储与内存计算，满足海量数据对于高效计算与并发访问的要求，扩展弹性分布式空间数据集，具有空间SQL查询分析能力，低内存消耗，相比与其它基于Spark的空间数据框架，内存消耗减少50%以上。内存消耗减少50%以上。内存消耗减少50%以上。

【技术实现步骤摘要】
一种大规模GIS数据分布式处理的方法和系统


[0001]本专利技术涉及GIS系统
，具体为一种大规模GIS数据分布式处理的方法和系统。

技术介绍

[0002]传统GIS系统对海量空间数据的管理能力弱，计算处理反应慢、周期长的，为了实现快速的运算和管理，继续推出一种可以显著提高大规模空间数据的计算效率，实现秒级响应，快速计算得到数据统计分析结果，且能够并提供OGC标准的服务接口，便于对空间数据处理的二次开发的系统。

技术实现思路

[0003]本专利技术的目的在于提供一种大规模GIS数据分布式处理的方法和系统，具备高效的优点，解决了传统GIS系统对海量空间数据的管理能力弱，计算处理反应慢、周期长的问题。
[0004]为实现上述目的，本专利技术提供如下技术方案：一种大规模GIS数据分布式处理的方法和系统，包括处理器，所述处理器的输入端单向电性连接有输入模块，所述处理器的输出端单向电性连接有计算分析模块，所述处理器的输出端单向电性连接有数据集转换模块，所述数据集转换模块的输出端单向电性连接有数据集发布模块，所述处理器的输出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大规模GIS数据分布式处理的方法和系统，包括处理器，其特征在于：所述处理器的输入端单向电性连接有输入模块，所述处理器的输出端单向电性连接有计算分析模块，所述处理器的输出端单向电性连接有数据集转换模块，所述数据集转换模块的输出端单向电性连接有数据集发布模块，所述处理器的输出端单向电性连接有数据管理模块，所述处理器包括存储、索引创建、分布式数据集和计算处理。2.根据权利要求1所述的一种大规模GIS数据分布式处理的方法和系统，其特征在于：所述存储是分布式存储，分布式文件系统是一个高度容错性的系统，适合部署在廉价的机器上，能提供高吞吐量的数据访问，适合超大数据集的应用，根据分布式存储的特点，将SHP或GDB格式的矢量数据转化为易于分块的CSV文件格式，把空间信息存储到WKB字符串中，存储分块大小设置为64MB，通过hdfs提供的接口将CSV格式的矢量数据上传到分布式存储系统中。3.根据权利要求1所述的一种大规模GIS数据分布式处理的方法和系统，其特征在于：所述索引创建依赖于分布式文件系统，将传统的GIS数据文件分解到分布式文件系统中，并在此基础上，构建基于分布式的空间数据索引，对于所有录入到系统的空间数据都有数据元表进行描述，在数据元表中对数据都进行了标识，每个独立的空间数据都有空间索引数据加速空间数据的查询以及分析，空间数据的索引是多级索引的方式，采用分布式集群索引的方式，根据数据的类型、数据量以及操作模式构建不同的空间数据索引集群，空间数据索引集群是一个逻辑控制节点，其记录了此集群中数据存储的节点信息，数据的类型，数据的分布情况，数据的元数据信息等。4.根据权利要求1所述的一种大规模GIS数据分布式处理的方法和系统，其特征在于：所述分布式数据集是使用Apache Sedona大规...

【专利技术属性】
技术研发人员：胡剑锋，岳燕，
申请(专利权)人：上海飞未信息技术有限公司，
类型：发明
国别省市：