基于GeoSOT网格算力的组织模型构建方法及空时数据存储方法技术

本发明专利技术提供了一种基于GeoSOT网格算力的组织模型构建方法及空时数据存储方法。其中，基于GeoSOT网格算力的组织模型构建方法，包括：确定GeoSOT网格的划分层级；基于所述划分层级分配服务器架构，服务器架构中相邻层集群服务器的关联关系与GeoSOT网格的划分的网格关联关系相对应；基于服务器架构构建GeoSOT网格算力的组织模型。通过基于定GeoSOT网格的划分层级相应的分配服务器架构，通过GeoSOT网格对数据进行统一计算，避免数据的离散化，从而达到提高计算效率的目的。达到提高计算效率的目的。达到提高计算效率的目的。

【技术实现步骤摘要】
基于GeoSOT网格算力的组织模型构建方法及空时数据存储方法


[0001]本专利技术属于空域网格
，尤其是涉及一种基于GeoSOT网格算力的组织模型构建方法及空时数据存储方法。

技术介绍

[0002]数据本地化存储任务旨在以空间特性为原则，在空间上分布在相同或相近的数据存储在相同或相近的存储设备上。基于空时服务器架构，需要将数据进行区域化切分，根据数据空间特性选择相应存储器进行存储和管理。其中根据数据区域特性进行分区是数据本地化存储的关键环节，区域特性的抽象决定了数据的寻址、管理和提取效率。
[0003]在现有技术中，1)Google Earth与Google Maps在线空间数据组织管理技术，Google Earth、Google Map将多源空间数据组织于不同的层级上，在其数据存储上通过分块数据进行分布式存储，在空时自相关性引出的数据局部化存储上并没有做出相应设计。因此，空间数据的组织管理需要根据空间数据的空间特性建立相应的数据本地化存储模型。2)基于分布式框架的空间大数据管理技术，Hadoop中map
‑
reduce计算模型适用于批处理任务，即在可接受的时间内对整个数据集计算某个特定的查询的结果，该计算模型不适合需要实时反映数据变化状态的计算环境，并且map
‑
reduce计算模型适合处理半结构或非结构化的数据，对于空间结构化数据并不适合，需要依赖GIS数据管理工具进行分析。同时，Hadoop在处理超大规模时空数据任务时数据行间没有地学逻辑和语义关联，难以按照空间区域进行数据本地化组织。3)SuperMap GIS空间数据管理技术，SuperMap提出了一种分布式层次集群方法和系统，而此架构并没有涉及到算力的空间特性。多层次集群架构与空间特性相结合的数据存储与管理技术仍是目前研究趋势。
[0004]与普适大数据不同，时空大数据作为地理科学领域的特殊数据形式，遵循以下两项空间原则：
[0005](1)空间自相关性。空间自相关又称空间依赖性，是地理学第一定律的表达，指的是空间样本(变量)间的相互依赖特性；对比于相关性，“自”特指单类样本间的相关性。空间自相关统计量是用于度量地理数据(geographic data)的一个基本性质：某位置上的数据与其他位置上的数据间的相互依赖程度。地理数据由于受空间相互作用和空间扩散的影响，彼此之间可能不再相互独立，而是相关的。所谓的空间自相关(spatial autocorrelation)就是研究空间中，某空间单元与其周围单元间，就某种特征值，透过统计方法，进行空间自相关性程度的计算，以分析这些空间单元在空间上分布现象的特性。可采用全局和局部自相关指数来衡量空间要素属性值聚合或离散的程度。不同的自相关系数适用于不同的数据类型。空间权重是进行空间自相关分析的前提和基础。
[0006]地理学第一定律指出：任何东西与别的东西之间都是相关的，但近处的东西比远处的东西相关性更强，空间自相关性对地理数据服务器的系统部署提出了要求。首先是数据存储的位置，空间数据的访问和分析往往是基于一个特定的空间范围，而现有的很多大
数据平台(如Hadoop)使用无共享存储架构，以数据块的形式组织，在地理科学数据处理中需要通过网络传输大量数据，在服务和客户端之间影响着数据的响应效率。在分布式数据计算中，数据的局部性能够减少数据的移动(网络传输或者IO)，但对于传统的共享磁盘系统架构并不明显。其次，在超大规模时空数据处理任务背景下，需要大量算力在全球角度分散部署，如Geoweb的cell server组织方式为例，其思路就是为网格区域分配相应服务器，相较于“地球模拟器”为网格区域分配线程的设计，做到了数据的地理局部汇聚，本方案考虑了相似的设计思路。
[0007](2)空间异质性
‑
地理学第二定律。空间异质性指的是生态学过程和格局在空间分布上的不均匀性及其复杂性，可以理解为空间缀块性和梯度的总和。地理学广义的空间异质性指的是空间样本格局分布和演化过程在空间上的不均匀(质)性。事物在地理空间上的隔离，造成了差异(即异质性)，在地理数据分析领域中，直观的现象是不同地区数据量、数据复杂度、查询访问频率的不同，在算力“平均分配”的策略下(如对阴阳格子分配一个线程来并发处理)很难达到任务的处理时间均衡，从而在一定程度上制约计算效率。
[0008]现有的地理数据系统在算力分配策略中，很少考虑到以空间异质性原则的算力分配问题。大多数普适性大数据处理平台通过以数据量为主导的负载平衡机制来解决数据的均衡并发度，因此基于此定律，在算力网格化组织的基础上，还需要针对每个区域的数据需求，提供区域可扩展的能力。
[0009]针对时空大数据的高性能计算任务，当前时空大数据的存储和管理存在以下问题：
[0010](1)缺少空间自相关性指导的本地化数据存储方法，即需要根据空间数据的空间特性建立相应的数据本地化存储模型。现有技术中，时空数据以离散切分的形式存储于分布式系统中。现有技术实现了数据的空间近邻存储，然而没有做到数据的本地化。在超大规模时空数据处理周期中，数据的离散化会带来大量的数据IO和网络传输，从而制约计算效率。
[0011](2)现有技术未考虑空间异质性带来的资源分配问题。例如相同面积地理区域中，不同的数据量、结构和复杂度等等所需的存储配置差异性大。

技术实现思路

[0012]针对现有技术中存在的问题，本专利技术提供了一种基于GeoSOT网格算力的组织模型构建方法及空时数据存储方法，至少部分的解决现有技术中存在的数据离散化造成计算效率低和空间异质性造成存储资源分配不便的问题。
[0013]第一方面，本公开实施例提供了一种基于GeoSOT网格算力的组织模型构建方法，包括：
[0014]确定GeoSOT网格的划分层级；
[0015]基于所述划分层级分配服务器架构，服务器架构中相邻层集群服务器的关联关系与GeoSOT网格的划分的网格关联关系相对应；
[0016]基于服务器架构构建GeoSOT网格算力的组织模型。
[0017]可选的，所述服务器架构包括全球根服务器和空时网格服务器，
[0018]所述空时网格服务器包括多个一级空时网格服务器；
[0019]多个一级空时网格服务器即对地球空间进行等分，每个一级空时网格服务器对应等分的地球；
[0020]多个一级空时网格服务器与全球根服务器网络通信。
[0021]可选的，所述全球根服务器负责整个服务器架构的管理和维护，所述全球根服务器包括网格服务器GeoIP地址管理模块；
[0022]网格服务器GeoIP地址管理模块，用于通过GeoSOT编码管理每个空时网格服务器，基于边缘计算管理框架，建立GeoSOT编码和空时网格服务器I P的映射表，并通过设备码解析得到空时网格服务器对应的真实空间位置，支持数据和空间访问请求的快速寻址和定位。
[0023]可选的，网格服务器GeoIP地址管理模块，提供每个空时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于GeoSOT网格算力的组织模型构建方法，其特征在于，包括：确定GeoSOT网格的划分层级；基于所述划分层级分配服务器架构，服务器架构中相邻层集群服务器的关联关系与GeoSOT网格的划分的网格关联关系相对应；基于服务器架构构建GeoSOT网格算力的组织模型。2.根据权利要求1所述的基于GeoSOT网格算力的组织模型构建方法，其特征在于，所述服务器架构包括全球根服务器和空时网格服务器，所述空时网格服务器包括多个一级空时网格服务器；多个一级空时网格服务器即对地球空间进行等分，每个一级空时网格服务器对应等分的地球；多个一级空时网格服务器与全球根服务器网络通信。3.根据权利要求2所述的基于GeoSOT网格算力的组织模型构建方法，其特征在于，所述全球根服务器负责整个服务器架构的管理和维护，所述全球根服务器包括网格服务器GeoIP地址管理模块；网格服务器GeoIP地址管理模块，用于通过GeoSOT编码管理每个空时网格服务器，基于边缘计算管理框架，建立GeoSOT编码和空时网格服务器IP的映射表，并通过设备码解析得到空时网格服务器对应的真实空间位置，支持数据和空间访问请求的快速寻址和定位。4.根据权利要求3所述的基于GeoSOT网格算力的组织模型构建方法，其特征在于，网格服务器GeoIP地址管理模块，提供每个空时网格服务器的IP地址、主机名称、由GeoSOT网格编码解析后的经纬度范围和由GeoSOT网格编码解析后的代表区...

【专利技术属性】
技术研发人员：刘杰，任伏虎，王强宇，伍学民，
申请(专利权)人：北斗伏羲中科数码合肥有限公司，
类型：发明
国别省市：