基于北斗网格技术的空间大数据存储与管理方法技术

本发明专利技术公开了一种基于北斗网格技术的空间大数据存储与管理方法，包括如下步骤：构建数据剖分存储模型；基于北斗网格技术的空间大数据多维度深度关联；构建基于北斗网格技术的空间大数据搜索引擎；基于北斗网格技术的空间大数据代数计算；基于数字地球的空间大数据可视化处理。本申请所述方法采用数据剖分存储模型和搜索引擎技术，可以实现更快速、更准确的数据存储和查询。采用多维度深度关联技术和代数计算技术，可以进行更复杂的数据分析和运算。采用可视化技术，可以将数据结果转化为图形化或图像化的展示方式，使数据更加直观、易懂、易于表达和交流。易于表达和交流。易于表达和交流。

【技术实现步骤摘要】
基于北斗网格技术的空间大数据存储与管理方法


[0001]本专利技术涉及数据存储方法
，尤其涉及一种基于北斗网格技术的空间大数据存储与管理方法。

技术介绍

[0002]随着卫星遥感技术、空间探测技术、导航定位技术等技术的发展，在地球科学、气象、农业等领域产生了越来越多的空间大数据。然而，传统的数据存储技术和查询技术已经不能满足空间大数据的存储和管理需求。具体而言，空间大数据的存储量大、格式复杂、存储方式多样，导致数据存储效率低下且费时费力；传统的查询技术不能满足对空间大数据的深度关联和智能查询需求，数据查询效率也较低。因此，开发一种高效的空间大数据存储和查询技术成为了一个紧迫的需求。

技术实现思路

[0003]本专利技术所要解决的技术问题是如何提供一种具有较高的存储能力、查询效率和分析能力的基于北斗网格技术的空间大数据存储与管理方法。
[0004]为解决上述技术问题，本专利技术所采取的技术方案是：一种基于北斗网格技术的空间大数据存储与管理方法，包括如下步骤：
[0005]构建数据剖分存储模型；
[0006]基于北斗网格技术的空间大数据多维度深度关联；
[0007]构建基于北斗网格技术的空间大数据搜索引擎；
[0008]基于北斗网格技术的空间大数据代数计算；
[0009]基于数字地球的空间大数据可视化处理。
[0010]进一步的技术方案在于，构建数据剖分存储模型的方法包括如下步骤：
[0011]数据剖分存储模型数学描述；
[0012]数据剖分存储对象网格划分；
[0013]数据剖分存储对象聚类；
[0014]剖分存储设备聚类分布。
[0015]进一步的技术方案在于，数据剖分存储模型的数学描述如下所示：
[0016][0017]其中：M:Go(Code,nL,h,nT)
→
Vp(x
i
),i∈n表示地理空间向物理存储空间的映射；
采用GeoSOT剖分框架对地理空间进行剖分，G0代表GeoSOT剖分地理空间，Code是剖分网格的编码，nL代表剖分的层级，h代表对应地理空间范围上数据范围的热度，nT代表该剖分面片上数据量的大小；V
p
代表物理存储空间，x
i
代表剖分存储对象，是剖分面片范围内所有数据以及数据存储属性和操作的集合；M代表映射建立映射关系，根据剖分网格、层级、访问热度和数量，以及剖分存储对象负载平衡原则，将数据按照网格进行划分，将划分后的数据聚集成剖分存储系统中的对象；
[0018]代表剖分存储对象的聚类方法，依据是剖分存储对象在空间上的度量关系，以最大最小距离将相近的剖分存储对象聚集成簇；从而将空间上有较强的邻近关系的数据聚集起来，是剖分存储对象在存储设备的分布算法的基础，μ
i
表示目标元素编码；x
j
表示邻近元素编码；s
i
表示邻近元素集合；
[0019]代表剖分存储对象在存储设备的分布方法，w
i
表示每个编码对应的数据所占空间大小，i表示编码数，j表示层级数，w
k
表示各层级数据所占空间总大小。
[0020]进一步的技术方案在于，所述数据剖分储存对象网格划分包括如下步骤：
[0021]首先要获得数据在空间上的分布情况，主要是在剖分地理空间上数据量、数据种类以及其他属性信息的分布；其次，综合以上数据在地理空间分布情况，以剖分网格为基准，按照负载均衡的要求，设定剖分网格的层级；然后，以数据集合的最小外包剖分网格编码作为该数据集的标识；最后，将各个数据集以及其属性信息按照对象存储方法，整合成剖分存储对象。
[0022]进一步的技术方案在于，数据剖分存储对象聚类的方法中：
[0023]首先将对象访问相关性映射到剖分存储对象距离度量空间上，将对象之间访问的相关性量化，将两个对象在数据访问的相关度转换成空间上的距离大小，相关度较大的两个对象，距离相对较近，而反之则远；将剖分存储对象的平均距离和对象将访问的平均相关度进行映射，对象间的平均距离为L
avr
，对象访问平均相关度为V
avr
，设λ为两者的映射系数，因此λ＝L
avr
/V
avr
；设置访问相关度影响权值k，λ*k*V
avr
为对象访问相关度在剖分地理空间上的距离。
[0024]进一步的技术方案在于，部分存储设备聚类分布的处理过程中：
[0025]按照设备的容量、带宽以及性能在系统中的相关性，将存储相关度高的存储设备放在一个集群内；将海量数据存储系统分成层次形成多个局部的集群，每个集群映射到一族剖分存储对象，使用不同的分布算法在集群内部存储，按照剖分存储对象的变化，批量的增加和删除剖分存储设备，简化存储设备的管理。
[0026]采用上述技术方案所产生的有益效果在于：本申请所述方法采用数据剖分存储模型和搜索引擎技术，可以实现更快速、更准确的数据存储和查询，节省了数据处理和分析时间。采用多维度深度关联技术和代数计算技术，可以进行更复杂的数据分析和运算，结果更全面、更准确。采用可视化技术，可以将数据结果转化为图形化或图像化的展示方式，使数据更加直观、易懂、易于表达和交流。因此，本申请所述方法具有数据处理和查询速度快、结果准确全面、可视化展示直观清晰等优点。
附图说明
[0027]下面结合附图和具体实施方式对本专利技术作进一步详细的说明。
[0028]图1是本专利技术实施例所述方法的流程图；
[0029]图2是本专利技术实施例所述方法中对象在剖分地理空间上的度量图；
[0030]图3是本专利技术实施例所述方法中基于时空编码的数据搜索引擎技术原理示意图；
[0031]图4是本专利技术实施例中六个网格关系图；
[0032]图5是本专利技术实施例中GIN网格索引示例图；
[0033]图6是本专利技术实施例中GIN的叶子结点的数据结构图；
[0034]图7是本专利技术实施例中gridcell数据以及与gridcell相关的网格数据作为GIN索引的key值存储在索引结构图；
[0035]图8是本专利技术实施例中数据插入流程图；
[0036]图9是本专利技术实施例中数据检索流程图；
[0037]图10是本专利技术实施例中北斗时间编码结构图；
[0038]图11是本专利技术实施例中北斗时间编码结构图；
[0039]图12是本专利技术实施例中北斗时间编码结构图；
[0040]图13是本专利技术实施例中制定的大尺度时间剖分方案图；
[0041]图14是本专利技术实施例中北斗三维网格位置码图；
[0042]图15是本专利技术实施例中北斗网格位置与GeoSOT网格的对应关系图；
[0043]图16是本专利技术实施例中Geometry与Grids的关系图；
[0044]图17是本专利技术实施例中对北京市大兴区Po本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于北斗网格技术的空间大数据存储与管理方法，其特征在于包括如下步骤：构建数据剖分存储模型；基于北斗网格技术的空间大数据多维度深度关联；构建基于北斗网格技术的空间大数据搜索引擎；基于北斗网格技术的空间大数据代数计算；基于数字地球的空间大数据可视化处理。2.如权利要求1所述的基于北斗网格技术的空间大数据存储与管理方法，其特征在于构建数据剖分存储模型的方法包括如下步骤：数据剖分存储模型数学描述；数据剖分存储对象网格划分；数据剖分存储对象聚类；剖分存储设备聚类分布。3.如权利要求2所述的基于北斗网格技术的空间大数据存储与管理方法，其特征在于数据剖分存储模型的数学描述如下所示：其中：M:Go(Code,nL,h,nT)
→
Vp(x
i
),i∈n表示地理空间向物理存储空间的映射；采用GeoSOT剖分框架对地理空间进行剖分，G0代表GeoSOT剖分地理空间，Code是剖分网格的编码，nL代表剖分的层级，h代表对应地理空间范围上数据范围的热度，nT代表该剖分面片上数据量的大小；V
p
代表物理存储空间，x
i
代表剖分存储对象，是剖分面片范围内所有数据以及数据存储属性和操作的集合；M代表映射建立映射关系，根据剖分网格、层级、访问热度和数量，以及剖分存储对象负载平衡原则，将数据按照网格进行划分，将划分后的数据聚集成剖分存储系统中的对象；代表剖分存储对象的聚类方法，依据是剖分存储对象在空间上的度量关系，以最大最小距离将相近的剖分存储对象聚集成簇；从而将空间上有较强的邻近关系的数据聚集起来，是剖分存储对象在存储设备的分布算法的基础；μ
i
表示目标元素编码；x
j
表示邻近元素编码；s
i
表示邻近元素集合；代表剖分存储对象在存储设备的分布方法，w
i
表示每个编码对应的数据所占空间大小，i表示编码数，j表示层级数，w
k
表示各层级数据所占空间总大小。4.如权利要求2所述的基于北斗网格技术的空间大数据存储与管理方法，其特征在于所述数据剖分储存对象网格划分包括如下步骤：
首先要获得数据在空间上的分布情况，主要是在剖分地理空间上数据量、数据种类以及其他属性信息的分布；其次，综合以上数据在地理空间分布情况，以剖分网格为基准，按照负载均衡的要求，设定剖分网格的层级；然后，以数据集合的最小外包剖分网格编码作为该数据集的标识；最后，将各个数据集以及其属性信息按照对象存储方法，整合成剖分存储对象。5.如权利要求2所述的基于北斗网格技术的空间大数据存储与管理方法，其特征在于数据剖分存储对象聚类的方法中：首先将对象访问相关性映射到剖分存储对象距离度量空间上，将对象之间访问的相关性量化，将两个对象在数据访问的相关度转换成空间上的距离大小，相关度较大的两个对象，距离相对较近，而反之则远；将剖分存储对象的平均距离和对象将访问的平均相关度进行映射，对象间的平均距离为L
avr
，对象访问平均相关度为V
avr
，设λ为两者的映射系数，因此λ＝L
avr
/V
avr
；设置访问相关度影响权值k，λ*k*V
avr
为对象访问相关度在剖分地理空间上的距离。6.如权利要求2所述的基于北斗网格技术的空间大数据存储与管理方法，其特征在于部分存储设备聚类分布的处理过程中：按照设备的容量、带宽以及性能在系统中的相关性，将存储相关度高的存储设备放在一个集群内；将海量数据存储系统分成层次形成多个局部的集群，每个集群映射到一族剖分存储对象，使用不同的分布算法在集群内部存储，按照剖分存储对象的变化，批量的增加和删除剖分存储设备，简化存储设备的管理。7.如权利要求1所述的基于北斗网格技术的空间大数据存储与管理方法，其特征在于所述基于北斗网格技术的空间大数据多维度深度关联的方法包括如下步骤：依托空间剖分索引大表，建立面向应用的数据多维度深度关联模式，利用数据多维关联模型的目标关联、网格编码关联、时间关联、事件关联，实现数据之间的多维度、多层级深度关联；目标关联：利用知识图谱，首先根据目指情报信息中的目标隶属特性和唯一标识，以目标唯一标识为主键字段，进行信息筛选、提取、分析；再利用关联分析函数工具进行关联分析，生成关联关系拓扑图；网格编码关联：所有的空间大数据在存储时，都在数据库表中添加若干个字段，用于存放北斗网格编码码元，利用网格编码不同的位数组合，代表不同的实际含义，筛选、提取、分析数据关联性；时间关联：所有的空间大数据在存储时，都在数据库表中添加若干个字段，用于存放北斗时间剖分编码码元，利用北斗时间剖分编码不同的位数组合，代表不同的实际含义，筛选、提取、分析数据关联性；事件关联：基于输入北斗网格编码的上下文，可在事件抽取的基础上进一步识别事件间的关系，包括共指、因果、顺承、时序和从属事件关系；因果关系用来描述两个事件之间是一种前因后果联系，即前一个事件导致后一个事件的发生；顺承关系用来描述两个事件之间是一种时间上的偏序关系，具备先后动作逻辑；共指关系用来描述两个事件的相同性，以便后续完成融合关联，进一步的执行事件信息补全或验证；在事件关系识别的基础上，进一步扩充完善事件关系图谱，进而形成事理关系图谱，为事件认知计算提供支持；事件的认知
计算包括：因果推理和事件关系推理。8.如权利要求1所述的基于北斗网格技术的空间大数据存储与管理方法，其特征在于：设计基于网格编码的空间大数据搜索引擎，空间大数据赋予网格编码入库后，依托编码索引大表，实现数据的编码化查询，将多维时空查询简化为一维数值匹配查询，其具体方法包括如下步骤：首先将空间大数据的数据库表中追加若干字段，每一个字段存储一个北斗网格编码的二进制码元；北斗时空搜索引擎提供两种类型的网格索引，Btree网格索引和GIN网格索引；GIN网格索引：GeomGrids对象由多个网格单元组成，与网格单元是一对多关系，GIN是通用倒排索引，可实现一对多关系检索，在GIN框架下实现网格集合空间索引，该索引支持跨层级检索；GIN是一个存储对(key，posting list)集合的索引结构，其中key是一个键值，而posting list是一组出现过key的TID；对于表中的每一个属性，在建立索引时，每个item都可能会被解析成多个key，同一个TID可能会出现在多个posting list中，而每个key...

【专利技术属性】
技术研发人员：成洁，刘鹏飞，范建华，戴乐，赵框，邢金铭，郭辉，
申请(专利权)人：中科星图股份有限公司，
类型：发明
国别省市：