海洋地理空间多维时变场数据分布式组织与查询处理方法技术

本发明专利技术公开了海洋地理空间多维时变场数据分布式组织与查询处理方法，根据海洋时空数据处理的数据种类和采样时间点，划分海洋时空数据，得到单一数据种类、单一年度的海洋时空数据原始文件；将分布式存储系统数据块大小作为分区大小参量，根据分区大小参量，计算单一数据种类、单一年度的海洋时空数据的分区数；基于R树的分布式空间索引算法的设计。本发明专利技术的有益效果是海洋地理空间多维时变场数据分布式组织与查询处理方法简单高效，提高了运算效率。

【技术实现步骤摘要】
海洋地理空间多维时变场数据分布式组织与查询处理方法
本专利技术属于数据处理
，涉及一种海洋地理空间多维时变场数据分布式组织与查询处理方法。
技术介绍
海量海洋时空数据的空间索引是结合海量海洋时空数据的检索查询特性构建的空间数据索引。依据地理空间维度和采样时间维度上检索数据的连续性和基础查询过程中数据种类维度上的单一性等特点，对海量海洋时空数据依据数据种类维度、地理空间维度、采样时间维度上的多维空间进行数据分区操作，构建海洋时空数据分片。根据基础查询过程中数据种类维度上的单一性以及海洋时空数据统计特性，将同一数据种类和同一年度的所有数据进行数据分区，计算局部数据的最小外接矩形，构建海洋时空数据分片的键属性向量。最终，通过收集合并所有局部区域的海洋时空数据分片的键属性向量，建立全局的R树空间数据索引。综合以上过程，海量海洋时空数据的空间数据索引，是一类基于空间数据对象分片的单级R树空间数据索引。之所以不在空间数据对象内分片中构建二级R树空间数据索引，是因为海量海洋时空数据的数据规模巨大且检索区域不定。在检索查询过程中，由于内存缓存的数据量有限，查询所在的数据分片无法持久地驻留在分布式系统的内存中，若在空间数据对象分片中构建二级R树空间，缓存失效时，检索查询过程必然涉及R树空间索引的序列化与反序列化，增大了数据加载和分发的代价，而后续查询过程的代价依赖于具体的算法实现，因此，海量海洋时空数据的空间数据索引，以单级时空数据索引的组织形式设计。
技术实现思路
本专利技术的目的在于提供海洋地理空间多维时变场数据分布式组织与查询处理方法，本专利技术的有益效果是海洋地理空间多维时变场数据分布式组织与查询处理方法简单高效，提高了运算效率。本专利技术所采用的技术方案是按照以下步骤进行：1)根据海洋时空数据处理的数据种类和采样时间点，划分海洋时空数据，得到单一数据种类、单一年度的海洋时空数据原始文件；2)将分布式存储系统数据块大小作为分区大小参量，根据分区大小参量，计算单一数据种类、单一年度的海洋时空数据的分区数；3)基于R树的分布式空间索引算法的设计。进一步，步骤2)中，根据分区数划分海洋时空数据的经纬网格和层深，计算分区边界，将单一种类、单一年度的海洋时空数据分割生成海洋时空数据分片文件，保存到分布式存储系统，完成海洋时空数据分区过程。进一步，步骤3)基于R树的分布式空间索引算法的设计包括空间数据对象分片，即海洋时空数据分片文件，根据空间数据对象分片设计R树节点的基本数据结构，分布式统计空间对象分片的空间区间信息，收集空间区间信息，集中式构建时空数据索引；R树空间数据索引需要引入一个多维的最小外接矩形，海洋时空数据的键属性向量包含经度、维度、深度、采样时间点和数据种类五个维度，根据海洋时空数据分片文件内数据建立一个五维的最小外接矩形，即空间数据对象分片的空间区间信息，作为R树节点的最小外接矩形，使用海洋时空数据分片文件在存储平台上的查找路径作为R树节点的数据索引描述，综合最小外接矩形和数据索引描述构成空间数据对象分片的索引信息描述；分布式统计阶段，以一个海洋时空数据分片文件作为一个数据分区，在分布式计算系统上对数据分区内的海洋时空数据键向量的每一个维度求最大值和最小值，在当前数据分区汇总每个维度的最大值和最小值，生成当前数据分区所在的海洋时空数据分片文件的五维最小外接矩形；收集和集中式构建阶段，主节点收集分布式统计阶段生成的海洋时空数据分片文件的五维最小外接矩形和海洋时空数据分片文件在分布式存储系统上的文件路径，建立空间数据对象分片的索引信息描述集，遍历索引信息描述集的每个索引信息描述，将索引信息描述作为R树层面的空间数据对象插入到R树中，当遍历插入过程结束时，完成R树空间数据索引的构建过程，算法结束。具体实施方式下面结合具体实施方式对本专利技术进行详细说明。分区，即分片文件大小的设计依托于具体的分布式存储系统。本专利技术使用后面描述的海量海洋时空数据分布式存储平台作为海量海洋时空数据的分布式存储系统，因此，海洋时空数据分片文件的大小由具体方案实施中海量海洋时空数据分布式数据存储平台的数据块大小决定。在海洋时空数据分片文件大小远小于分布式存储系统的实际数据块大小的情况下，分布式存储系统的小文件问题随之出现，影响分布式存储系统的效率和扩展性；在海洋时空数据分片文件大小大于分布式存储系统的实际数据块大小的情况下，在一个海洋时空数据分片上执行查询过程中，数据检索查询模块从分布式存储系统中读取多个数据块，扫描更多的无关数据，降低了数据检索查询的效率。分区标准，即分区依据的设计依赖于海洋时空数据空间数据对象的基础数据结构和海洋时空数据处理的检索查询特性。首先，由于海洋时空数据基础查询过程中数据种类维度上存在单一性的特点，同一海洋时空数据分片文件内的空间数据对象的值向量的数据种类维度相同。其次，根据海洋时空数据处理的检索查询的采样时间区间存在连续性的特点，进一步优化海洋时空数据分区方案，同一海洋时空数据分片文件内聚合采样年度相同的海洋时空数据。最后，海洋时空数据在地理空间维度上以地理空间网格数据的形式组织存储，因此，在对同一数据种类、同一年度的海洋时空数据原始文件进行数据分区操作时，利用原始文件的大小和分区大小计算分区数，根据分区数划分同一数据种类、同一年度海洋时空数据的经纬网格和层深，计算出各个海洋时空数据分片文件的分区边界，使用分区边界分割原始文件生成海洋时空数据分片文件，将生成的海洋时空数据分片文件保存到分布式存储系统上。海洋时空数据分区设计方案，可采取以下步骤：1)根据海洋时空数据处理的数据种类和采样时间点，划分海洋时空数据，得到单一数据种类、单一年度的海洋时空数据原始文件；2)将分布式存储系统数据块大小作为分区大小参量，根据分区大小参量，计算单一数据种类、单一年度的海洋时空数据的分区数。根据分区数划分海洋时空数据的经纬网格和层深，计算分区边界，将单一种类、单一年度的海洋时空数据分割生成海洋时空数据分片文件，保存到分布式存储系统，完成海洋时空数据分区过程。3)基于R树的分布式空间索引算法的设计空间数据对象分片，即海洋时空数据分片文件。根据空间数据对象分片设计R树节点的基本数据结构，分布式统计空间对象分片的空间区间信息，收集空间区间信息，集中式构建时空数据索引。R树空间数据索引需要引入一个多维的最小外接矩形，海洋时空数据的键属性向量包含经度、维度、深度、采样时间点和数据种类五个维度，因此，建立海洋时空数据的R树空间数据索引，需要根据海洋时空数据分片文件内数据建立一个五维的最小外接矩形，即空间数据对象分片的空间区间信息，作为R树节点的最小外接矩形，使用海洋时空数据分片文件在存储平台上的查找路径作为R树节点的数据索引描述，综合最小外接矩形和数据索引描述构成空间数据对象分片的索引信息描述。分布式统计阶段，以一个海洋时空数据分片文件作为一个数据分区，在分布式计算系统上对数据分区内的海洋时空数据键向量的每一个维度求最大值和最小值，在当前数据分区汇总每个维度的最大值和最小值，生成当前数据分区所在的海洋时空数据分片文件的五维最小外接矩形。收集和集中式构建阶段，主节点收集分布式统计阶段生成的海洋时空数据分片文件的五维最小外接矩形和海洋时空数据分片文本文档来自技高网...

【技术保护点】
1.海洋地理空间多维时变场数据分布式组织与查询处理方法，其特征在于按照以下步骤进行：1)根据海洋时空数据处理的数据种类和采样时间点，划分海洋时空数据，得到单一数据种类、单一年度的海洋时空数据原始文件；2)将分布式存储系统数据块大小作为分区大小参量，根据分区大小参量，计算单一数据种类、单一年度的海洋时空数据的分区数；3)基于R树的分布式空间索引算法的设计。

【技术特征摘要】
1.海洋地理空间多维时变场数据分布式组织与查询处理方法，其特征在于按照以下步骤进行：1)根据海洋时空数据处理的数据种类和采样时间点，划分海洋时空数据，得到单一数据种类、单一年度的海洋时空数据原始文件；2)将分布式存储系统数据块大小作为分区大小参量，根据分区大小参量，计算单一数据种类、单一年度的海洋时空数据的分区数；3)基于R树的分布式空间索引算法的设计。2.按照权利要求1所述海洋地理空间多维时变场数据分布式组织与查询处理方法，其特征在于：所述步骤2)中，根据分区数划分海洋时空数据的经纬网格和层深，计算分区边界，将单一种类、单一年度的海洋时空数据分割生成海洋时空数据分片文件，保存到分布式存储系统，完成海洋时空数据分区过程。3.按照权利要求1所述海洋地理空间多维时变场数据分布式组织与查询处理方法，其特征在于：所述步骤3)基于R树的分布式空间索引算法的设计包括空间数据对象分片，即海洋时空数据分片文件，根据空间数据对象分片设计R树节点的基本数据结构，分布式统计空间对象分片的空间区间信息，收集空间区间信息，集中式构建时空数据索引；R树空间数据索引...

【专利技术属性】
技术研发人员：秦勃，夏海涛，王云鹏，张书尧，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：山东,37