云计算环境下的海量遥感数据高效组织及快速检索方法技术

本发明专利技术提供一种云计算环境下的海量遥感数据高效组织及快速检索方法，包括以下步骤：S1对多源异构遥感数据元数据按照ISO 19115‑2地理信息元数据标准统一格式得到标准多源异构遥感数据；S2为所述标准多源异构遥感数据构建基于GeoSOT空间剖分网格得到遥感瓦片数据，且所述遥感瓦片数据具有统一基准的空间标识；S3基于空间标识对所述多源遥感瓦片数据构建时空索引；S4根据所述多源遥感瓦片数据中每一切分瓦片的时空索引，构建基于哈希算法的多源遥感瓦片数据分布式存储优化策略，将哈希值逻辑关联的多源遥感瓦片数据聚集存储在同一个数据节点。本发明专利技术的有益效果：提高海量数据的检索效率和分布式访问效率。

【技术实现步骤摘要】
云计算环境下的海量遥感数据高效组织及快速检索方法
本专利技术涉及遥感数据检索及访问
，尤其涉及一种云计算环境下的海量遥感数据高效组织及快速检索方法。
技术介绍
对地观测技术的发展，造成了遥感数据体量的持续增长，数据获取和更新周期缩短，时效性越来越强。世界各国卫星数据中心存储的数据总量已超过数PB，卫星遥感已进入大数据时代。遥感大数据一方面为国土资源普查、环境污染防治、防灾减灾等提供了充足的数据源，另一方面遥感大数据海量、多源、异构的特征也为数据的组织、管理、检索等带来了巨大挑战，使得潜藏在海量遥感数据中的有价值对地观测信息无法被快速访问，数据利用率极低。针对上述问题，国际上有学者提出对于大规模多源遥感数据进行几何与辐射归一化处理，然后将归一化后的遥感数据进行物理切分，并将切分后的瓦片数据按照时间序列组织成为一个数据立方体模型DataCube，最后基于该立方体模型进行时间维、空间维及波谱维数据检索及访问。然而，遥感大数据的这种时空序列组织模式仍存在如下问题：(1)遥感瓦片数据没有建立时空索引，瓦片之间缺少逻辑关联性，遥感瓦片数据检索效率不高。(2)基于Dask并行计算库进行多进程并行数据检索及访问，不利于大数据量、多任务、多节点并行计算，无法满足海量遥感瓦片数据的快速检索及访问需求。以上所述遥感数据立方体模型对于海量瓦片数据组织、管理方面的不足，在一定程度上限制了其在信息提取及挖掘等方面的应用。因此，如何对于大规模多源遥感数据进行有效地组织、索引以实现高效检索及访问，是当前对地观测领域亟需解决的重要问题之一。
技术实现思路
有鉴于此，本专利技术的实施例提供了一种云计算环境下的海量遥感数据高效组织及快速检索方法。本专利技术的实施例提供一种云计算环境下的海量遥感数据高效组织及快速检索方法，包括以下步骤：S1对多源异构遥感数据元数据按照ISO19115-2地理信息元数据标准统一格式得到标准多源异构遥感数据；S2为所述标准多源异构遥感数据构建基于GeoSOT空间剖分网格得到遥感瓦片数据，且所述遥感瓦片数据具有统一基准的空间标识；S3基于空间标识对所述多源遥感瓦片数据构建时空索引；S4根据所述多源遥感瓦片数据中每一切分瓦片的时空索引，构建基于哈希算法的多源遥感瓦片数据分布式存储优化策略，将哈希值逻辑关联的多源遥感瓦片数据聚集存储在同一个数据节点。进一步地，所述多源异构遥感数据元数据包括HDF-EOS格式数据和XML格式数据。进一步地，所述步骤S2具体位置为：使用GeoSOT网格在地球表面经纬度空间进行递归四叉剖分形成网格体系，并采用64位编码对每个剖分面网格编码，所述遥感瓦片数据的每一切分瓦片对应的网格编码为该切分瓦片的空间标识。进一步地，每一所述剖分面网格编码为该剖分面中心点经纬度对应的GeoSOT网格编码。进一步地，相同或者相邻地理位置的遥感瓦片数据的切分瓦片的网格编码的前缀相同。进一步地，所述遥感瓦片数据切分为四瓦片，四所述瓦片的网格编码组合为所述遥感瓦片数据的时空索引。进一步地，所述时空索引包括时间、空间、卫星和传感器信息。进一步地，所述步骤S4中所述多源遥感瓦片数据HDFS云存储时，所述多源遥感瓦片数据的每一切分瓦片数据均小于128MB，且存储为NetCDF压缩格式，存储于一个Block存储空间。本专利技术的实施例提供的技术方案带来的有益效果是：本专利技术的云计算环境下的海量遥感数据高效组织及快速检索方法，通过构建统一的遥感元数据格式及空间参考，可以屏蔽海量多源遥感数据的异构性，建立时空索引可以有效提高海量遥感数据瓦片的时空逻辑关联性，继而提高海量数据的检索效率，将时空逻辑关联的遥感瓦片数据聚集存储在同一个HDFS数据节点，可以提高海量瓦片数据的分布式访问效率。附图说明图1是本专利技术云计算环境下的海量遥感数据高效组织及快速检索方法的流程图；图2是基于GeoSOT空间剖分网格构建遥感瓦片数据的示意图；图3是遥感瓦片数据的时空索引示意图；图4根据时空索引的遥感瓦片数据分布式存储优化示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地描述。请参考图1，本专利技术的实施例提供了一种云计算环境下的海量遥感数据高效组织及快速检索方法，包括以下步骤：S1对多源异构遥感数据元数据按照ISO19115-2地理信息元数据标准统一格式得到标准多源异构遥感数据；ISO19115-2地理信息元数据标准主要定义了用于描述地理信息和服务的元数据模式，提供关于地理信息和服务的标识、质量、空间、时间、内容、空间参考系、分布等其他属性信息。如表1所示，本实施例中基于ISO19115-2:2009地理信息元数据标准，建立一个统一的遥感数据元数据标准格式，各种多源异构遥感数据元数据在数据集成及切分时转换为该标准格式，获得标准多源异构遥感数据，这里的多源异构遥感数据元数据包括国内外常用的HDF-EOS格式数据和XML格式数据。表1基于ISO19115-2:2009标准的遥感数据元数据格式S2为所述标准多源异构遥感数据构建基于GeoSOT空间剖分网格得到遥感瓦片数据，且所述遥感瓦片数据具有统一基准的空间标识；具体方法如下：请参考图2，使用GeoSOT网格在地球表面经纬度空间进行递归四叉剖分形成网格体系，由此将整个地球分割为大到全球、小到厘米级的整度、整分和整秒层次网格体系，并采用64位编码对网格体系中的每个剖分面网格编码，标准多源异构遥感数据(遥感影像)经过数据切分，每个剖分面片幅宽已经较小，在进行数据存储和检索时即可以当做一个点数据来处理。每一所述剖分面网格编码为该剖分面中心点经纬度对应的GeoSOT网格编码,所述遥感瓦片数据的每一切分瓦片对应的网格编码为该切分瓦片的空间标识,相同或者相邻地理位置的遥感瓦片数据的切分瓦片的网格编码的前缀相同，这样即建立了海量遥感瓦片数据之间的空间关联性，有利于提高数据检索效率。S3基于空间标识对所述多源遥感瓦片数据构建时空索引；具体方法如下：本实施例中所述遥感瓦片数据切分为四瓦片，四所述瓦片的网格编码可以转换为一个简单可排序的二进制字符串，即组合为所述遥感瓦片数据的时空索引，这样形成单值索引，有效地提高了海量瓦片数据的检索效率。请参考图3，同时，考虑到HBase数据库的主键索引特性，本实施例中将遥感瓦片数据的时间属性、卫星、传感器类型进行统一编码，连同空间标识一起建立时空索引模型，并将联合编码结果作为HBase的主键，基于HBase主键RowKey实现海量遥感瓦片数据的快速检索。S4根据所述多源遥感瓦片数据中每一切分瓦片的时空索引，构建基于哈希算法的多源遥感瓦片数据分布式存储优化策略，将哈希值逻辑关联的多源遥感瓦片数据聚集存储在同一个数据节点。现有检索技术中所述多源遥感瓦片数据HDFS云存储时，文件被切分成默认64MB或128MB大小的数据块Block进行存储，每一个Block存储到一个数据节点DataNode上，而且Block会以多副本的形式存放以保证高可用性。对于遥感影像而言，单幅影像体量往往较大(如单幅Landsat_8OLI_TIRS数据约900MB)，在利用HDFS进行存储时则会自动切分，并将切分后的Block采用机架感知策略分布式存储在各个数据节点DataNo本文档来自技高网...

【技术保护点】
1.一种云计算环境下的海量遥感数据高效组织及快速检索方法，其特征在于，包括以下步骤：S1对多源异构遥感数据元数据按照ISO 19115‑2地理信息元数据标准统一格式得到标准多源异构遥感数据；S2为所述标准多源异构遥感数据构建基于GeoSOT空间剖分网格得到遥感瓦片数据，且所述遥感瓦片数据具有统一基准的空间标识；S3基于空间标识对所述多源遥感瓦片数据构建时空索引；S4根据所述多源遥感瓦片数据中每一切分瓦片的时空索引，构建基于哈希算法的多源遥感瓦片数据分布式存储优化策略，将哈希值逻辑关联的多源遥感瓦片数据聚集存储在同一个数据节点。

【技术特征摘要】
1.一种云计算环境下的海量遥感数据高效组织及快速检索方法，其特征在于，包括以下步骤：S1对多源异构遥感数据元数据按照ISO19115-2地理信息元数据标准统一格式得到标准多源异构遥感数据；S2为所述标准多源异构遥感数据构建基于GeoSOT空间剖分网格得到遥感瓦片数据，且所述遥感瓦片数据具有统一基准的空间标识；S3基于空间标识对所述多源遥感瓦片数据构建时空索引；S4根据所述多源遥感瓦片数据中每一切分瓦片的时空索引，构建基于哈希算法的多源遥感瓦片数据分布式存储优化策略，将哈希值逻辑关联的多源遥感瓦片数据聚集存储在同一个数据节点。2.如权利要求1所述的云计算环境下的海量遥感数据高效组织及快速检索方法，其特征在于：所述多源异构遥感数据元数据包括HDF-EOS格式数据和XML格式数据。3.如权利要求1所述的云计算环境下的海量遥感数据高效组织及快速检索方法，其特征在于：所述步骤S2具体位置为：使用GeoSOT网格在地球表面经纬度空间进行递归四叉剖分形成网格体系，并采用64位编码对每个剖分面网格编码，所述遥感瓦片...

【专利技术属性】
技术研发人员：阎继宁，王力哲，黄晓辉，成路肖，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：湖北,42