一种面向海量遥感影像的多级组织和索引方法技术

一种面向海量遥感影像的多级组织和索引方法，包括以下步骤：步骤A：获取宽幅影像栅格数据，进行预处理；步骤B：建立磁盘空间的缓存金字塔，采用场景金字塔加子场景的规则划分四叉树的二级索引结构，连接ID和属性数据库；步骤C：结合数据组织方式，实现属性数据承载，分块组织，在HBase数据库中完成多级存储和建立索引；以及步骤D：借助虚拟化、扩展性和共享能力于一身的存储池来实现随时随地按需分配资源。

A multi-level organization and indexing method for mass remote sensing images

A multi-level organization for massive remote sensing image and indexing method, which comprises the following steps: step A: get wide image raster data preprocessing; step B: the establishment of the Pyramid cache disk space, two level index structure of the scene Pyramid sub scene rules into four binary tree, the connection between ID and attribute database; step C: a combination of data organization, implementation of the attribute data bearing block organization, in the HBase database to complete the multilevel storage and indexing; and step D: storage pool with virtualization, scalability and sharing ability in a body to achieve on-demand resource allocation whenever and wherever possible.

【技术实现步骤摘要】
一种面向海量遥感影像的多级组织和索引方法
本专利技术涉及遥感影像数据处理领域，特别涉及一种面向海量遥感影像的多级组织和索引方法。
技术介绍
近年来我国获得了大量的遥感图像数据，平台涵盖卫星平台、无人机等，分辨率从米级到厘米级。数据具有分辨率高、成像幅宽变化大、图像数据量大、成像模式多样化等特点，使得这些数据可用于更精细化的目标判断、更广泛的信息获取和更多样化的情报生成等，依据目标类型、影像传感器类型、时间阶段、匹配度等多种参数组合，获取相关的遥感影像并按照目标相关的时间、位置和外形等不同的属性分类获取相关的对象和目标，是数据挖掘非常重要的信息源之一。需要对海量的遥感影像进行分级处理，建立多个分辨率的分层图像，实现多层次组织、快速索引和筛选，提高海量数据处理速度和图像情报分析效率。目前，国内外对遥感数据组织管理的研究成果报到很少，已有的遥感数据组织方法大多是面向数据存储的组织管理方法，大多是解决遥感数据如何高效存储的问题，多采用数据库与文件系统相结合的方式进行存储组织，元数据存储在静态结构的数据库表中，数据实体存储在文件系统中，通过检索接口与数据存取访问接口对遥感数据进行检索与读写访问。例如，王密等人(王密，龚健雅，李德仁，大型遥感影像数据库的空间无缝数据组织，武汉大学学报信息科学版，2001，26(5)：419-423)针对正射影像，提出了利用分带存储模式实现影像数据的无缝组织管理。宋树华，程承旗等人(宋树华，程承旗等.基于EMD的遥感影像数据组织模型.地理与地理信息科学.2013，29(3)：21-25)，提出基于地图分幅拓展的全球剖分模型EMD，通过剖分面片的编码标识将遥感数据进行分片存储和组织。赖积保，罗晓丽等人(赖积保，罗晓丽等.一种支持云计算的遥感影像数据组织模型研究.计算机科学.2013，40(7)：80-84)。提出支持云计算的遥感影像数据组织模型RSC-DOM，结合影像金字塔分块存储的思想，完成云计算架构下的遥感影像数据存储与组织。然而，目前金字塔层次模型不能反映影像数据在来源传感器和时间维度上的不同，很大程度上限制了全球影像数据的有效利用。没有充分考虑所处地理位置、被关注等级和数据积累程度，加大了非热点区域的访问压力。Google推出GoogleEarth软件平台，它与GoogleMap平台一起均采用固定18层数据组织架构，具有可以显示矢量数据地标，包括点、线、面等几何类型、栅格图像叠加和三维建模虚拟功能。在遥感影像数据组织与管理方面，并采用预先生成地图瓦片金字塔(TileMapImage)且每个Tile为256×256像素PNG文件，对影像数据进行管理。其中，它采用地图瓦片金字塔是为了数据快速显示，采用256×256像素的影像文件是为了计算机内存高效的管理，而采用PNG文件格式则是为了计算机网络高效的传输。WorldWind是由NASA(美国国家航空和宇宙航行局)推出的一款查看地球的卫星照片的虚拟地球仪软件，采用平面Carree利用矩形来表达影像数据，长宽比为2：1。采用等经纬度全球四分的剖分方式，将全球分为多层不同尺度的Tile，每个Tile中的影像数据(512×512像素)按行列号进行标识并按层组织与管理。WorldWind在瓦片金字塔基础上构建线性四叉树来管理瓦片索引和瓦片数据。数据检索时，通过经纬度与Tile的行列号之间的关系，检索行列号来实现美国SkyLine公司也为用户设计了TerraBuilder工具，可以将航片、卫星影像、数字高程模型以及各种矢量地理数据，创建成一个单一的优化压缩文件，便于以流方式发布三维数据集。据量级的顺序减少运行时间。尽管如此，由于标准的文件访问方式获取遥感图像数据存在一定的缺陷，单幅遥感图像的数据量较大，存储系统的I/O能力和网络带宽的限制了文件访问速度，导致这些软件读取和展示一幅产品图像的时间延迟相当大，严重的限制了后期应用的效率和可靠性。此外，现有的索引链接分析算法，以Google的PageRank为代表的超链接分析，无法理解内容，也就无法做到个性化。国内基于目录结构的索引方式根据已分好的类别直接索引，但无法满足具有某一特定信息的文档索引。而基于查询串的文档索引方式能够比较准确地查找出用户所需要的文本信息，但由于遥感数据维度更多、更复杂、数据体量更大，这些索引机制都无法适应海量多源多属性数据的高效访问。
技术实现思路
鉴于现有方案存在的问题，为了克服上述现有技术方案的不足，本专利技术提出了一种面向海量遥感影像的多级组织和索引方法。根据本专利技术的一个方面，提供了一种面向海量遥感影像的多级组织和索引方法，包括以下步骤：步骤A：获取宽幅影像栅格数据，进行预处理；步骤B：建立磁盘空间的缓存金字塔，采用场景金字塔加子场景的规则划分四叉树的二级索引结构，连接ID和属性数据库；步骤C：结合数据组织方式，实现属性数据承载，分块组织，在HBase数据库中完成多级存储和建立索引；以及步骤D：借助虚拟化、扩展性和共享能力于一身的存储池来实现随时随地按需分配资源。从上述技术方案可以看出，本专利技术具有以下有益效果：本专利技术具有加强栅格数据的局域特性，降低了数据的访问量，减小了磁盘的访问跨度，总访问量降低40％；构建合理的数据块缓存机制，完成对大尺度数据的高效处理需求，为各个影像处理和解译工具操作的实时显示提供了保障。在不同尺度构建合理的数据块缓存机制，大大的提高了栅格数据的访问效率。本专利技术为弥补传统金字塔层次模型的不足，提出的非均匀复合金字塔层次模型，在每个分辨率级别的分块数据中非均匀地加入传感器和时间维度，充分体现全球影像数据的多维特征，更好地组织和利用影像数据。动态的建立不同精度的影像金字塔，降低了数据非热点区域的访问量。在场景金字塔中每个子场景的地物数据组织上，采用了基于规则划分的四叉树索引结构，避免了地物实体标识的多次存储，并且大大减少了复杂的空间关系计算。本专利技术设计了多级索引机制，可按照传感器、影像分辨率、影像区域和时间不同建立索引，存储在HBase数据库中。按需分配资源，实现海量多源、多尺度、多时相影像数据的高效传输和访问。附图说明图1是本专利技术实施例多级金字塔构建原理示意图；图2是本专利技术实施例面向海量遥感影像的多级组织和索引方法的流程图；图3是图2步骤A的流程图；图4是图2步骤B的流程图；图5是图4步骤B3的流程图；图6是图2步骤C的流程图；图7是步骤D中自适应压缩与渐进传输示意图；图8是图2步骤D的流程图。具体实施方式本专利技术某些实施例于后方将参照所附附图做更全面性地描述，其中一些但并非全部的实施例将被示出。实际上，本专利技术的各种实施例可以许多不同形式实现，而不应被解释为限于此数所阐述的实施例；相对地，提供这些实施例使得本专利技术满足适用的法律要求。在本说明书中，下述用于描述本专利技术原理的各种实施例只是说明，不应该以任何方式解释为限制专利技术的范围。参照附图的下述描述用于帮助全面理解由权利要求及其等同物限定的本专利技术的示例性实施例。下述描述包括多种具体细节来帮助理解，但这些细节应认为仅仅是示例性的。因此，本领域普通技术人员应认识到，在不悖离本专利技术的范围和精神的情况下，可以对本文中描述的实施例进行多种改变和修改。此外，为了清楚和简洁起见，省略了公知功能和结构的描述。此外，贯本文档来自技高网...

【技术保护点】
一种面向海量遥感影像的多级组织和索引方法，其特征在于，包括以下步骤：步骤A：获取宽幅影像栅格数据，进行预处理；步骤B：建立磁盘空间的缓存金字塔，采用场景金字塔加子场景的规则划分四叉树的二级索引结构，连接ID和属性数据库；步骤C：结合数据组织方式，实现属性数据承载，分块组织，在HBase数据库中完成多级存储和建立索引；以及步骤D：借助虚拟化、扩展性和共享能力于一身的存储池来实现随时随地按需分配资源。

【技术特征摘要】
1.一种面向海量遥感影像的多级组织和索引方法，其特征在于，包括以下步骤：步骤A：获取宽幅影像栅格数据，进行预处理；步骤B：建立磁盘空间的缓存金字塔，采用场景金字塔加子场景的规则划分四叉树的二级索引结构，连接ID和属性数据库；步骤C：结合数据组织方式，实现属性数据承载，分块组织，在HBase数据库中完成多级存储和建立索引；以及步骤D：借助虚拟化、扩展性和共享能力于一身的存储池来实现随时随地按需分配资源。2.根据权利要求1所述的多级组织和索引方法，其特征在于，步骤A包括：子步骤A1：对影像栅格数据分级分块，并对分块数据进行编码描述；子步骤A2：对编码描述后的分块数据进行裁切及合并；子步骤A3：对高程数据进行读取加载处理，其中高程数据是影像栅格数据集中的数据；以及子步骤A4：实现分块数据的加标签可视化。3.根据权利要求2所述的多级组织和索引方法，其特征在于，步骤B包括：子步骤B1：对已加载的数据分块编码进行动态金字塔重构；子步骤B2：定义遥感元数据衍生模型，在数据库表行列分别存储数据属性和数据实体；以及子步骤B3：定义遥感数据关联模型，利用规则四叉树结构表示对象之间的关系，建立自定义的金字塔数据文件，将数据、属性和索引关联在一起。4.根据权利要求3所述的多级组织和索引方法，其特征在于，子步骤B3包括：次子步骤B3.1：定义遥感数据的关联关系的五元组；次子步骤B3.2：建立数据关联组织模型；以及子步骤B3.3：通过贝叶斯学习，完成关联组织模型的更新。5.根...

【专利技术属性】
技术研发人员：付琨，许光銮，王楠，李峰，孙显，梁霄，郑歆慰，刁文辉，
申请(专利权)人：中国科学院电子学研究所，
类型：发明
国别省市：北京,11