一种高效的海量遥感数据分布式组织管理方法技术

一种高效的海量遥感数据分布式组织管理方法步骤如下：（１）第一步：根据原始遥感图像分辨率构建遥感图像金字塔；（２）基于Ｔｉｌｅ技术对遥感图像金子塔的各层切割分块，形成小块图像Ｔｉｌｅｓ；（３）基于文件存储系统，建立分层的目录存储结构存储所述第二步中的小块图像Ｔｉｌｅｓ；（４）根据给定的原始遥感图像级别和一个位置点的经纬度坐标值，计算出所属Ｔｉｌｅ的名称以及这个Ｔｉｌｅ的相对存储路径，实现遥感数据快速查询与获取服务；存储系统，建立分层的目录存储结构存储所述第二步中的小块图像Ｔｉｌｅｓ；（５）采用分布式存储系统的体系结构，对分层目录和所述的小块图像Ｔｉｌｅｓ进行存储管理。本发明专利技术能够针对具有海量、多源、多分辨率、多波段的遥感数据进行有效的存储管理，其中的分层目录存储结构具有结构简单、灵活、数据定位便捷的特点，能够提供遥感数据快速的查询和获取，具有高效性。

【技术实现步骤摘要】

本专利技术涉及一种基于文件系统的海量遥感数据分布式组织管理的方法，主要用于遥 感数据的存储管理。
技术介绍
在二十一世纪之初，随着摄影测量技术进入数字时代、地理信息系统与遥感技术由 兴起到飞速发展，测绘学发生了巨大变革，人类社会也向着信息社会大步迈进。地理信 息系统与遥感影像已经广泛应用于国民经济发展的各个领域，逐渐成为各级政府决策、 管理、工程规划设计、企业生产经营的重要支撑。但面对数字摄影测量、遥感技术带来 的持续不断的海量图像数据，又面临着如下一些问题。一是部分研究机构和个人难以得到需要的持续的影像数据以开展应用研究，地图数 据缺乏时效性和持续性，这使得直观、持续动态的遥感数据源极少服务于普通用户，而 数据的直接生产者以近乎弃置的方式在闲置大量的宝贵图像资源。二是遥感数据不断增长和长期存储的需要使数据生产者面临巨大的存储压力，以国 家基础地理信息中为为例，在2003年底该中心存储管理的地理空间数据总量达到了大 约130TB，而这个数据量正在逐年成倍的增长。正如数据管理的发展历史一样，遥感数据的管理也经历了人工管理阶段、文件系统 管理阶段和数据库管理阶段。所不同的是对于遥感数据的管理，文件系统和数据库是并 存的，至少在相当长的一段时间里，文件系统对于遥感数据的管理尚无法代替。但在遥感数据管理的发展历史中，遥感数据的数据库管理也有很多实验，最初人们 尝试将遥感数据进行数据库管理的方法是将遥感数据中的点、线、面分别存储和管理， 点可以进行结构化管理，线和面用相邻两点进行结构化管理。这样是能够完成对遥感数 据的数据库管理，但效率十分低下。这就是为什么到目前，数据库发展到十分完善的时 候，对于遥感数据的管理还采用文件系统管理的原因。采用文件系统对遥感数据的进行管理，是由于有两个特点十分明显。 一是文件系统 特别擅长对于空间变长数据的组织和管理；二是文件系统效率高，尤其在海量遥感数据 的管理方面。目前，国内的遥感数据大多直接存储于数据的直接生产者处，大多数研究机构和个人难以得到持续的遥感数据开展应用研究，这些遥感数据也极少服务于最终用户。遥感 数据的直接生产者面临着巨大的存储压力，并且未对遥感数据进行有效的存储管理，对 于遥感数据的获取仍采用最基本的文件拷贝方式，使得遥感数据的流通变得十分困难。 本专利技术为了解决数据的存储管理和分发，设计了基于Tiling的切割分块技术、遥感图 像金子塔理论和分层目录的文件存储结构，实现了海量多分辨率多源遥感数据的存储管 理，并提供的数据的查询和获取服务，方便了遥感数据的分发。
技术实现思路
本专利技术的技术解决问题克服现有技术的不足，提供一种高效的海量遥感数据分布 式组织管理方法，该方法能够针对具有海量、多源、多分辨率、多波段的遥感数据进行 有效的存储管理，具有结构简单、灵活、数据定位便捷的特点，能够提供遥感数据快速 的查询和获取，具有高效性。本专利技术采用以下技术方案 步骤如下第一步根据原始遥感图像分辨率构建遥感图像金字塔，即按照原始遥感图像分辨 率的大小，将原始遥感图像分成19个级别，从1级到19级，每第一层对应特定大小的 图像分辨率，级别越高对应的分辨率越高，即图像越清晰，第l级对应图像金子塔的最 顶层，第19级对应图像金子塔的最底层；如果有更高分别率的原始图像，则可以在底 层继续构建第20级，依次类推，直到第n级；第二步基于Tile技术对遥感图像金子塔的各层切割分块，形成小块图像Tiles;第三步基于文件存储系统，建立分层的目录存储结构存储所述第二步中的小块图像Tiles;第四步根据给定的原始遥感图像级别和一个位置点的经纬度坐标值，计算出所属Tile的名称以及这个Tile的相对存储路径，实现遥感数据快速查询与获取服务；第五步采用分布式存储系统的体系结构，建立分层目录，存储管理所述的小块图像Tiles。所述的第一步中，相邻级别的图像分辨率大小为2倍的关系，级别与分辨率的换算关系如公式①所示 Scale = log2(l/mw/Wo")+n—丄 ①其中Scale表示图像级别，resolution为原始遥感图像分辨率，n为遥感图像的分 级数；所述第二步中，对遥感图像金子塔的各层切割分块的方法如下(1) 调整原始遥感图像分辨率将原始遥感图像的分辨率调整到与遥感图像金子 塔中的某第一层图像的分辨率对应，并保证该层图像的分辨率值大于原始图像的分辨 率值(2) 构造切割网地图根据调整后的图像分辨率级别和原始遥感图像左上角与右 下角经纬度，计算图像左上角和右下角所属Tile，并据此构造对应的虚拟切割网地(3) 切割原始遥感图像沿着虚拟切割网地图的网格线，对原始遥感图像进行切 割分块；(4) 扩充不完整小块图像边缘计算原始遥感图像距虚拟切割网底图上下左右四个边缘出的偏移值，根据此值扩充切割后不完整的小块图像，使之成为256X256象素 的完整小块图像Tile。在所述的第三步中，基于文件存储系统建立分层的目录存储结构的方法如下-(1) 根据原始遥感图像级别创建第一层目录；(2) 如果原始遥感图像级别为第14级或14级以上，则建立25乂25个第二层目 录，再建立2^"X2^"个第三层目录，每个第二层目录下有2，/￡—。X2，^第三层 目录，最后建立表示主题的第四层目录，如果主题对应多波段则建立表示波段的第五 层目录；(3) 如果原始遥感图像级别为第13级到第9级，则建立8 8个第二层 目录，然后建立表示主题的第三层目录，如果主题对应多波段则建立表示波段的第四 层目录；(4) 如果原始图像级别为第8级到第1级，则直接建立表示主题的第二层目录， 如果主题对应多波段则建立表示波段的第三层目录。在所述的第四步中，实现遥感数据查询与获取服务的方法如下 (1)数据査询一个位置点的经纬度范围通常以所浏览区域的左上角经纬度和右下角经纬度来描 述，根据左上角经纬度，利用经纬度位置点至所属Tile的映射算法得到浏览区域左上 角Tile的名称"xMyNzS"，同样根据右下角经纬度得到浏览区域右下角Tile的名称 "xQyRzS"，则经纬度范围所覆盖区域的所有Tiles，可用循环表达式 对于X从M到Q 对于Y从N到R Tile的名称为"xXyYzS"来获取；(2)数据获取服务通过数据查询服务后，计算出所求经纬度范围的所有Tiles的名称。对于每一个 Tile,利用Tile至相对存储路径的算法，获取所有Tiles的相对存储路径，查询数据 库可以获得存储该Tile的所有存储服务器地址及根目录，即Tiles的所有副本，在对 所有存储该Tiles的存储服务器状态进行分析和比较后，调用能最快响应Tile获取请 求的存储服务器的数据获取服务，返回所请求的Tile。所述的经纬度位置点至所属Tile的映射算法如下(1) 计算X轴和Y轴方向的Tile总数width;(2) 计算每个Tile在经度上的跨度tileWidth: tileWidth=360 / width;(3) 计算Tile在X轴上的坐标值x: x = (lon+180.0) / tileWidth;(4) 将地球投影平面南北边缘处纬度值和Tile左上角纬度值转化成近似EPSG: 900913坐标系统下的坐标值分别为yT叩，yBottom和yTrap;(5H十算本文档来自技高网...

【技术保护点】
一种高效的海量遥感数据分布式组织管理方法，其特征在于包括以下步骤：　第一步：根据原始遥感图像分辨率构建遥感图像金字塔，即按照原始遥感图像分辨率的大小，将原始遥感图像分成１９个级别，从１级到１９级，每第一层对应特定大小的图像分辨率，级别越高对应的分辨率越高，即图像越清晰，第１级对应图像金子塔的最顶层，第１９级对应图像金子塔的最底层；如果有更高分别率的原始图像，则可以在底层继续构建第２０级，依次类推，直到第ｎ级；　第二步：基于Ｔｉｌｅ技术对遥感图像金子塔的各层切割分块，形成小块图像Ｔｉｌｅｓ；　第三步：基于文件存储系统，建立分层的目录存储结构存储所述第二步中的小块图像Ｔｉｌｅｓ；　第四步：根据给定的原始遥感图像级别和一个位置点的经纬度坐标值，计算出所属Ｔｉｌｅ的名称以及这个Ｔｉｌｅ的相对存储路径，实现遥感数据快速查询与获取服务；　第五步：采用分布式存储系统的体系结构，建立分层目录，存储管理所述的小块图像Ｔｉｌｅｓ。

【技术特征摘要】

【专利技术属性】
技术研发人员：马殿富，孙晓良，赵永望，胡春阳，邵俊，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：11[中国|北京]