基于MapReduce的静态瓦片金字塔并行构建方法技术

一种基于MapReduce的静态瓦片金字塔并行构建方法，属于遥感影像处理技术领域。本发明专利技术的目的是基于MapReduce的并行计算模型，针对遥感影像的特点，快速进行批量遥感影像并行处理的基于MapReduce的静态瓦片金字塔并行构建方法。本发明专利技术通过Map瓦片处理、创建                                               层瓦片、瓦片影像的生成、Reduce瓦片合并四步骤来完成。本发明专利技术提出改进的基于MapReduce批量遥感影像的静态瓦片金字塔构建算法，实现了批量遥感影像瓦片金字塔的快速并行构建与生成瓦片金字塔大文件的结合。通过本发明专利技术瓦片金字塔大文件和HBase瓦片索引表的结构，从而建立全球瓦片影像的快速检索模型。

【技术实现步骤摘要】
基于MapReduce的静态瓦片金字塔并行构建方法
本专利技术属于遥感影像处理

技术介绍
经纬度剖分网格模型是按照固定的经线、纬线间隔递归划分的多层次网格，具有简单、快捷、实用优点。传统的经纬度剖分网格模型主要用于粗略表达地球表面的空间位置，一般经度要求不高，网格的划分层次不多。典型的剖分网格模型有NGA的世界地理参考系统（WorldGeographicReferenceSystem,Georef）和全球区域参考系统(GlobeAreaReferenceSystem,GARS)等。上述剖分网格模型源于不同的应用背景，基本上以经纬度坐标系统为划分基础，剖分层次一般为3~4层，各个层级都有较完整的编码体系，但是通常难以满足更精确的地理定位。瓦片金字塔模型是目前公认的组织管理海量影像的有效方法。由于构建瓦片金字塔时需要重采样生成低分辨率的上层影像，因此计算量大且耗时长。随着遥感影像数据量的急剧增加，集中处理模式已很难满足当前遥感影像的处理要求。剖分瓦片金字塔是统一管理全球海量影像的有效手段，能够实现同一地理坐标系下海量影像的快速浏览。由于影像数据的投影方式不同，瓦片金字塔模型会有所区别。一般需要根据应用需求，合理确定影像数据的投影格式。
技术实现思路
本专利技术的目的是基于MapReduce的并行计算模型，针对遥感影像的特点，快速进行批量遥感影像并行处理的基于MapReduce的静态瓦片金字塔并行构建方法。本专利技术的步骤是：（1）Map瓦片处理阶段：计算由单幅遥感影像生成的瓦片金字塔的各层瓦片行列范围：根据GTPM模型、遥感影像的空间大小和经纬度范围，确定输出瓦片的层级范围，其中，为表3.2中最接近分辨率的层级，对每个，计算出瓦片金字塔的各层瓦片在GTPM模型中的行列范围，公式如下：（3.1）其中，为向下取整；放大或缩小后的层影像像素大小为：（3.2）其中，为向上取整，为的像素宽度和高度；（2）创建层瓦片任务：对于涉及到层的每个瓦片影像，计算瓦片在层的像素坐标范围为：（3.3）在对进行采样生成时，影像数据贡献的像素范围为：（3.4）其中，为左上角像素点经纬度在层上的像素坐标；瓦片上的有效像素（不透明像素区域）范围可计算得到为：（3.5）其中，为右下角点经纬度在层上的像素坐标；确定了中和的有效像素区域对应的像素区域；构建了瓦片金字塔第层任务；再将第层瓦片作为输入执行上述步骤，即实现第层的瓦片任务构建，此时；如此循环直至生成第一层瓦片，实现瓦片金字塔任务的创建；（3）瓦片影像的生成：瓦片底层Lmax的瓦片影像，其余层级的瓦片依照双线性内插法采样下一层的四个瓦片生成；（4）Reduce瓦片合并阶段：Reduce阶段合并相邻图幅影像之间的重复区域；此阶段，对于含有完整瓦片情况，只取其中一个完整瓦片即可；不完整瓦片进行合并时，只需采用图层叠加原理即可实现；这样就完成了遥感影像各层瓦片的镶嵌合并。本专利技术提出改进的基于MapReduce批量遥感影像的静态瓦片金字塔构建算法，实现了批量遥感影像瓦片金字塔的快速并行构建与生成瓦片金字塔大文件的结合，将瓦片金字塔采用两级索引形式的大文件保存在HDFS中，为海量瓦片影像管理的瓦片索引并行入库与HBase瓦片索引表快速检索奠定基础，实现可以即时打开浏览遥感影像。通过本专利技术瓦片金字塔大文件和HBase瓦片索引表的结构，从而建立全球瓦片影像的快速检索模型。附图说明图1是本专利技术Map阶段流程图；图2是单个与阵列磁盘的瓦片金字塔构建耗时情况；图3是Raid5阵列和单个磁盘生成瓦片金字塔的CPU利用率；图4是不同节点数目下批量瓦片金字塔构建耗时；图5是Reduce阶段实验结果；图6是瓦片影像快速检索实验实验一结果图；图7是瓦片影像快速检索实验实验二结果图；图8是第三层瓦片行列编码图；图9是前五阶的Hilbert曲线；其中：(a)一阶Hilbert曲线；(b)二阶Hilbert曲线；(c)三阶Hilbert曲线；(d)四阶Hilbert曲线；(e)五阶Hilbert曲线；图10是基于Hilbert编码的影像金字塔模型。具体实施方式本专利技术全球瓦片金字塔模型（GlobeTilePyramidModel，GTPM）为双塔四叉树结构，影像数据采用PlateCarree投影。第一层的东西瓦片是两个四叉树的根节点，之后将每个瓦片平均四分，得到下一层瓦片，这样就得到双塔四叉树结构。瓦片大小均设定为256像素×256像素，金字塔顶层为第一层，行列瓦片数为1×2。第Level级的瓦片行列数与Level关系为：。第一层以下的瓦片均是上一层父瓦片2×2均分，因此其分辨率是上一层瓦片的一半，各层瓦片数目与空间分辨率如表3.2示。表3.2GTPM各层对应分辨率层级行数列数分辨率（经纬度）赤道分辨率（米）1120.70312578271.5169642240.351562539135.7584823480.1757812519567.87924148160.0878906259783.9396205516320.04394531254891.96981025632640.021972656252445.9849051257641280.0109863281251222.992452562581282560.0054931640625611.4962262812592565120.00274658203125305.7481131406251051210240.001373291015625152.874056570312511102420480.000686645507812576.4370282851562512204840960.0003433227539062538.21851414257812513409681920.00017166137695312519.1092570712890625148192163840.00008583068847656259.554628535644531251516384327680.000042915344238281254.7773142678222656251632768655360.0000214576721191406252.388657133911132812517655361310720.00001072883605957031251.19432856695556640625181310722621440.000005364418029785156250.597164283477783203125…………..本专利技术约定的行列编码的原点位于瓦片各层的左上角点，第三层的瓦片行列编码如图8所示。通常，为提高瓦片影像数据存储的空间聚集性，需要将空间填充曲线应用到影像金字塔的瓦片存储中。目前，常用的空间填充曲线有行序、Peano曲线、Hilbert曲线等。Hilbert曲线源自经典的Peano曲线簇，是目前已知填充曲线中空间聚集性最好的一种，图9为前五阶Hilbert曲线图。本专利技术采用0，1，2，3依次表示Hilbert曲线经过一个2×2基本类型单元的先后次序。第一层的东西半球分别用“1”、“0”编码。将瓦片索引存储到HBase数据库时，每个瓦片都对应一个四进制Hi本文档来自技高网...

【技术保护点】
一种基于MapReduce的静态瓦片金字塔并行构建方法，其特征在于：其步骤是：（1）Map瓦片处理阶段：计算由单幅遥感影像生成的瓦片金字塔的各层瓦片行列范围：根据GTPM模型、遥感影像的空间大小和经纬度范围，确定输出瓦片的层级范围，其中，为最接近分辨率的层级，对每个，计算出瓦片金字塔的各层瓦片在GTPM模型中的行列范围，公式如下：（3.1）其中，为向下取整；放大或缩小后的层影像像素大小为：（3.2）其中，为向上取整，为的像素宽度和高度；（2）创建层瓦片任务：对于涉及到层的每个瓦片影像，计算瓦片在层的像素坐标范围为：（3.3）在对进行采样生成时，影像数据贡献的像素范围为：（3.4）其中，为左上角像素点经纬度在层上的像素坐标；瓦片上的有效像素（不透明像素区域）范围可计算得到为：（3.5）其中，为右下角点经纬度在层上的像素坐标；确定了中和的有效像素区域对应的像素区域；构建了瓦片金字塔第层任务；再将第层瓦片作为输入执行上述步骤，即实现第层的瓦片任务构建，此时；如此循环直至生成第一层瓦片，实现瓦片金字塔任务的创建；（3）瓦片影像的生成：瓦片底层Lmax的瓦片影像，其余层级的瓦片依照双线性内插法采样下一层的四个瓦片生成；（4）Reduce瓦片合并阶段：Reduce阶段合并相邻图幅影像之间的重复区域；此阶段，对于含有完整瓦片情况，只取其中一个完整瓦片即可；不完整瓦片进行合并时，只需采用图层叠加原理即可实现；这样就完成了遥感影像各层瓦片的镶嵌合并。...

【技术特征摘要】
1.一种基于MapReduce的静态瓦片金字塔并行构建方法，其特征在于：其步骤是：(1)Map瓦片处理阶段：计算由单幅遥感影像Ii生成的瓦片金字塔的各层瓦片行列范围：根据GTPM模型、遥感影像的空间大小和经纬度范围，确定输出瓦片的层级范围[Lmin，Lmax]，其中Lmin＝1，Lmax为最接近遥感影像分辨率Ii.P的层级，对每个l∈[Lmin，Lmax]，计算出单幅遥感影像Ii瓦片金字塔的各层瓦片在GTPM模型中的行列范围Rmin(l)、Rmax(l)、Cmin(l)、Cmax(l)，公式如下：其中，为向下取整；放大或缩小后的Lmax层影像Gi像素大小(W，H)为：其中，为向上取整，(k，n)为单幅遥感影像Ii的像素宽度和高度，Scale是指遥感影像到目标影像的放大比例；(2)创建Lmax层瓦片任务：对于单幅遥感影像Ii涉及到Lmax层的每个瓦片影像T(Lmax，r，c)，计算瓦片T(Lmax，r，c)在Lmax层的像素坐标范围Box(Lmax，r，c)为：在对单幅遥感影像Ii进行采样生成T(Lmax，r，c)时，单幅遥感影像Ii贡献的像素范围PSR(Lmax，r，c...

【专利技术属性】
技术研发人员：全吉成，吴晨，刘宇，王宏伟，杨明权，白新伟，李明，
申请(专利权)人：中国人民解放军空军航空大学，
类型：发明
国别省市：吉林;22