一种基于Spark的海量遥感图像并行镶嵌方法及系统技术方案

本发明专利技术提出一种基于Spark的海量遥感图像并行镶嵌方法及系统，所述方法通过Spark集群中的Master节点作为整个Spark集群的控制器，将遥感图像镶嵌任务分发到各Worker节点；通过调用自定义RDD的操作算子完成图像的镶嵌处理。该方法通过重写Spark中RDD的compute和getPartitions方法，自定义针对遥感图像处理的RDD，并将图像镶嵌中的重叠区域估计、图像配准和图像融合三个关键步骤作为自定义RDD的操作算子实现图像镶嵌的并行处理，该基于Spark的海量遥感图像并行镶嵌方法在保证图像镶嵌效果的基础上，能够有效提高大数据量的图像镶嵌效率。

A parallel mosaic method and system for massive remote sensing images based on Spark

The invention provides a parallel system and remote sensing image mosaic method based on Spark, the method of the Master node in the Spark cluster as the cluster controller Spark, distributed remote sensing image mosaic task to each Worker node; through the operator calls the custom RDD to complete the image mosaic processing. By means of the method of compute and Spark in RDD to override the getPartitions method, according to the custom of remote sensing image processing RDD, and the integration of the three key steps of image registration and image as a custom RDD operator to realize the parallel processing of image mosaic estimation, image mosaic in the overlap region, the parallel remote sensing image mosaic method based on Spark basis to ensure the image mosaic effect, can effectively improve the efficiency of image mosaic of large amounts of data.

【技术实现步骤摘要】
一种基于Spark的海量遥感图像并行镶嵌方法及系统
本专利技术涉及遥感图像处理领域，特别涉及一种基于Spark的海量遥感图像并行镶嵌方法及系统。
技术介绍
随着对地观测技术的不断发展，海量遥感图像的分析成为近些年来军事、气象、交通等领域研究的重点。然而，由于传统的串行方法或因自动化程度不高，或因计算过程过于复杂，难以并行化，无法满足数据量大，流程复杂，算法处理耗时巨大的大规模遥感图像镶嵌需求。而现有的遥感图像并行镶嵌算法中，处理流程基本和串行算法相同，只是在图像配准和图像融合等阶段分别使用数据并行进行处理，在处理过程中容易出现节点利用率低、存在频繁数据I/O等问题。
技术实现思路
为了解决上述存在的问题，本专利技术公开了一种基于Spark的海量遥感图像并行镶嵌方法及系统，通过自定义RDD，在Spark分布式内存计算框架中调用自定义RDD的操作算子，实现图像镶嵌的并行处理。本专利技术通过如下方法来实现，一种基于Spark的海量遥感图像并行镶嵌方法，包括：客户端提交遥感图像镶嵌任务，将经过预处理后的海量遥感图像提交到Spark集群；Spark集群中的Master节点作为整个Spark集群的控本文档来自技高网...

【技术保护点】
一种基于Spark的海量遥感图像并行镶嵌方法，其特征在于，包括：客户端提交遥感图像镶嵌任务，将经过预处理后的海量遥感图像提交到Spark集群；Spark集群中的Master节点作为整个Spark集群的控制器，将遥感图像镶嵌任务分发到各Worker节点；各Worker节点分别调用SparkContext的textFile，生成初始RDD；初始RDD通过隐式转换的方法，生成自定义RDD，所述自定义RDD中包含重叠区域估计、图像配准和图像融合操作算子；自定义RDD调用重叠区域估计算子，在Spark集群的多个Master节点上通过改进的相位相关法进行遥感图像重叠区域估计处理；对自定义RDD调用重叠区域...

【技术特征摘要】
1.一种基于Spark的海量遥感图像并行镶嵌方法，其特征在于，包括：客户端提交遥感图像镶嵌任务，将经过预处理后的海量遥感图像提交到Spark集群；Spark集群中的Master节点作为整个Spark集群的控制器，将遥感图像镶嵌任务分发到各Worker节点；各Worker节点分别调用SparkContext的textFile，生成初始RDD；初始RDD通过隐式转换的方法，生成自定义RDD，所述自定义RDD中包含重叠区域估计、图像配准和图像融合操作算子；自定义RDD调用重叠区域估计算子，在Spark集群的多个Master节点上通过改进的相位相关法进行遥感图像重叠区域估计处理；对自定义RDD调用重叠区域估计算子后形成的新RDD，通过调用图像配准操作算子，执行遥感图像配准工作；对完成图像配准工作转换后得到的RDD调用图像融合操作算子；判断图像镶嵌是否完成，如果是，则调用RDD能够触发作业执行的Action类型的操作算子SaveAsTextFile，触发RDDDAG的执行，并将结果输出到HDFS；否则返回自定义RDD调用重叠区域估计算子步骤。2.如权利要求1所述的方法，其特征在于，所述初始RDD通过隐式转换的方法，生成自定义RDD，具体为：extends关键字继承自初始RDD，重写compute和getPartitions方法，并添加图像镶嵌方法。3.如权利要求2所述的方法，其特征在于，在重写的compute中，调用父RDD的iterator方法，获取父RDD对应分区中的数据。4.如权利要求2所述的方法，其特征在于，重写getPartitions方法具体为：在重写getPartitions方法时，调用父RDD的partitions方法，返回父RDD的分区；若在程序执行过程中不指定分区个数，则系统使用默认的分区策略。5.如权利要求1所述的方法，其特征在于，自定义RDD调用重叠区域估计算子，在Spark集群的多个Master节点上通过改进的相位相关法进行遥感图像重叠区域估计处理，具体为：设集群中节点的个数为n，对于每一节点中的图像Ii1(x,y)和Ij2(x,y)，有：其中，Ij2(x,y)是Ii1(x,y)经过平移(x0,y0)后的图像；对各节点中的图像Ii1(x,y)和Ij2(x,y)分别进行傅里叶变换和互功率谱计算，则可得出图像的脉冲函数：其中θk(x-x0,y-y0)对应的坐标峰值为节点k(k＝1…n)中图像之间的平移量(x0,y0)，根据平移量得出节点k中图像的重叠区域。6.一种基于Spark的海量遥感...

【专利技术属性】
技术研发人员：景维鹏，霍帅起，陈广胜，
申请(专利权)人：东北林业大学，
类型：发明
国别省市：黑龙江,23