一种基于分布式框架的遥感影像河流提取方法技术

本发明专利技术公开了一种基于分布式框架的遥感影像河流提取方法，其整体步骤为：一、在LLTS分布式框架中，按照指定分块大小对多光谱影像进行分块并计算分块参数；二、将计算出的分块参数向计算节点下发计算任务，分别对各分块的河流影像进行判定；三、对下发计算任务生成的多个结果进行并行结果输出。本发明专利技术基于LLTS分布式框架及框架下的影像读写库，可实现NDWI河流提取算法的分布式处理及并行化输出，从而降低算法对资源的强依赖性，并大幅度提高NDWI河流提取算法效率，可有效解决单机版本河流提取方法严重依赖单个机器内存、处理器性能的缺陷，能满足高分辨率、大数据量遥感影像数据快速处理的需要。

A River Extraction Method Based on Distributed Framework for Remote Sensing Images

The invention discloses a river extraction method of remote sensing image based on distributed framework, the overall steps are as follows: firstly, in LLTS distributed framework, multi-spectral image is divided into blocks according to the specified size of blocks and the block parameters are calculated; secondly, the calculated block parameters are distributed to the computing nodes to determine the river image of each block separately; thirdly, the downward calculation is carried out; Multiple results generated by computational tasks are output in parallel. The invention is based on LLTS distributed framework and image read-write Library under the framework, which can realize the distributed processing and parallel output of NDWI River extraction algorithm, thereby reducing the strong dependence of the algorithm on resources, and greatly improving the efficiency of NDWI River extraction algorithm. It can effectively solve the shortcomings of single machine version River extraction method, which depends heavily on single machine memory and processor performance, and can meet the high demand. The need of high resolution and large amount of remote sensing image data fast processing.

【技术实现步骤摘要】
一种基于分布式框架的遥感影像河流提取方法
本专利技术涉及一种遥感影像快速河流提取方法，尤其涉及一种基于分布式框架的遥感影像河流提取方法。
技术介绍
随着遥感影像的空间分辨率提高到米级甚至亚米级，单景融合后的多光谱影像的数据量达到了数十GB，如果融合后的多景之间再做镶嵌，数据量可达上百GB。这样的数据量，依靠单机处理，无法达到快速处理完成的要求。河流分布于全球各地，要想将所关心地区的河流提取出来，必须对河流所在的全部影像处理一次，这就要求必须能够处理相当大的数据量。归一化差异水体指数(NormalizedDifferenceWaterIndex，NDWI)是一种常见的河流提取方法指标，其思想是在近红外、中红外及短波红外部分，水体几乎吸收了全部的入射能量，因此水体在这些波段的反射率特别低，而土壤、植被、建筑物等在这些波段吸收能量较小，具有较高的反射率，使得水体与它们具有明显的区别。利用这些特性构建水体指数，可以用来区分水体与其他地物。现有归一化差异水体指数方法主要通过插件方式应用于单机版软件中，严重受到运行环境资源的影响，阻碍遥感影像、特别是大数据量遥感影像水体计算速度的提升。此外，由于受一个进程只能操作一个文件的限制，水体计算的结果只能顺序输出到一个文件中，也间接导致处理时间的增加。
技术实现思路
为了解决上述技术所存在的不足之处，本专利技术提供了一种基于分布式框架的遥感影像河流提取方法。为了解决以上技术问题，本专利技术采用的技术方案是：一种基于分布式框架的遥感影像河流提取方法，其整体步骤为：一、在LLTS分布式框架中，按照指定分块大小对多光谱影像进行分块并计算分块参数；二、将计算出的分块参数向计算节点下发计算任务，分别对各分块的河流影像进行判定；三、对下发计算任务生成的多个结果进行并行结果输出。进一步地，步骤二中对各分块的河流影像进行判定的具体方式为：a、利用归一化差异水体指数公式，计算获得水体指数，计算公式为：其中，green是绿波段的像素值，nir是近红外波段的像素值，NDWI是计算获得的水体指数；b、对水体指数进行阈值分割，根据多次实验经验，将阈值大于0.1的判定为河流，否则为非河流影像；c、对分割提取出的栅格河流进行矢量化处理。进一步地，步骤三中对下发计算任务生成的多个结果进行并行结果输出的具体方式为：利用LLTS分布式框架下的支持并行的读写库，通过头文件+分块二进制文件的形式实现结果并行输出，从而真正实现从处理到输出的分布式并行化。本专利技术基于LLTS分布式框架及框架下的影像读写库，可实现NDWI河流提取算法的分布式处理及并行化输出，从而降低算法对资源的强依赖性，并大幅度提高NDWI河流提取算法效率，可有效解决单机版本河流提取方法严重依赖单个机器内存、处理器性能的缺陷，能满足高分辨率、大数据量遥感影像数据快速处理的需要。附图说明图1为LLTS分布式框架的结构原理示意图。图2为步骤一中的分块原理示意图。图3为步骤二中向计算节点下发的各分块的河流提取过程示意图。具体实施方式下面结合附图和具体实施方式对本专利技术作进一步详细的说明。一种基于分布式框架的遥感影像河流提取方法，其主要基于LLTS分布式框架及框架下的影像读写库，实现NDWI河流提取算法的分布式处理及并行化输出，从而提升算法性能。LLTS(LowLatencyTaskService，低延迟的任务服务)框架是为了一组相近的计算需求，提供低延迟的计算任务执行服务，包含Controller和Agent两个角色，如图1所示。Controller负责接收外部程序发来的请求，Agent负责启动和监视具体的计算任务。Agent都是同构的计算单元，每个Agent只能同时容纳一个计算任务。因此，本专利技术根据LLTS分布式框架的设计思想，对NDWI河流提取算法进行改造，即在主进程中按照给定的分块大小，将多光谱影像进行分块并计算分块参数，之后将分块参数下发给各计算节点，分块原理如图2所示。本专利技术的整体流程为：一、在LLTS分布式框架中，按照指定分块大小对多光谱影像进行分块并计算分块参数；二、将计算出的分块参数向计算节点下发计算任务，各分块处理过程如图3所示：a、利用归一化差异水体指数公式，计算获得水体指数，计算公式为：其中，green是绿波段的像素值，nir是近红外波段的像素值，NDWI是计算获得的水体指数；b、对水体指数进行阈值分割，根据多次实验经验，将阈值大于0.1的判定为河流，否则为非河流影像；c、对分割提取出的栅格河流进行矢量化处理。三、对下发计算任务生成的多个结果进行并行结果输出：通常来说，将结果写入一个输出文件时，并不支持多个数据同时访问文件，并写入文件不同的位置。如果采用处理过程并行化，结果输出顺序化的思想，在增加输出过程的时间的同时，还会由于各计算节点排队等待输出，导致其也间接拖慢算法的并行化处理速度。基于上述问题，本专利技术利用LLTS分布式框架下的支持并行的读写库，通过头文件+分块二进制文件的形式实现结果并行输出，从而真正实现从处理到输出的分布式并行化。本专利技术基于LLTS分布式框架实现归一化差异水体指数分布式处理，并且利用改造的数据并行读取库，向磁盘写出水体提取结果数据，不仅能大大降低对资源的依赖，提高归一化差异水体指数算法处理速度，而且可以显著提高水体提取结果数据的写出速度，提供全处理流程并行化。本专利技术已在geovisfactory平台上验证使用，可满足快速处理需求。上述实施方式并非是对本专利技术的限制，本专利技术也并不仅限于上述举例，本
的技术人员在本专利技术的技术方案范围内所做出的变化、改型、添加或替换，也均属于本专利技术的保护范围。本文档来自技高网...

【技术保护点】
1.一种基于分布式框架的遥感影像河流提取方法，其特征在于：所述方法的整体步骤为：一、在LLTS分布式框架中，按照指定分块大小对多光谱影像进行分块并计算分块参数；二、将计算出的分块参数向计算节点下发计算任务，分别对各分块的河流影像进行判定；三、对下发计算任务生成的多个结果进行并行结果输出。

【技术特征摘要】
1.一种基于分布式框架的遥感影像河流提取方法，其特征在于：所述方法的整体步骤为：一、在LLTS分布式框架中，按照指定分块大小对多光谱影像进行分块并计算分块参数；二、将计算出的分块参数向计算节点下发计算任务，分别对各分块的河流影像进行判定；三、对下发计算任务生成的多个结果进行并行结果输出。2.根据权利要求1所述的基于分布式框架的遥感影像河流提取方法，其特征在于：所述步骤二中对各分块的河流影像进行判定的具体方式为：a、利用归一化差异水体指数公式，计算获得水体指数，计算公式为：其中，gree...

【专利技术属性】
技术研发人员：吴方才，何晓宁，张丽，薛博伟，
申请(专利权)人：航天星图科技北京有限公司，
类型：发明
国别省市：北京,11